欢迎光临优站分类目录!
当前位置:优站分类目录 » 站长资讯 » 优化推广 » 文章详细 订阅RssFeed

蜘蛛爬行规律

来源:分类目录 浏览:1131次 时间:2014-11-04
蜘蛛是搜索引擎为抓取网站页面研发的一个程序,当前,最受大家欢迎的搜索引擎莫过于百度与Google了,我们对网站进行日常维护、优化时,经常要关注网站的收录量,因为收录的多寡会对关键词的排名产生一定影响,而收录页面的数量则要依靠蜘蛛爬行来完成。蜘蛛爬行有什么规律呢?


  蜘蛛进入一个网站不会将这里的首页内页、内容页等“边边角角”一次爬行完毕,而更喜欢分阶段进行,每个时间段可能爬行的页面不见得相同,但有一点是没问题的,即:每次都会从首页作为“起爬线”。然后计算出每次在网站的活动时间以及逗留的长短。


  如果我们手上是刚上线的新站,需要过一段时间才能被收录。因为,搜索引擎要经过反复的计算、“权衡”,确认页面有收录的必要,然后网页才会被慢慢被放出来。一般情况下,新站的快照、收录页面会晚一个星期才会被放出来。


  那是不是域名时间越长,越受搜索引擎的“待见”呢?


  确实如此,只要网站不存在过度优化、死链较多等情形。有不少网站刚把首页做完,就匆忙上线,这样一来,首页上的很多链接都是死链,蜘蛛从首页往内页爬的时候吃了“闭门羹”,就像是朋友每次都来登门拜访,却被我们拒之门外,势必引起对方的反感,时间一久,搜索引擎可能会放弃爬行。


  通常来说,一个网站成功上线,百度、Google会给它3~6个月的考核期,顺利通过考核之后,搜索引擎就会认定这是一个长期的网站,这时,网站开始步入了一个稳定期,蜘蛛也会不时来光顾一下。


  还有这么一种情况,比如:


  优站分类目录,编辑每天都坚持更新文章,由于程序的原因,后来添加的文章不能在首页自动更新,也就是说,首页的栏目显示的依然是最早更新的那些文章的标题、更新时间。


  首页的内容是“死”的、无法自动更新,这么一来,百度蜘蛛通常会认定为该网站没有更新而放弃去内页爬行,结果该网站的收录迟迟不见涨,快照也非常滞后,比如:首页显示的最新的那篇文章是2013年3月16日,快照也是这个日期。


  因此,我们的网站每天更新之后一定要生成首页,像上面这个网站的情况,最好找技术人员进行调整,使得首页能够自动更新,让百度知道它没有白来。


  值得强调的是,Google显然更有耐性,即使出现了以上这种情况,还是会从不自觉的从首页往内页爬,这也是我们经常会看到很多网站的Google收录多于百度的一大因素。


  做好网站优化,一定要懂得如何与搜索引擎更好的相处。SEO是围绕搜索引擎展开的,因此,在人家地盘儿上混,得按人家的规矩来。

  • 网页咨询