关于搜索引擎蜘蛛的抓取规律

Kevin · 发表于 2012-06-06 16:22:51

前文说到搜索引擎的收录过程机理，想必各位SEOer对于搜索引擎蜘蛛都是又爱又恨的吧，和蜘蛛建立tcp/ip协议，今天小邪来说说搜索引擎蜘蛛的抓取规律对于咱们网站优化的事。
　　一、新站的初期收录。
　　新站建立好后，建议不要提交搜索引擎，因为搜索引擎会审核你的网站，最少也要半个月。搜索引擎会分析出你网站其中含有的链接，然后进行爬行，由于是新站蜘蛛的反应也不会很快，一次可能抓取一两个页面就走，下次来再抓取几个页面。
　　在网站初期有一个需要注意的问题，不能有死链接，所以我们这时候需要做个404页面，不管是从搜索引擎的角度还是用户体验的角度来说，都是有好处的。服务器要稳定，也就是一定要给蜘蛛营造一个好的爬行的环境，因为蜘蛛一旦碰上死链就会直接走掉，如果服务器不稳定，可能蜘蛛转一圈，一个页面还没有抓取就迫不及待要走了。新站的内部链接要有层次，而且四通八达，这样蜘蛛更好爬取，对于用户的浏览页方便的多。
　　新站建立初期，一个友链的作用还是很大的，它可以大大增加蜘蛛在心战的爬取次数，可以一定程度上缩短收录时间。新站上线时，数据部能太少，要有足够的数据，同时内部链接要合理，这样就是一个成型的站点，蜘蛛爬行时对于这个站点的印象分页不会很低，就好比是现实交友一样，对于一个新朋友的第一印象不错，可能很快就会见第二次，第三次，蜘蛛也同样。
　　二、站点中期收录
　　在搜索引擎对网站的收录进入稳定阶段时，有一个小诀窍可以增加百度蜘蛛的爬行次数。每天的更新内容不要一次更新完，可以2个小时更新一部分或者上午一部分，下午一部分。
　　因为在这个阶段，有一部分的百度蜘蛛是通过首页进入的，一旦发现首页没有变化就离开。这样定时定量更新的好处就显现出来了，蜘蛛进入首页一次发现首页变动一次，爬行的当然就更加频繁了。
　　同时多注意爬行的时间段，在这个时间段内进行更新，收录的速度是最快的。当然，这就需要一款可以随时查看蜘蛛的动向的工具了，很多CMS都具备这样的功能，能够很清晰的记录各大搜索引擎的机器人痕迹，包括停留时间、爬行过的页面等，都有详细数据，可以对每日爬行进行分析，或者对比几个栏目哪个爬行的次数最多。
本文章来源于洛阳旅游：http://luoyang.lotour.com/

深山老林庞迎春 · 发表于 2025-11-10 20:42:44

内容很干货，没有多余的废话，值得反复看

夜已深 · 发表于 2025-11-10 20:43:02

分析得很透彻，很多细节都说到点子上了～

		自动登录	找回密码
密码			加入怎通

[交流] 关于搜索引擎蜘蛛的抓取规律

浏览过的版块