发现蜘蛛的爬行新规律

今夜有雨 · 发表于 2012-09-27 23:58:43

百度蜘蛛爬行会在IIS 日志里面留下记录，一般正常爬行的日志为 200 0 0，可能有些站长注意到有些会出现 200 0 64，对于这个代码没有一个确切的定论，一般认为是非正常爬行，该页很大可能不被收录，原因有很多种，我猜测是因为和其他网页相似度高或者页面关键词累积。但是该它会对该页面进行再次考察，蜘蛛过不了多长时间就会再次爬行到这个页面检查是否有改正，如果符合它的收录要求的话，日志上就会出现 200 0 0这样的返回结果。我仔细观察了好久，百度蜘蛛对出现 200 0 64 日志的页面短时间内再次访问的频率很高，所以应该抓住这个机会积极改进页面

压力变送器 · 发表于 2012-09-28 08:13:15

{:soso__4721797095555609439_2:}

东森平台 · 发表于 2012-09-28 08:16:45

没有研究过爬行日志。

太阳 · 发表于 2026-02-12 03:59:48

蹲了这么久，终于看到有价值的讨论，支持一下！

		自动登录	找回密码
密码			加入怎通

[站长八卦] 发现蜘蛛的爬行新规律

相关帖子