利用IIS日志可以了解蜘蛛对网站的基本爬取情况

给俄你的_╮骄傲 · 发表于 2012-07-02 22:10:26

1.通过IIS日志可以了解蜘蛛对网站的基本爬取情况，可以知道蜘蛛的爬取轨迹和爬取量，通过我们的IIS日志，外链的多和少和网站蜘蛛的爬取量是有直接影响的，www.ycwlcg.com我们所说的链接诱饵就是如果你做了一个外链www.023kongtiaoweixiu.com，蜘蛛在爬取这个外链页面并把页面放出来时，蜘蛛可以通过你留的这个链接来爬取你的网站，而IIS日志正是会记录下蜘蛛的这次爬取行动。

2.网站的更新频率也和IIS日志中蜘蛛抓取的频率有关，一般来说更新频率越高，蜘蛛的抓取频率越高，而我们网站的更新不仅仅只是新内容的添加同时还有我们的微调操作。

3.我们可以根据IIS日志的反应情况，对我们的空间的某些事情和问题提前进行预警，因为服务器如果出问题的话在IIS日志中会第一时间反映出来，要知道服务器的稳定速度和打开速度两者都会直接影响我们的网站。

4.通过IIS日志我们可以知道网站的那些页面是很受蜘蛛欢迎的，而哪些页面是蜘蛛连碰都不去碰的，同时我们还能发现有一些蜘蛛由于是过度爬取对我们的服务器资源损耗是很大的，我们要进行屏蔽工作。

_り隐╄_迹ヤ · 发表于 2012-07-03 10:09:58

可是应该怎么样查看IIS日志呢？楼主可以说说吗？

好孩子315 · 发表于 2026-03-16 11:39:52

这个分享太实用了，刚好能用到，感谢楼主！

艺通网络 · 发表于 2026-09-08 07:17:51

说得很实在，没有夸大其词，这种真实分享太难得了

		自动登录	找回密码
密码			加入怎通

[站长八卦] 利用IIS日志可以了解蜘蛛对网站的基本爬取情况