找回密码
 加入怎通
查看: 533|回复: 3

[站长八卦] 利用IIS日志可以了解蜘蛛对网站的基本爬取情况

[复制链接]
给俄你的_╮骄傲 发表于 2012-07-02 22:10:26 | 显示全部楼层 |阅读模式
1.通过IIS日志可以了解蜘蛛对网站的基本爬取情况,可以知道蜘蛛的爬取轨迹和爬取量,通过我们的IIS日志,外链的多和少和网站蜘蛛的爬取量是有直接影响的,www.ycwlcg.com我们所说的链接诱饵就是如果你做了一个外链www.023kongtiaoweixiu.com,蜘蛛在爬取这个外链页面并把页面放出来时,蜘蛛可以通过你留的这个链接来爬取你的网站,而IIS日志正是会记录下蜘蛛的这次爬取行动。 $ S3 ]$ b  @. F' _9 ]7 G/ @
* l7 U+ Q1 |4 z6 h7 s# j  C! M
2.网站的更新频率也和IIS日志中蜘蛛抓取的频率有关,一般来说更新频率越高,蜘蛛的抓取频率越高,而我们网站的更新不仅仅只是新内容的添加同时还有我们的微调操作。 3 j3 L7 A. L9 ~6 i% }# d) c4 c3 W, P

; l6 ~8 p! y2 h$ K3.我们可以根据IIS日志的反应情况,对我们的空间的某些事情和问题提前进行预警,因为服务器如果出问题的话在IIS日志中会第一时间反映出来,要知道服务器的稳定速度和打开速度两者都会直接影响我们的网站。 4 U4 g. g/ L- Z% Q$ H  @+ a) Q4 z- Q

/ U9 |( O  \' p/ G! D( a4.通过IIS日志我们可以知道网站的那些页面是很受蜘蛛欢迎的,而哪些页面是蜘蛛连碰都不去碰的,同时我们还能发现有一些蜘蛛由于是过度爬取对我们的服务器资源损耗是很大的,我们要进行屏蔽工作。 , w& M5 V$ M$ h) Y9 u3 C. R

暂时无法加载帖子列表

回复

使用道具 举报

_り隐╄_迹ヤ 发表于 2012-07-03 10:09:58 | 显示全部楼层
可是应该怎么样查看IIS日志呢?楼主可以说说吗?
回复

使用道具 举报

好孩子315 发表于 2026-03-16 11:39:52 | 显示全部楼层
这个分享太实用了,刚好能用到,感谢楼主!
回复

使用道具 举报

艺通网络 发表于 2026-09-08 07:17:51 | 显示全部楼层
说得很实在,没有夸大其词,这种真实分享太难得了
回复

使用道具 举报

    您需要登录后才可以回帖 登录 | 加入怎通

    本版积分规则

    QQ|手机版|小黑屋|网站地图|真牛社区 ( 苏ICP备2023040716号-2 )

    GMT+8, 2026-9-12 15:49 , Processed in 0.037178 second(s), 26 queries , Gzip On.

    免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系420897364#qq.com(把#换成@)删除。

    Powered by Discuz! X3.5

    快速回复 返回顶部 返回列表