做为一个seoer来说每天观察日志文件是一个必须的过程，今天我也就想对于搜索引擎蜘蛛的爬行来说说自己的一点自己的理解.
/ N! m! f) s5 \" k8 O# \
$ `8 Y4 }2 g7 V5 h& b 看日志都看什么?这个大家都知道要看http的状态码，分析里面返回的200,304,404等等通过这些来看看服务器是不是不稳定，看看屏蔽一些页面等等.
( L. h1 r. y# {) ~ S: r+ s
- F, g E4 M# n3 F! S 再者就是看看蜘蛛爬行的频率。看看蜘蛛爬为什么总是在这个时间爬取这个页面而是是频繁的爬取?为什么会爬取这个页面?* h; W) A+ t) s" C+ s- X4 W
t) g1 g+ b6 Y) ]- T3 E3 q2 s 对比分析一下我们会发现
3 U, y# i, e$ h3 [) a* s/ d
/ A+ V, l4 F& V 1. 一般凡是蜘蛛爬取的目录页面，他的搜索引擎的相关收录就会相对还得好一些。% k7 s' }8 v. ?2 _
5 Y( f M' c2 L6 v% `
2.在这个目录中的长尾词的排名也相对的好一些。
5 u+ d9 g& X4 v* a% L8 |8 M& k$ J% m' k6 o4 n
那么根据这个我们为什么不投“蛛”所好呢?不是有句话吗：爱它就给它(我也不知道出处)。
; a# d3 \8 @" @! C
6 }7 K8 V/ |: d- Z! }# G 问题又来了，要投其所好也要知道蜘蛛为什么会喜欢这个页面?为什么要频繁的爬取它，到底是什么吸引了它。所以我们就要对这个页面进行分析：
. y: e" j7 V! z; m J2 z: p/ Q T/ W! @8 k1 s A! ^
分析一下蜘蛛到底喜欢什么样的东西
Z8 [8 b' V1 C+ |: E. o6 D/ H" y6 y9 E" p7 L* z6 k& H
1. 更新速度快的页面。“软文啊”提示这个页面的内容更新的频率很快，每次蜘蛛爬取的时候它总是有新的内容，就好像去报亭买报纸，每天去一个报亭买报纸,相同的时间相同的地点，相同的位置，不同的内容更新的报纸。你可以付钱拿起来就走不用!我想这样谁都喜欢。
3 }3 L- q$ z/ b+ z! ?! m1 O( t+ a( F% m$ C' Y, z- q& i& \- o
2. 网页的内容丰富。同样是报纸的例子，每次去买相同的报纸，但是你慢慢的发现报纸的内容就是那么窄窄的一个方面，想看国内新闻他只有地方的,想看国际的新闻他还是只有地方的。慢慢的我想你也会考虑换一家。但是如果内容丰富想看什么内容都有即使旁边的地方报纸包装的在好你也会选这个内容丰富的.
# O+ k2 v+ e8 O" d" A* H8 ~/ T% J1 I7 m. |9 b/ t
3. 内容的重复性低。这个就很好理解了,谁喜欢天天看一样的东西。一期的报纸每个版面都重复的在说一个事情会让人很烦的。 |
