了解自己的蜘蛛

　　1、蛛蛛首先都会正在权重很高的的论坛或者其他行业网站，所以站长们多在高权重或者行业网站发布信息，不但做了外链，也引来了蜘蛛。
. E( E. O) W7 G1 c% D% b5 v
, {; W. b4 E. I8 i* {* s　　2、当蜘蛛发现心的文章时就会开始抓取，首先抓取文章中重复出现的关键字和链接网址，当抓取到链接网址时，首先会判断此网址是否安全，如果安全蜘蛛才会继续网下抓取。
; c5 f  P8 {7 ~" h
& e' g5 s& G  u' x5 X& d　　3、当蜘蛛判断安全后，就会顺着此网址爬行到你的网站，首先看你的网站结构是否符合蜘蛛抓取。网站结构符合后，蜘蛛就会对网站进行全面的抓取，情切抓取到文章页后抓取。
6 g( l# ~, L9 s$ s' m
! L& O+ \! i8 _  w　　4、当蜘蛛抓取到文章信息后，就会判断此文章是否有收录的价值，这时就会与搜索引擎数据进行对比是否原创（有价值），价值高会当即收录（反之等待大更新，或者消失）。

2 p( h7 o: O8 z2 g: u　　5、当蜘蛛抓取完后，它就需要一个出口（这里就是常说的蜘蛛陷阱，有进无出）出去。（大家写点文章不容易，所以你懂的）
- H, E1 }% Y! ~. }2 _! L
5 w) @- W2 C5 T) T: F( [+ D　　蛛蛛抓取网站的次序就是这样，大家了解后也可以根据这些信息进行网站优化，理解了蛛蛛的工作原理，这样对于seo优化是很重要的，况且可以在蜘蛛爬行顺序中发现，蜘蛛喜欢的方法有哪些，这样可以帮助到大家总结经验。

蹲了这么久，终于看到有价值的讨论，支持一下！

楼主太厉害了，整理得这么详细，必须支持