首先先谈下GOOGLE蜘蛛起源：
' b- W! |: i9 Z7 p4 w- J. h$ d9 O" N$ @ 当GOOGLE搜索引擎刚建立之初,就拥有这一个非常强大的的服务器,. k6 b) I1 J/ t+ B& Z' P( Q
其每天放出大量的蜘蛛,我们称为1号蜘蛛,其抓取量抓取速度是非常的快, {7 F; q2 i* m2 A9 ?7 g
对其整个互联网每天进行信息进行的采集,可见服务器的速度是多少快，其实最主要的是后期GOOGLE( [" c/ b' B) i& s
将服务器延伸到了很多城市,所以现在你能发现GOOGLE的运算速率是超前的快.( U( N5 _/ h* }& n( ~# w+ L" y
服务器将采集的信息分类,整理.到庞大的数据库.
% Q7 e- n) e+ v# Y$ A 其中有个数据库都是用来存网站域名的.
) y0 B' y$ R) J3 V- B1 N 域名只要被搜索引擎索引到,将自动存入此数据库.7 A2 E& l9 F/ t: z
此数据库是1号蜘蛛的核心.! }' L8 w1 R4 u& e1 u
其内部分为10个PR各等级的小数据库，虽说小数据库，但也是大的可怕-。=!
; \$ u, D6 h& s; e5 v 10个等级的数据库其周期也不同
' P3 w; ^: I* w1 y 基本上以一个PR=4的网站来讲1号蜘蛛爬行的概率也在7天一次.
7 e9 v7 y6 W; |! O. q9 Z& `$ W 所以基本你也会发现收录有大的幅度也是在7天内的某一天.6 B3 @3 x/ B6 z8 R: `
细心的站长会发现其实有时候7天还是蛮准的,但只针对PR=4
1 n% L& ^, h, y: u7 u' q 越是PR高其周期越是短,越是PR低周期越长,5 n2 ]* u2 [2 \; t: k; v
当然说到这很多站长有这样的疑惑.会觉得蜘蛛有时天天收录他的站5 B$ G3 s0 B/ e% \8 I
这里对其收录的也就是接下来要说的2号蜘蛛
+ U) A" U( v) L/ F2 V' o1 M 2号蜘蛛往往是在1号蜘蛛爬行过程中放出去的，
+ E$ _% q3 t8 x) h+ z- m8 h 主要针对于被1号蜘蛛爬过的网站的外部链接.
3 N7 y) ?$ t. L9 i& D) j# [ PS既然都说是2号蜘蛛肯定其抓取力度要比1号小很多.
_( }, e9 r5 X0 |# A$ s" L ★当然不只是有2号,还有3号蜘蛛
! @1 n" @& q+ M6 |- s 所谓3号也就A站1号蜘蛛爬行到B站,B站的2号蜘蛛爬行到C站0 p9 s3 V6 F; t, I
目前GOOGLE为了限制其无限的循环对于蜘蛛只分为这三个等级.并对其等级的抓取率有个很明确的标准- j- m* f, m/ |. x
而且2号与3号蜘蛛有个抓取特点基本以时间的先后顺序进行抓取; F6 o. Z# ~* O A1 V
★比方讲：9 r8 V0 @0 V! y5 P2 I
A网站被1号蜘蛛爬行后的一篇文章最后时间为2008-6-1* b3 g# p' s' f& E/ w$ ]$ ^7 E" g
那当A网站被从别的网站过来的2号蜘蛛给爬行,首先有可能会对其收录的是2 V7 }& o# Z5 a y3 g8 F! t6 Z
最近发表的几篇文章如：2008-5-31等2008-5-30等文章将会进行第2次,第3次的访问
% p* E0 A* V2 B4 {5 d* `7 ^/ K 之后再爬行2008-6-1以后的信息.如果你网站没有任何更新,它将对其近一个月内的更改内容进行2次爬行.3 v. `9 l2 d& }( Q1 q# Y/ ^9 o- J
如果外部来的2号与3号蜘蛛越多,同一篇文章有可能会被爬上好几次.
w" k( R \, \ 以下为GOOGLE提供的官方数据<秘>9 o2 M+ d3 c2 z, k: O- l
★1号蜘蛛$ e& L1 L0 X; D# p* @, M! ^$ w) g
基本抓取率在5%~10%. S$ C+ u* {6 k6 c9 S
基于PR=0没有任何导入链接与提交时有可能被抓取的周期在6个月~12个月不等
* j% h' a, |) g; f 基于PR=1没有任何导入链接与提交时有可能每次被抓取的周期在4个月~8个月不等
+ p; r4 I7 @4 @8 N 基于PR=2没有任何导入链接与提交时有可能被抓取的周期在2个月~4个月不等
& z$ ~0 J: y7 h. E: C% Z; f: X 基于PR=3没有任何导入链接与提交时有可能被抓取的周期在1个月~2个月不等
# [0 c, d8 g/ o+ B* w 基于PR=4没有任何导入链接与提交时有可能被抓区的周期在1周~1个月不等) @' @2 x% ~+ a6 @1 u$ M
当然没有任何导入链接的网站无法做到PR=4: P; I; J2 S, N# k# H3 f& H
最高也只有PR=3! n1 C9 E& k/ D$ D2 F' L3 Z
上述此数据只是GOOGLE官方提供的一个基数.3 H, @% T" C& X' ]
意思也就是1号蜘蛛主动爬取你网站的周期数.. t% [# ^( o5 z! ]0 x$ T- s
对于2号或者3号蛛爬取你的网站,也就根据你的导入链接而定.8 U" a" P! a/ @3 _" w ^; H% j
所以你会发现你的网站有时天天在被更新.
; W: @$ i6 X4 P4 T. l4 Q7 I& s, I ★2号蜘蛛
& o% l( v3 {5 Q! D- C, O1 F 基本抓取率是2.5%~5%<基于1号蜘蛛爬行后的数据记录进行再次采集,对于最后次被采集日期的前后进行再次访问>9 H, m6 b1 p0 w7 k" M
★3号蜘蛛
) y- O8 t- i5 U" c+ O) A 基本抓取率为1.25%~2.5%<基于1号蜘蛛与2号蜘蛛爬行后的数据记录进行再次采集,对于最后次被采集日期的前后进行再次访问。 |
