首先先谈下GOOGLE蜘蛛起源：
j2 O4 ~+ w8 Z8 W& | 当GOOGLE搜索引擎刚建立之初,就拥有这一个非常强大的的服务器,6 W y: J. O5 W6 l* M
其每天放出大量的蜘蛛,我们称为1号蜘蛛,其抓取量抓取速度是非常的快,
: Z6 O# Y% X* L9 s c 对其整个互联网每天进行信息进行的采集,可见服务器的速度是多少快，其实最主要的是后期GOOGLE$ O0 {# [, }& t
将服务器延伸到了很多城市,所以现在你能发现GOOGLE的运算速率是超前的快.: S% a/ S- \& o$ O6 \! L0 Y$ `
服务器将采集的信息分类,整理.到庞大的数据库.
: t6 [& O$ f* }4 R$ N 其中有个数据库都是用来存网站域名的., V' Z& T' i4 X) k6 a9 C
域名只要被搜索引擎索引到,将自动存入此数据库.3 @* I2 l, O0 f4 O5 K8 b& f
此数据库是1号蜘蛛的核心.: b) _; I% Q. B9 V+ c
其内部分为10个PR各等级的小数据库，虽说小数据库，但也是大的可怕-。=!
7 o9 `& k2 l6 J c 10个等级的数据库其周期也不同
: d; ?5 \" Q% J# Z; b 基本上以一个PR=4的网站来讲1号蜘蛛爬行的概率也在7天一次.' S. ]8 {& B! _, y4 c
所以基本你也会发现收录有大的幅度也是在7天内的某一天." C7 _$ p% y5 q: }$ M
细心的站长会发现其实有时候7天还是蛮准的,但只针对PR=4
9 Q0 m0 S# l ]) R 越是PR高其周期越是短,越是PR低周期越长,/ O4 }$ {3 A/ j
当然说到这很多站长有这样的疑惑.会觉得蜘蛛有时天天收录他的站: w* r n' V$ k
这里对其收录的也就是接下来要说的2号蜘蛛
& v# \+ _+ G- J 2号蜘蛛往往是在1号蜘蛛爬行过程中放出去的，$ w( k9 @, A# s
主要针对于被1号蜘蛛爬过的网站的外部链接.
1 K* N9 x: v- ]9 Q$ V PS既然都说是2号蜘蛛肯定其抓取力度要比1号小很多.$ H5 K- u" y+ {& t; p
★当然不只是有2号,还有3号蜘蛛* K4 X$ W# @$ F6 M5 [2 _
所谓3号也就A站1号蜘蛛爬行到B站,B站的2号蜘蛛爬行到C站
* y+ v# o0 j3 s" e2 b4 c& g! Z 目前GOOGLE为了限制其无限的循环对于蜘蛛只分为这三个等级.并对其等级的抓取率有个很明确的标准3 G+ }, P. E$ w. \- J$ p7 ~
而且2号与3号蜘蛛有个抓取特点基本以时间的先后顺序进行抓取
$ ]4 x* O/ K" ~, p ★比方讲：5 ^1 J/ d" K' o' ?
A网站被1号蜘蛛爬行后的一篇文章最后时间为2008-6-1
% \/ j q2 Y+ y 那当A网站被从别的网站过来的2号蜘蛛给爬行,首先有可能会对其收录的是7 x. m" G! K+ `
最近发表的几篇文章如：2008-5-31等2008-5-30等文章将会进行第2次,第3次的访问
) b5 P3 f4 M4 F 之后再爬行2008-6-1以后的信息.如果你网站没有任何更新,它将对其近一个月内的更改内容进行2次爬行.1 W. p+ h$ `- V j" w, t: g5 z3 }5 a
如果外部来的2号与3号蜘蛛越多,同一篇文章有可能会被爬上好几次.
/ C+ Z d0 v O$ u5 Y7 ? 以下为GOOGLE提供的官方数据<秘>
/ }5 X0 e8 U) ]# g ★1号蜘蛛/ v' a) Q9 j) K" T9 K. [- ~$ v- {
基本抓取率在5%~10%
* g, v' g5 C, Z( N$ ]& H- H4 l9 A$ t8 j 基于PR=0没有任何导入链接与提交时有可能被抓取的周期在6个月~12个月不等2 v# j7 L: U- [% b6 m" m
基于PR=1没有任何导入链接与提交时有可能每次被抓取的周期在4个月~8个月不等
0 t l7 W- i0 x/ a. i# p- j 基于PR=2没有任何导入链接与提交时有可能被抓取的周期在2个月~4个月不等
3 x6 @0 N2 ?7 ~' T- ]" k8 n 基于PR=3没有任何导入链接与提交时有可能被抓取的周期在1个月~2个月不等! R) c5 r+ P2 p# C+ F
基于PR=4没有任何导入链接与提交时有可能被抓区的周期在1周~1个月不等
7 P+ E/ t. v: |6 c3 h 当然没有任何导入链接的网站无法做到PR=4( B4 x D; x0 y! I; C
最高也只有PR=3/ d) t6 N6 Y! G0 Q$ h
上述此数据只是GOOGLE官方提供的一个基数.% c) Q; m: V- L R, p6 P7 E5 A
意思也就是1号蜘蛛主动爬取你网站的周期数.
2 i2 p2 i: Z, ]; W8 `* l1 {* j, D 对于2号或者3号蛛爬取你的网站,也就根据你的导入链接而定.) x! r2 r7 L; w, B5 d
所以你会发现你的网站有时天天在被更新./ g) ~; N1 G0 n. T: A0 S
★2号蜘蛛
5 Q2 r8 g& \1 K& C 基本抓取率是2.5%~5%<基于1号蜘蛛爬行后的数据记录进行再次采集,对于最后次被采集日期的前后进行再次访问>5 n% \4 x. L' o3 j* W
★3号蜘蛛
6 ?' v3 F( A( W 基本抓取率为1.25%~2.5%<基于1号蜘蛛与2号蜘蛛爬行后的数据记录进行再次采集,对于最后次被采集日期的前后进行再次访问。 |
