Google是如何更新全部索引的？这是一个范围相当宽的问题，大家都知道，Google为确保向用户提供最具相关性和质量最高的搜索结果而对其数据库按月进行更新。为了回答上述问题，在本文中我将向大家详细说明Google更新过程的每个步骤。% Z% [7 ?& A) y0 }4 F8 I* `
) D+ B4 l: u) q+ N* W4 Y 有相当多的用户和公司都已经发现，为了在早期的搜索引擎优化中，能在Google里有个很好的排名，在认真做计划之前就要采取一切必要的措施。就免费提交的搜索引擎来说，Google是为数极少之中的一个，也是最早将网站收录到数据库的搜索引擎之一。到2003年7月10日为止，Google已经成为收录34亿个网页之多的最广泛的数据库。其中只有一小部分不能够被Google访问，因为这些站点是不能够被搜索引擎爬虫或蜘蛛所访问的。
1 N' {$ C& F0 {( n- c5 w 6 I: D3 U1 p' [
就象在现实生活中一样，无论是对网站所有者、网站管理员还是搜索引擎优化专家来说，当开始一个新产品的市场时，有很大的风险和潜在的复杂性。然而大多数专家都一致同意在使用Google搜索时，要正确输入关键字，这样才可以有效地搜索到你所要查找的信息。因为Google每个月都会更新它的数据库。在这篇文章中，我们要解释关于“Google Dance”的信息，还有如何在恰当的时间理解“Googlebot”。另外，我们也会告诉你如何进行搜索引擎的优化。0 j: e4 _1 i, \0 w. Z
2 m' y& e; o0 ?- N
着名的“Google Dance”
' R( p, r; V" j2 |/ l G2 ^+ n" @# c- h& j" m J
如果你想写封信去参加在Google总部的年度更新过程，那么你可能希望继续读到GooglePlex这篇文章，从中了解Google数据库和搜索引擎机器人是何如工作的。关于Google每月周期性的更新过程有很多的文档记录。而在过去整整一年，Google的这种每个月的周期性更新（如今人们亲切称之为“Google Dance”）对那些焦虑等待的网站所有者和网站管理员来说，都变得愈加复杂和不可琢磨。
8 T7 H$ [. ~1 H, Y) S4 H% Q, ~5 j 8 S4 y. [; B* s# b# X) S# z' p8 F
每次的更新都是从Google的一个主要的深层次的爬虫开始的。我们先把它叫做爬虫A。它是如何索引到整个网站中至少三四十亿的网页的呢？Google使用了15000多台位于不同数据中心的计算机，来索引全世界范围内的站点。当Googlebot来搜索数据库中现有站点时，同时也会搜索到最新的网站。一旦Google完成了爬虫A这个过程，就会为下一步的更新有效地搜索到所有的网页，然后便是两个星期后的第二次更新过程。
, G) r& u" z' _, S0 }
! l$ {$ A( p& f5 \$ z/ V 最后，Google会更新整个数据库，在www2.XXX.com和www3.X.com这两个站点上可以看到最新的更新结果。在更新的同时，其结果会很快的连接在主要数据库和第二、第三个数据库之间。由于Google使用的服务器有15000台之多，因此在整个更新结束之前，不同地方的人们所得到的搜索结果是不同的。“Google Dance”会持续好几天，但是不会超过一个星期。除非Google要改变一些主要的规则，比如2003年4月份的更新。7 D7 W ^* D ?6 z
0 e/ V) J; [9 [# ?( a2 F7 w
无论是在Google的每个数据库更新的时候还是在更新之后 只要其中一个数据库进行更新，Google又会开始新一轮的“全面”检索。我们把它称做爬虫B。这次检索仍然包括数据库中所有已被收录站点和一些新发布的网站。GoogleBot的这次检索完成之后，就是Google下一轮更新的起点，意味着下个月的更新又全面开始了。
) J! x2 c* i S- S7 ~% q* k
( d2 U# Y. ?7 k+ B/ R8 ^ 在完美时间“捕捉”Googlebot% @& k; m+ t/ U5 r
* {9 y' E. B8 [0 R& W6 \9 L 为了得到包括Google数据库在内的任何网站，或是数据库中有效反映更新的网站，一个有经验的网站管理员需要事先作认真的计划，并准备好一切。这样他才能在能每月特定的更新过程中“抓住”Googlebot，以取得一个好的排名。多数好的搜索引擎优化专家都知道Googlebot一开始的索引都是在月初进行的，而深层次的索引是在更新之后开始的。
$ @' H" E! V6 U
. }. m* h3 A0 X0 B$ I+ K7 I! t 如果一个网站管理员希望在Google的数据库中收录一个新站点，那么问题是，会不会有一个爬虫来保证收录呢？根据我们对其每月更新的经验来判断，并不总是这样的。毫无疑问，如果一个网站在月初就被索引的话，那么在这个月的更新过程中，就不会被收录。如果是在这个月的第二次索引中提交的话，就有可能被重新访问，并且在下次的更新时被收录。
* i* `9 _6 S8 `. H1 s% G: q ) ~" b; E9 A$ y
在其他情况下，Google只是简单浏览一下新提交的站点，记下主页和Robots.txt文档。像这种行为通常是一个好的指示，Googlebot会在下次主要索引期间再次回来。所以站点通常会在第二次索引更新时被收录。对一个新的网站来说，被收录到Google的数据库中，要被在Googlebot那里访问两次。虽然有些例外的情况，但多数情况下是这样的。0 y/ ^9 b4 P! u' k
|
