一、抓取+ y; x. g' q, S; r( u. c
" n, r. |4 L3 q* B- S
Baiduspider，或称百度蜘蛛，会通过搜索引擎体系的计算，来决议对于哪些网站实施抓取，和抓取的内容以及频率值。搜索引擎的计算历程会参考你的网站正在历史中的表示，譬如内容是否充足优良，是否存在对于用户不友好的设置，是否存在过分的搜索引擎优化行动等等。 . q2 J% H) A) m % b2 ?! r/ X& O0 e9 R 当你的网站产生新内容时，Baiduspider会通过互联网外某个指向该页面的链接进行走访以及抓取，要是你不设置任何内部链接指向网站中的新增内容，则Baiduspider是没法对于其进行抓取的。关于已经被抓取过的内容，搜索引擎会对于抓取的页面进行纪录，并根据这些页面对于用户的主要水平安顿不同频次的抓取更新任务。/ z; a* V% o5 G s
7 b& g) y3 l8 T5 v* ?7 w: }' b' Y 需您要留神的是，有一些抓取软件，为了种种目标，会假装成Baiduspider对于你的网站进行抓取，那大概是不受把持的抓取行动，紧张时会影响到网站的一般运作。面此辨认Baiduspider的真伪。 0 X/ l) L3 z! Q9 F7 d/ I3 D0 u; l! I7 o1 g" v( Z% r& K! E: u* [
两、过滤 * r2 Y+ M, R p9 F 2 c7 c3 N. R* g( S& B 互联网外并非所有的网页皆对于用户有意义，譬如一些分明的欺骗用户的网页，生链接，空缺内容页面等。这些网页对于用户、站长以及百度来说，皆不充足的价值，因而百度会主动对于这些内容进行过滤，以避免为用户以及你的网站带来不必要的贫苦。; y6 x! w5 N u7 w0 [
' E$ a3 J1 }3 X; q
三、确立索引/ l: L0 O7 I: L
; c/ }6 b# Q+ N2 n% Q; C) [0 Y! w 百度对于抓取回来的内容会一一进行标志以及辨认，并将这些标志进行贮存为构造化的数据，譬如网页的tagtitle、metadescripiton、网页中链及描写、抓取纪录。同时，也会将网页中的关键词信息进行辨认以及贮存，以便与用户搜寻的内容进行匹配。 " Q R ^) A0 U1 I! k: R7 c5 f" t x' B U) f
四、输入后果" s; L* y0 e7 o) A* Q
( W% `; r- T0 b" v3 a+ }9 v
用户输出的关键词，百度会对于其进行一系列庞杂的剖析，并依据剖析的论断正在索引库外寻觅与之最为匹配的一系列网页，依照用户输出的关键词所体现的需求强弱以及网页的优劣进行打分，并依照最终的分数进行排列，展示给用户。 # r1 v, |* N. D$ @$ x. Z
