一、抓取
$ r4 B3 Z1 n, L7 E' T
2 {$ N9 T3 N8 S Z* B" j& X& ~) { Baiduspider，或称百度蜘蛛，会通过搜索引擎体系的计算，来决议对于哪些网站实施抓取，和抓取的内容以及频率值。搜索引擎的计算历程会参考你的网站正在历史中的表示，譬如内容是否充足优良，是否存在对于用户不友好的设置，是否存在过分的搜索引擎优化行动等等。
* f% y& C- i4 y) ~# k: _$ S9 M7 w/ ~8 H- O" G) f
当你的网站产生新内容时，Baiduspider会通过互联网外某个指向该页面的链接进行走访以及抓取，要是你不设置任何内部链接指向网站中的新增内容，则Baiduspider是没法对于其进行抓取的。关于已经被抓取过的内容，搜索引擎会对于抓取的页面进行纪录，并根据这些页面对于用户的主要水平安顿不同频次的抓取更新任务。# |& \$ d) D; H9 e/ b/ w
: O6 u; [3 [5 |! g; d8 M1 C8 t" y 需您要留神的是，有一些抓取软件，为了种种目标，会假装成Baiduspider对于你的网站进行抓取，那大概是不受把持的抓取行动，紧张时会影响到网站的一般运作。面此辨认Baiduspider的真伪。/ h) R$ `2 b( A9 \& T( s, u
7 F8 g; h: {6 a6 |+ F6 f" ~+ w6 s 两、过滤
9 t6 V g( H9 j, A1 p# I7 E4 T- O4 c# }2 k
互联网外并非所有的网页皆对于用户有意义，譬如一些分明的欺骗用户的网页，生链接，空缺内容页面等。这些网页对于用户、站长以及百度来说，皆不充足的价值，因而百度会主动对于这些内容进行过滤，以避免为用户以及你的网站带来不必要的贫苦。* _, g, a# M$ Y) w2 i3 Q1 E5 C
* {' M, _8 m- ]( q6 Q4 M; n 三、确立索引; T `9 C6 f3 T
+ o- j1 s* U; U% k
百度对于抓取回来的内容会一一进行标志以及辨认，并将这些标志进行贮存为构造化的数据，譬如网页的tagtitle、metadescripiton、网页中链及描写、抓取纪录。同时，也会将网页中的关键词信息进行辨认以及贮存，以便与用户搜寻的内容进行匹配。4 r/ O& J3 L" t" L
c" U, u% l' f 四、输入后果
2 e5 `! w7 I$ c( i; z# O8 U0 R$ Q# i6 a& y2 g4 `
用户输出的关键词，百度会对于其进行一系列庞杂的剖析，并依据剖析的论断正在索引库外寻觅与之最为匹配的一系列网页，依照用户输出的关键词所体现的需求强弱以及网页的优劣进行打分，并依照最终的分数进行排列，展示给用户。1 ]. O+ v$ b2 `5 O7 t6 O
|
