Baiduspider - 百度蜘蛛：
) }( L6 S2 D/ a( i. G百度是如何收录到那么多网页的呢？这个百度用以抓取互联网上数以亿计的网页的程序，就叫做Baiduspider - 百度蜘蛛。
% N; K, p) ?, [) H. [它是一个程序，夜以继日得在互联网上找寻新的URL，接着抓取URL上的内容，返回到百度的网页暂存数据库。
% B) I. z! d! X- I百度用来抓取网页内容的程序，叫做Baiduspider，抓取其他内容的蜘蛛，则是新的名字：: `8 a/ Q* V" R; n, \* Y- D3 e! R
产品名称 对应user-agent
3 z' } c8 ]/ X0 O网页搜索 Baiduspider
7 W7 E7 G$ r" j2 u无线搜索 Baiduspider-mobile 9 |" {% {+ H4 z. a! D9 L
图片搜索 Baiduspider-image
( K0 r4 n* p6 j, X! u5 y9 m视频搜索 Baiduspider-video 5 v0 B* N5 z( G9 g$ e& [
新闻搜索 Baiduspider-news
$ _8 y/ R4 Z3 Z2 M8 l百度搜藏 Baiduspider-favo * d- M5 n0 u% @9 j! [; v
百度联盟 Baiduspider-cpro
; l, x3 V t+ U不少朋友会在自己的网站日志里看到这个蜘蛛Baiduspider-cpro，现在我们明白它是百度联盟蜘蛛，用以百度联盟程序匹配相应的广告。
8 `* x; O6 X ]" h. ^, E: i百度蜘蛛是很奇怪的，他有自己的喜好个性，所以我们要好好了解它才是。5 B! X4 `$ B( k/ l0 j) E. N
本文由http://www.hera-wedding.com/整理发布
9 f1 f3 |5 N! I' s |
