介绍百度蜘蛛

Baiduspider - 百度蜘蛛：
5 F- Z" I* c5 Q1 X7 p' T6 e. X+ l百度是如何收录到那么多网页的呢？这个百度用以抓取互联网上数以亿计的网页的程序，就叫做Baiduspider - 百度蜘蛛。
: i$ j5 h' P' O) {3 v! i+ \它是一个程序，夜以继日得在互联网上找寻新的URL，接着抓取URL上的内容，返回到百度的网页暂存数据库。
2 O# k: b- s& p' d: ~百度用来抓取网页内容的程序，叫做Baiduspider，抓取其他内容的蜘蛛，则是新的名字：
' f  B, K5 `) n" Z2 P产品名称                 对应user-agent
网页搜索                Baiduspider
% }1 l6 y4 d8 m无线搜索                Baiduspider-mobile
" k% L' ?5 C: V: _, L图片搜索                Baiduspider-image
2 }9 N: N8 f; x" I& t( L, Q视频搜索                Baiduspider-video
: h1 H+ L1 z8 }0 {& d新闻搜索                Baiduspider-news
" ]# H7 K. p7 h/ I5 A$ e7 m+ X百度搜藏                Baiduspider-favo
2 U- e' `2 l$ v- s百度联盟                Baiduspider-cpro
不少朋友会在自己的网站日志里看到这个蜘蛛Baiduspider-cpro，现在我们明白它是百度联盟蜘蛛，用以百度联盟程序匹配相应的广告。

沈阳网络推广-www.esnsc.com整理发布。
5 {: \  ~8 A3 d9 N

说的不错，我是新人，以后请多多指教
7 K5 Z$ T: B/ j1 R
0 g9 P; w4 T- C$ b1 h4 s! i" ^养鸭技术http://www.ebb9.com/
# |4 T+ }2 T+ d6 A吉他教程http://www.aau6.com/
- g, u+ @- Q& F8 R- k# b鸽子养殖技术http://www.okmal.com/
8 `8 J6 L, z1 c/ N; A1 ~, ], c0 c鸽子养殖技术http://www.liao18.com/

蹲了这么久，终于看到有价值的讨论，支持一下！

楼主辛苦了，整理这么多内容，必须点赞收藏