|
6 g5 l4 P3 f' h/ b' z* c# W6 g
1. 百度蜘蛛的编号百度蜘蛛并不是只有一只,而是百度公司的一系列爬虫2. 百度蜘蛛的功能百度蜘蛛有很多编号,它们的功能也不尽相同但是它们都有一个共同的目标,就是帮助百度收集信息百度蜘蛛1号负责收集网页上的信息。
# u- y. {8 s ]' L* V 它会根据关键词对网页进行索引,并把相关的信息收集起来百度蜘蛛2号则负责对这些信息进行分析它会对收集到的信息进行分类和整理,帮助百度将这些信息变成有用的数据百度蜘蛛3号则是一个特殊的蜘蛛,它并不是真正意义上的“爬虫”。 : F: B1 E, b" B; e2 H: J
它的作用是根据用户在百度上的搜索行为,来向用户展示相关内容总之,不同编号的百度蜘蛛都承担着不同的任务,但都是为了帮助我们在网上找到想要的信息而存在3. 百度蜘蛛的种类百度蜘蛛都有哪些编号?百度蜘蛛分为好几种,其中常见的有3种:Baiduspider-image、Baiduspider-video和Baiduspider-news。
; f7 p ^4 r4 p: k& c9 ^+ T 它们的主要区别在于对图片、视频和新闻的抓取能力Baiduspider-image是百度图片搜索引擎的核心爬虫,主要负责图片抓取同时也能够抓取一些静态网页,例如站内新闻图片Baiduspider-video是百度视频搜索引擎的核心爬虫,主要负责对于视频的抓取。 $ @) c# S; {% ]3 E; A a! [: _
它能够识别并抓取各大主流视频网站上的内容,包括但不限于优酷、土豆、乐视、风行、搜狐、奇艺、PPTV、PPS 以及56等Baiduspider-news是百度新闻搜索引擎的核心爬虫,主要用来抓取新闻内容它能够识别并抓取各大新闻门户站和个人博客上的内容,包括但不限于新浪、凤凰 、天涯 、强国 以及博客中心 等。 + ~, c, t. F9 I7 O3 o) y: E
0 N, A, I0 a$ _9 D/ G c! s
/ c( ]6 B" ?0 t+ m( Q) b! p) S) o/ R! ]9 v, \- V
5 H9 y& e# d; Q v9 @1 G, t( c |