设为首页收藏本站

 找回密码
 加入怎通
真牛社区»站长 › 站长交流区(站长SEO的畅谈分享区) › 百科杂谈 › 百度蜘蛛原来是这样的
返回列表 发新帖
查看: 732|回复: 1

[站长八卦] 百度蜘蛛原来是这样的

[复制链接]
艾森网络 发表于 2012-05-19 15:50:47 | 显示全部楼层 |阅读模式
Baiduspider - 百度蜘蛛：
* R7 M, G4 r, ]: l9 I  B" Q% D9 i百度是如何收录到那么多网页的呢？这个百度用以抓取互联网上数以亿计的网页的程序，就叫做Baiduspider - 百度蜘蛛。, H" b4 [0 ~2 H% }) q
它是一个程序，夜以继日得在互联网上找寻新的URL，接着抓取URL上的内容，返回到百度的网页暂存数据库。3 l* ~8 |" G  j% u6 j5 F% c% |
百度用来抓取网页内容的程序，叫做Baiduspider，抓取其他内容的蜘蛛，则是新的名字：
% B# D9 Q* P, Z4 ]" P" S) E产品名称                 对应user-agent
% h' K3 e2 {: q$ c. l网页搜索                Baiduspider. j% y% b. k/ S3 M0 v7 p; E3 H  _
无线搜索                Baiduspider-mobile
3 h# ?3 J( j0 V图片搜索                Baiduspider-image 3 o8 L/ O; w, o0 k* s
视频搜索                Baiduspider-video
# s# r: Y4 V* a新闻搜索                Baiduspider-news ( |6 V% l7 d! [+ R5 Y9 Y
百度搜藏                Baiduspider-favo ! B  z0 O9 j* m6 E* q( Q6 ?7 W. c
百度联盟                Baiduspider-cpro
# C! {- `3 J0 L& |) Y不少朋友会在自己的网站日志里看到这个蜘蛛Baiduspider-cpro，现在我们明白它是百度联盟蜘蛛，用以百度联盟程序匹配相应的广告。5 M7 o- k4 u0 g* e
百度蜘蛛是很奇怪的，他有自己的喜好个性，所以我们要好好了解它才是。3 C! [6 q: g9 F. @( ?" Z* e5 H
本文由http://www.hera-wedding.com/整理发布
5 F1 K- o& G6 U: H! K) M
回复

使用道具 举报

西万路小混混 发表于 2025-11-10 20:28:20 | 显示全部楼层
楼主太厉害了，整理得这么详细，必须支持
回复 支持 反对

使用道具 举报

返回列表 发新帖
2026年3月12日真牛社区（fd.znbgj.com）签到记录贴
我今天最想说:「www.hzzdsw.com 加油」.
    高级模式
    B Color Image Link Quote Code Smilies
    您需要登录后才可以回帖 登录 | 加入怎通

    本版积分规则

    QQ|手机版|小黑屋|网站地图|真牛社区 ( 苏ICP备2023040716号-2 )

    GMT+8, 2026-3-13 11:46 , Processed in 0.757591 second(s), 50 queries , Gzip On.

    免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系420897364#qq.com(把#换成@)删除。

    Powered by Discuz! X3.5

    快速回复 返回顶部 返回列表