找回密码
 加入怎通
查看: 553|回复: 0

[交流] “生也百度死也百度,那些年,变幻莫测的蜘蛛”

[复制链接]
泥菩萨 发表于 2014-02-25 11:28:34 | 显示全部楼层 |阅读模式
咱们都知道, 蜘蛛是沿着连接爬来爬去的,他会自动获取网站中所有的连接,保存入库,然后进行爬取,这也就是为什么咱们觉得网站的收录少了或者刚发布的文章没有被收录,咱们就会说“引爬虫”了,其实引爬虫就是发外链了,当这条链接被蜘蛛发现之后,他就会进行爬取,然后通过一系列复杂的算法之后,决定是否放出该页面的收录。
为何没有的页面也会被抓取的呢?
一是被对手刷外链,也就是说竞争对手恶意的给你发了很多的不存在的页面链接,当爬虫发现之后就会来爬取;二是以前做的外链,后来因为网站改版而某些连接没有及时的去除, 蜘蛛定期回访的时分爬取了这条连接;三是此种仅限老域名,之前的网站结构和我们现在的网站结构不一致,也类似于b中的说法;四是robots文件没有对爬虫进行限制;五是程序的原因,导致百度爬虫掉入黑洞,也就是一个死胡同;最后就是网址提交的时候出现了一系列的问题。
转载此文章,请注明出处:不锈钢开瓶器 http://www.lxopener.com/products-detail.asp?cpid=10

回复

使用道具 举报

轮胎江湖风云榜:强者逐鹿,你选哪方?
轮胎江湖初起:排名那些事儿 在汽车的万千零部件中,轮胎虽低调,却承载着整车的重量,掌控着行驶的方向,还直接关乎驾乘的安全与舒适,是汽车与地面沟通的 “桥梁” 。就像武侠世界里各路英雄豪杰都有自己的看家本领和江湖地位一样,轮胎品牌也凭借各自独特的技术、性能和口碑,在市场中角逐出了属于

您需要登录后才可以回帖 登录 | 加入怎通

本版积分规则

QQ|网站地图|真牛站长论坛 ( 苏ICP备2023040716号-2 )

GMT+8, 2025-11-29 04:01

免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系420897364#qq.com(把#换成@)删除。

Powered by Discuz! X3.5

快速回复 返回顶部 返回列表