蜘蛛是如何爬行网站的

天使在飞 · 发表于 2012-09-11 10:51:18

各位SEOer同胞们可能都比较了解SEO优化的手段了，但有多少人知其然并且知其所以然呢？既然是做SEO工作的，我们就应该了解搜索引擎的工作原理，今天就来谈谈搜索引擎蜘蛛是如何爬行网站的。
一、爬行和抓取
搜索引擎派出一个能够在网上发现新网页并抓取文件的程序，这个程序通常被称为蜘蛛（spider）或机器人（robot）。搜索引擎蜘蛛从数据库中已知的网页开始出发，就像正常用户的浏览器一样访问这些网页并抓取文件。并且搜索引擎蜘蛛会跟踪网页上的链接，访问更多网页，这个过程就叫爬行（crawl）。当通过链接发现有新的网址时，蜘蛛将把新网址记录入数据库等待抓取。跟踪网页链接是搜索引擎蜘蛛发现新网址的最基本方法，所以反向链接成为搜索引擎优化的最基本因素之一。没有反向链接，搜索引擎连页面都发现不了，就更谈不上排名了。搜索引擎蜘蛛抓取的页面文件与用户浏览器得到的完全一样，抓取的文件存入数据库。
二、索引
搜索引擎索引程序把蜘蛛抓取的网页文件分解、分析，并以巨大表格的形式存入数据库，这个过程就是索引（index）。在索引数据库中，网页文字内容，关键词出现的位置、字体、颜色、加粗、斜体等相关信息都有相应记录。搜索引擎索引数据库存储巨量数据，主流搜索引擎通常都存有几十亿级别的网页。
三、搜索词处理
用户在搜索引擎界面输入关键词，单击“搜索”按钮后，搜索引擎程序即对输入的搜索词进行处理，如中文特有的分词处理，对关键词词序的分别，去除停止词，判断是否需要启动整合搜索，判断是否有拼写错误或错别字等情况。搜索词的处理必须十分快速。
四、排序
对搜索词进行处理后，搜索引擎排序程序开始工作，从索引数据库中找出所有包含搜索词的网页，并且根据排名算法计算出哪些网页应该排在前面，然后按一定格式返回“搜索”页面。排序过程虽然在一两秒钟之内就完成并返回用户所要的搜索结果，实际上这是一个非常复杂的过程。排名算法需要实时从索引数据库中找出所有相关页面，实时计算相关性，加入过滤算法，其复杂程度是外人无法想象的。搜索引擎是当今规模最大、最复杂的计算系统之一。
以上就是搜索引擎的工作原理，从蜘蛛的爬行到最后的排名，还是挺有意思的。我们应该多了解搜索引擎，从中找出讨好搜索引擎的办法，让蜘蛛喜欢上我们的网站。
新疆旅行社 http://www.iyouxj.com/

baty1007 · 发表于 2012-09-11 10:51:46

提示: 作者被禁止或删除内容自动屏蔽

baty1007 · 发表于 2012-09-11 10:52:40

提示: 作者被禁止或删除内容自动屏蔽

上品喜婚礼· · 发表于 2026-01-10 20:21:30

蹲了这么久，终于看到有价值的讨论，支持一下！

柔水薄情 · 发表于 2026-01-12 15:44:05

提示: 作者被禁止或删除内容自动屏蔽

wang_wei · 发表于 2026-03-15 03:27:20

这个分享太实用了，刚好能用到，感谢楼主！

		自动登录	找回密码
密码			加入怎通

baty1007 当前离线积分 339 头像被屏蔽	baty1007 发表于 2012-09-11 10:51:46 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
baty1007 当前离线积分 339 头像被屏蔽	2026年盛雷城代理企业优选指南，这些品牌值得关注 2月优秀的大型微动开关生产商，谁能名列前茅 2月靠谱尘埃粒子计数器品牌大排行，别错过！ 2026年现浇楼梯优选攻略：技术精湛公司推荐 2026年，哪些XRNC厂家以实力赢得了市场好口碑？上海家装2026年指南：复古新房装修公司大推荐
	回复支持反对使用道具举报

baty1007 当前离线积分 339 头像被屏蔽	baty1007 发表于 2012-09-11 10:52:40 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
baty1007 当前离线积分 339 头像被屏蔽	2026采耳店托管与人才孵化专业服务商综合评测 2026年盐城光伏电站运维服务商深度评测与选择指南 2026年河北聚氨酯喷涂平台实力盘点与推荐硅藻土行业盘点：2026年初五家知名品牌公司推荐 2026年个人安全防护市场：6家顶尖品牌深度解析与推荐 2026年Q1贵州运动地板logo设计服务专业选择指南
	回复支持反对使用道具举报

柔水薄情当前离线积分 91 头像被屏蔽	柔水薄情发表于 2026-01-12 15:44:05 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
柔水薄情当前离线积分 91 头像被屏蔽
	回复支持反对使用道具举报

[站长八卦] 蜘蛛是如何爬行网站的