搜索引擎抓取网站的原理

1、索引系统
1 \7 Z$ w' A: z! {9 U　　要明白索引系统，需要首先理清搜索引擎索引数据表与信息数据表之间的关系，其实搜索引擎底层的数据存储本身就是一个关系数据库，索引数据表和信息数据表是两个独立的表，只是索引数据表和信息数据表是一对多的关系，这样或许更好理解。
　　那么搜索引擎为什么需要索引数据表呢?信息量大，为确保数据查询结果。就目前来看，搜索引擎的信息量在百亿级，而用户搜索某个关键字时响应速度在短短的2、3秒内，在这短短的2、3内不仅仅要完成数据的查询，而且还要完成数据的排序(关键词排名)。如果每次都要从这百亿级的数据中查询用户请求并处理排序，不仅减慢响应速度，而且还浪费了大量的计算资源，对服务器的压力也会更大。这个时候，搜索引擎就迫切希望将用户查询的信息锁定在一个范围，这个范围的信息量或许只有几千条、几百条，计算处理起来，效率要高很多，而索引数据表就是为解决这一问题出现的。
9 b2 E& z5 X% f: M- H. ^' E　　2、蜘蛛爬虫爬行抓取
　　一个网站提交搜索引擎，蜘蛛从索引区出来抓取网页，搜索引擎程序发现新网址后开始抓取，一般(垃圾内容、重复内容、文字过少内容等)都会被搜索引擎抓取程序直接跳过，或者即使第一次抓取了被放在临时库中，后面发现如果不符合规则也会被清理。
" Y7 K% u( t5 g# i! N　　搜索引擎爬行程序以数据表中已存在或新提交的链接顺藤摸瓜式地进行爬行以不断发现新的URL，抓取程序在分析并确定该URL的页面内容有价值后，便将其整个页面抓取下来放入到庞大的信息数据表中。新抓取的内容在进入信息数据表时，并不是一股脑地堆积在那，而是按照信息数据库中表的字段(如：网页URL、title、描述、正文内容、抓取时间、导出链接等)分门别类地将信息存储起来，以便满足后期的数据索引操作。
8 A  q5 B* O" p* [0 ?3 h! Q　　3、数据查询系统
　　搜索引擎优化专员都明白影响关键词排名的因素很多，如：站内优化、外链质量、数量、网站pr等，那么这些排名因素搜索引擎也必须抓入数据库，纳入数据表作为特定URL的排名依据，其实影响网页排名指标的获取过程就是搜索引擎爬行、抓取的过程。
$ Q5 ]: d) }5 k5 i, y& l& y- k% C6 \　　用户使用更多的是数据查询系统，我们都希望在搜索相关关键词的时候出现尽可能相关，和与自己想要的相关内容，那么搜索引擎在实现这一查询结果的同时，需要在索引区中进行分类、归档、排序，然后将结果反馈给给用户;搜索引擎是一个伟大而神奇的算法。如果作为一名搜索引擎优化专员，你不了解搜索引擎抓取原理，那么你不是一名优秀的搜索引擎优化工作者。

楼主太厉害了，整理得这么详细，必须支持

学习到了，之前一直没注意过这个点，受教了

蹲了这么久，终于看到有价值的讨论，支持一下！

说得很实在，没有夸大其词，这种真实分享太难得了

完全赞同，我也是这么认为的，英雄所见略同～

刚好遇到类似问题，看完这个帖子心里有底了

分析得很透彻，很多细节都说到点子上了～

内容很干货，没有多余的废话，值得反复看

这个分享太实用了，刚好能用到，感谢楼主！