沃时贷告诉你蜘蛛爬网抓取4步骤

搜索引擎抓取网站有4个步骤：
　　一 抓取
' c" z$ n8 j# k　　二 筛选
　　三 建立索引 筛选后的页面存在数据库，建立索引 ，倒排索引。存取数据是以关键词为单位存取。
　　seo seo培训 先把排序结果排好，当用户搜索时，直接进行调用。建立索引过程就是排序的过程。
　　当抓取页面，过滤机制判断，页面判断seo这个词比较高，就把它填充在seo列表里面，排在第11 。
　　四 输出结果
　　去了并不一定代表收录。去--过滤页面--建立索引
　　正常情况下，l发现的新连接都会去抓。什么情况下不去抓。
( @: _# ^5 ]2 u. `3 Z8 u! H　　4个非常重要的情况：
8 ~" B: A" s; {3 b3 Z　　1 nofollow屏蔽的 会抓吗？搜索引擎是会去爬取页面，但是是不会建立快照，不建立索引，不会收录。但是有一种情况下是会收录的。
　　robots有个特例，就是这个网站是用robots进行屏蔽的，但是在外部存在链接，也会建立收录。不是说你屏蔽了，就不收录。
1 c' _+ l! r( X/ T" z% U

楼主太厉害了，整理得这么详细，必须支持

分析得很透彻，很多细节都说到点子上了～

刚好遇到类似问题，看完这个帖子心里有底了

学习到了，之前一直没注意过这个点，受教了