如何吸引蜘蛛抓取网站

神界游民 · 发表于 2012-08-11 10:00:06

SEOER的研讨对象就是搜引得擎，故此深化理解搜引得擎办公原理很有必要，网上也有众多绍介这方面的文章，但能称得上详细、形象、深化地施行剖析的少之又少。当然，笔者的博文可能也纯粹达不到所谓的详细、形象、深化三面俱到，但笔者会尽可能纤悉、深化地阐述各个原理，以便对这些原理能有更深层级的认知。
一、抓取：其真个抓取面前还有一个过程没有描写在内，那就是爬行，也就是搜引得擎手续发现新网址的过程，只是这个过程大多伴随着抓取，错非你的这个URL上的内容没有啥子价值（垃圾内容、重复内容、书契过少内容等）而被搜引得擎抓取手续直接跳过。搜引得擎爬行手续以数据表中已存在或新提交的链接顺藤摸瓜式地施行爬行以不断发现新的URL，抓取手续在剖析并确认该URL的页面内容有价值后，便将其囫囵页面抓取下来放入到庞大的信息数据表中。新抓取的内容在步入信息数据表时，并不是一股脑地堆积在那，而是按照信息数据库中表的字段（如：网页URL、title、描写、正文内容、抓取时间、导出链接等）分门别类地将信息存储起来，以便知足后期的数据引得操作。
二、引得：在谈这个过程前，我们首先要理清搜引得擎引得数据表与信息数据表之间的关系，实则搜引得擎底层的数据存储本身就是一个关系数据库，引得数据表和信息数据表是两个独立的表，只是引得数据表和信息数据表是一对多的关系，这么也许更好明白。那么搜引得擎为何需要引得数据表呢？我们无防从信息量这个角度剖析一下，就现下来看，搜引得擎的信息量在百亿级，而用户搜索某个关键字时响应速度在短短的2、3秒内，在这短短的2、3内不单只要完成数据的查询，而且还要完成数据的排序（网站关键词名次）。
假如每每都要从这百亿级的数据中查询用户烦请并办理排序，不单减慢响应速度，而且还浪费了大量的计算资源，对服务器的压力也会更大。这个时分，搜引得擎就迫切期望将用户查询的信息锁定在一个范围，这个范围的信息量也许只有几千条、几百条，计算办理起来，速率要高众多，而引得数据表就是为解决这一问题出现的。
依据计数，汉语词语大约有9万多个，听起来很庞大，但对于计算机来讲办理起来恐怕会很轻松，而华文用户的搜索无外乎就是这几万个词语的组合（英文就更简单了，26个字母的组合）。假如用户搜索的是一连气儿串儿的句子，那么要先情节搜引得擎的分词办理，
譬如搜索：华普笔记本电脑，分词技术首先会按照汉语习性施行划分，划分为：华普、笔记本、电脑，那么这三个常见词语在搜引得擎引得数据库表中都有对应的词目，此时搜引得擎将从信息数据表中筛选出关涉引得数据表中3个词语的所有词目并取其交集词目展出给用户，假如用户纯一搜索一个词语，那搜引得擎办理起来就更为简单，直接从信息数据表中筛选出引得数据表中该词所对应的词目即可。
三、名次：阐述这一原理，只得说下搜引得擎爬行、抓取过程，影响网站关键词名次的因素众多，如：站内优化情况、外链质量及数量、pr等，那么这些名次因素搜引得擎也务必抓入数据库，纳入数据表作为特定URL的名次依据，实则影响网页名次指标的获取过程就是搜引得擎爬行、抓取的过程。
最难明白的可能就是外链这一起，因为在抓取网页时，搜引得擎是捕捉不到他的导入链接的，实则搜引得擎在抓取一个页面时，已经将该页面的导出链接投票计算到达相应的页面，并将这一管用投票写入到达所指向的URL字段中，易于名次手续加以计算。当然，影响名次的因素众多，名次计算的具体形式我们也无从得知，故此这些不在我们的商议之列。关于名次，大家可能还有一个问题，就是每个词语的名次是事先排序好了，仍然当用户搜索时才施行排序，笔者给出的谜底是后者，也许这一个现象可以揭秘笔者的谜底：每一天甚而每一钟头关键字名次都会出现撩动。
推荐阅读：www.bet999.com
文章来源：www.xchan.cn

网缘残冰 · 发表于 2026-01-10 18:07:27

这个分享太实用了，刚好能用到，感谢楼主！

老阳 · 发表于 2026-01-12 18:09:08

楼主辛苦了，整理这么多内容，必须点赞收藏

杨强 · 发表于 2026-01-18 02:19:36

刚好遇到类似问题，看完这个帖子心里有底了

脩.东城卫.君 · 发表于 2026-01-18 07:12:57

楼主太厉害了，整理得这么详细，必须支持

		自动登录	找回密码
密码			加入怎通

[站长八卦] 如何吸引蜘蛛抓取网站