|
首先，来说一下蜘蛛是什么，蜘蛛是整个搜索引擎上游的一个模块，只有蜘蛛抓回的页面或URL才会被索引和参与排名。蜘蛛抓取网页需要一个入口，所谓入口，就是链接；蜘蛛从入口进入网页，在从一个链接爬到另一个链接。蜘蛛抓取文章时，是靠特定的程序代码去辨认文章的原创性。百度蜘蛛在抓取文章之后，经过一定程序处置将一些多余没有多大意义的字去掉，例如“啊”“额”“了”等等，把整个文章变成众多关键字的汇合。4 C/ Y# W4 ~; U: q/ V# q
百度蜘蛛与人的思维是不一样的，像网页总是从上至下，由左至右的看，它仅仅模拟了人的大脑，一般都是首先搜索头部信息，再搜索底部信息，然后紧接着爬取左边，最后才看主体中间部分，所以蜘蛛爬取的图形可以用字母“E”来表示。我们人搜索观看的可以看做一个字母“F”。所以在站内优化时候，必须要首先考虑到的是让搜索引擎怎样抓取你的的网站，怎样你的网站绽放出最大的亮点。蜘蛛爬取时候有几个特点：“四不爬” K- z+ N( z& t$ s% f: ]/ ?
一、蜘蛛不喜欢的不爬
' ]1 v b( ]. ]8 R" n* l 二、没有路口的蜘蛛不爬
3 j* v, Z5 }2 r6 {- q: G 三、全是路口的蜘蛛不爬
* a: w, |7 ~% { h 四、路口是死路径的蜘蛛不爬 0 Z" a1 E# V8 ^0 b
搜索引擎蜘蛛爬取“五不抓”# [8 |$ z( E5 \/ Z, {& @$ n1 {
一、内容网站不符不抓# {' a3 [5 _* Q! U1 D8 H
二、伪网站伪内容不抓& ~6 U6 |% e( i7 I
三、全视频全flash不抓- ?8 X2 }4 P8 h( E
四、网站优化优化过度不抓
6 n' W+ s+ ] o% y$ c4 ^ 五、死链不抓
* Q* ^7 w) E8 a; H9 U( ~ 在站内优化过程中，首先要做到这几点才能保证搜索引擎蜘蛛对网站的抓取效果。这些站内优化的注意点是一直都在关注的，我们要努力做到最好。 文章来源：58商道；转载请注明 % x+ b/ m4 I& i" Y% h) `7 g, W0 L
| 
