|
首先,来说一下蜘蛛是什么,蜘蛛是整个搜索引擎上游的一个模块,只有蜘蛛抓回的页面或URL才会被索引和参与排名。蜘蛛抓取网页需要一个入口,所谓入口,就是链接;蜘蛛从入口进入网页,在从一个链接爬到另一个链接。蜘蛛抓取文章时,是靠特定的程序代码去辨认文章的原创性。百度蜘蛛在抓取文章之后,经过一定程序处置将一些多余没有多大意义的字去掉,例如“啊”“额”“了”等等,把整个文章变成众多关键字的汇合。
' s' D: O- |& g# ]5 c9 n+ R6 p 百度蜘蛛与人的思维是不一样的,像网页总是从上至下,由左至右的看,它仅仅模拟了人的大脑,一般都是首先搜索头部信息,再搜索底部信息,然后紧接着爬取左边,最后才看主体中间部分,所以蜘蛛爬取的图形可以用字母“E”来表示。我们人搜索观看的可以看做一个字母“F”。所以在站内优化时候,必须要首先考虑到的是让搜索引擎怎样抓取你的的网站,怎样你的网站绽放出最大的亮点。蜘蛛爬取时候有几个特点:“四不爬”$ q& i3 S) J G$ A4 O
一、蜘蛛不喜欢的不爬
# M1 ] w5 h1 J: j- ^. Z 二、没有路口的蜘蛛不爬7 Z: R9 x; q/ L
三、全是路口的蜘蛛不爬
$ s1 e' n" F8 f( H) l 四、路口是死路径的蜘蛛不爬
, S4 H7 U: r. g7 _7 N5 I' O 搜索引擎蜘蛛爬取“五不抓”
( E. p7 D f% R. o4 {/ @! I' z: Y 一、内容网站不符不抓: o S; @8 [6 q* {+ M& u
二、伪网站伪内容不抓
1 e9 M7 l' e' `9 i- }; A" v) `% _& a# z! R 三、全视频全flash不抓
% T+ Z8 r; T4 k' Q 四、网站优化优化过度不抓- t& k4 L' w2 U" D: ] D
五、死链不抓 o: X. m2 A, D$ V9 i
在站内优化过程中,首先要做到这几点才能保证搜索引擎蜘蛛对网站的抓取效果。这些站内优化的注意点是一直都在关注的,我们要努力做到最好。 文章来源:58商道;转载请注明 5 @* s7 t$ o& A
|