有一些网站设计技术对于搜索引擎来说很不友好,不利于蜘蛛的爬行和抓去,这些技术被称之为蜘蛛陷阱。一些常见的蜘蛛陷阱包括如下:% x4 m5 P% R: e, \- T# m7 @
① Flash
' U" b' k' Y# n( }! P/ n 在网页中有某一部分使用Flash增强视觉效果是很正常的事情,比如广告、图标等等。这种小的Flash和图片是一样的,只是HTML代码中很小的一部分,页面上还有其他以文字为主的内容,这种对搜索引擎抓取和收录没有影响。5 C, Z6 Y! R1 }( D& s$ V, I" M
但是有的网站整个首页就是一个大的Flash动画,这就构成的蜘蛛陷阱。搜索引擎抓去的代码中只是一个链向Flash文件的链接,没有其他文字内容。这样的网站,虽然看起来效果很炫,但是搜索引擎看不到,索引不到任何文字信息,也就没法判断相关性了。
' ]- [' n( c$ i ②Session ID(会话ID)8 S# I% a; V4 f
有些网站使用Session ID来跟踪用户访问,每个用户访问网站的时候都会形成独特唯一的Session ID,加在URL中。搜索蜘蛛每一次访问也会被当成一个新的用户,URL中会加上一个不同的Session ID,这样蜘蛛每次来访问网站是所得到同一个页面的URL不一样,后面带着个不一样的Session ID。这是常见的蜘蛛陷阱之一。' B* I# d- H2 t! t1 Z" g
③各种跳转
|; j9 X- X5 ^( H; ]& J \3 h 除了搜索引擎推荐的301跳转以外,其他形式的任何跳转(如:302跳转、Flash跳转、JavaScript跳转等等)都非常的敏感,对蜘蛛的爬行非常不利。而黑帽SEO则经常利用转向欺骗搜索引擎和用户。
( P ~2 O3 D7 J6 L$ @4 d ④框架结构; A5 Z: c" Z' b, d
相信每一位站长都知道什么是框架结构,这里我也不多说了。
& A% P2 f( r7 z: E ⑤要求登录
* {! Y3 Z0 A1 Y0 E& C1 K! r* ~ 有一些网站要求用户必须先注册登录后才能进入会员等页面,然而蜘蛛不会输入帐号密码,因此这些网页都不会被蜘蛛所看到。( }! y) ~2 a9 \2 k$ U
⑥强制使用Cookies; V! [: @3 G6 L3 ?
有些网站为了实现某种功能,如记住用户登录信息、跟踪用户访问路径等,强制使用Cookies,用户浏览器如果没有开启Cookies的话,页面显示不正常。搜索蜘蛛就像一个禁用了Cookies的浏览器,强制使用Cookies只会造成搜索引擎蜘蛛无法正常的访问。. \7 @( ^. [" }) d
⑦动态URL
$ b' B; ^! H4 K+ [$ W0 |7 q* u, C& h 动态URL是指由数据库驱动的网站所生成、带有问号、等号及参数的网址,这不利于蜘蛛的搜索。
: M5 V8 F' _2 R以上7点就是很常见的一些不利于网站优化和搜索引擎收录的蜘蛛陷阱,希望能帮到新手们,老鸟们当然是都知道了的。
) t+ B+ z! Q- f; c$ v7 O* c3 P* R文章由武汉亿万互联科技提供。
8 {1 t: S" o+ z6 H$ Y; X2 q7 Q1 r7 u! @' o) f' n; c+ h8 Z2 J$ ]9 C( u
|