传说中的“蜘蛛陷阱”
有一些网站设计技术对于搜索引擎来说很不友好,不利于蜘蛛的爬行和抓去,这些技术被称之为蜘蛛陷阱。一些常见的蜘蛛陷阱包括如下:① Flash
在网页中有某一部分使用Flash增强视觉效果是很正常的事情,比如广告、图标等等。这种小的Flash和图片是一样的,只是HTML代码中很小的一部分,页面上还有其他以文字为主的内容,这种对搜索引擎抓取和收录没有影响。
但是有的网站整个首页就是一个大的Flash动画,这就构成的蜘蛛陷阱。搜索引擎抓去的代码中只是一个链向Flash文件的链接,没有其他文字内容。这样的网站,虽然看起来效果很炫,但是搜索引擎看不到,索引不到任何文字信息,也就没法判断相关性了。
②Session ID(会话ID)
有些网站使用Session ID来跟踪用户访问,每个用户访问网站的时候都会形成独特唯一的Session ID,加在URL中。搜索蜘蛛每一次访问也会被当成一个新的用户,URL中会加上一个不同的Session ID,这样蜘蛛每次来访问网站是所得到同一个页面的URL不一样,后面带着个不一样的Session ID。这是常见的蜘蛛陷阱之一。
③各种跳转
除了搜索引擎推荐的301跳转以外,其他形式的任何跳转(如:302跳转、Flash跳转、JavaScript跳转等等)都非常的敏感,对蜘蛛的爬行非常不利。而黑帽SEO则经常利用转向欺骗搜索引擎和用户。
④框架结构
相信每一位站长都知道什么是框架结构,这里我也不多说了。
⑤要求登录
有一些网站要求用户必须先注册登录后才能进入会员等页面,然而蜘蛛不会输入帐号密码,因此这些网页都不会被蜘蛛所看到。
⑥强制使用Cookies
有些网站为了实现某种功能,如记住用户登录信息、跟踪用户访问路径等,强制使用Cookies,用户浏览器如果没有开启Cookies的话,页面显示不正常。搜索蜘蛛就像一个禁用了Cookies的浏览器,强制使用Cookies只会造成搜索引擎蜘蛛无法正常的访问。
⑦动态URL
动态URL是指由数据库驱动的网站所生成、带有问号、等号及参数的网址,这不利于蜘蛛的搜索。
以上7点就是很常见的一些不利于网站优化和搜索引擎收录的蜘蛛陷阱,希望能帮到新手们,老鸟们当然是都知道了的。
文章由武汉亿万互联科技提供。
楼主太厉害了,整理得这么详细,必须支持 这个分享太实用了,刚好能用到,感谢楼主! 楼主辛苦了,整理这么多内容,必须点赞收藏
页:
[1]