沃时贷：网络蜘蛛的六大陷阱

网站的设计方面的技术，搜索引擎很不喜欢，对网络蜘蛛爬行和抓取很不利，这就是网络蜘蛛陷阱，主要包括以下几点：
0 Q5 W6 }+ Q9 l. f( x/ Q　　
2 o- o$ Q( [2 |& x　　1、登陆要求有些企业站和个人站的设置一定要注册登陆后才能看到相关的文章内容，这种队蜘蛛不是很友好，蜘蛛不会注册、也不会登陆。
　　
　　2、动态URL什么叫动态URL、什么叫静态URL，简单的说就是带有问号、等号及参数的网址就是动态URL，动态URL不利于搜索引擎蜘蛛的爬行和抓取。
　　
) H% [  Y6 u* t& k& |1 o　　3、强制用Cookies部分站长为了让用户记住登陆信息，强迫用户使用Cookies如果为开启，则无法进行访问，访问页面显示的也不会正常，这种方式会让蜘蛛无法进行访问。
  C. ~6 _3 g7 n6 Z& e% \. {　　
　　4、框架结构首先各位站长你知道什么叫框架结构的世界吗？如果你不知道恭喜你，这个蜘蛛陷阱你已经躲避了，也不要去了解，所以有关框架结构的设计给予做任何的介绍。
$ x& [$ \, x' H/ `& [4 P+ @: k4 Z　　
6 M3 @& e8 q4 b) Z" `　　5、各种跳转对搜素引擎来说只对301跳转相对来说比较友好，对其他形式的跳转都是比较敏感，例如：JavaScrit跳转、MetaRefresh跳转、Flash跳转、302跳转。有些网站的做法很让人无奈，当你打开网页后悔自动转向其他页面，就算打开的页面和你要找的页面主体先关也算过得去。但是很大部分的网站转向让你无任何理由和目的这种转向不推荐大家使用，如果你非要做转向，只推荐用301永久跳转，可以将权重进行传递，除了此转向其他都不推荐，因为很多的占用其他转向欺骗用户和搜索引擎，也是heimao的一种手段，所以建议大家不要使用，以免网站被K。
　　
2 G9 d) ^- t6 b/ b% o: m　　6、Flash有的网站页面使用Flash视觉效果是很正常的，比如用Flash做的Logo、广告、图表等，这些对搜索引擎抓取和收录是没有问题的，很多网站的首页是一个大的Flash文件，这种就叫蜘蛛陷阱，在蜘蛛抓取时HTML代码中只是一个链接，并没有文字虽然大的Flash效果看上去很好，外观看着也很漂亮，但可惜搜素引擎看不到，无法读取任何内容所以为了能体现网站优化的最好效果，不提倡这种Flash做首页图片。
0 e) y2 x' O" j. r, b2 N

刚好遇到类似问题，看完这个帖子心里有底了

这个思路很新颖，打开了新世界的大门，谢谢分享

楼主太厉害了，整理得这么详细，必须支持

楼主辛苦了，整理这么多内容，必须点赞收藏