避免蜘蛛陷阱需要注意的5点

1、避免网站首页采用整个flash动画。搜索引擎无法读取flash文件中的文字和链接(注意：允
9 m5 [" |! I! d3 L+ d许网站一小部分采用FLASH增强网页效果)
2、框架结构:frame  ifrmae搜索引擎无法抓取框架里的内容。
3、javascript脚本：
4、动态URL:带有很多参数的动态url不利于蜘蛛的爬行，尽量避免。一般采用静态url或url伪
  O, Q0 u7 G( q; m0 f静态。
5、要求登录
2 L- K/ @0 g( P( T4 B6、除301以外的其他跳转：js跳转、flash跳转、meta refresh跳转、302跳转.

内容很干货，没有多余的废话，值得反复看

楼主太厉害了，整理得这么详细，必须支持

这个思路很新颖，打开了新世界的大门，谢谢分享

说得很实在，没有夸大其词，这种真实分享太难得了

这个分享太实用了，刚好能用到，感谢楼主！