对蜘蛛设下“禁止通行”的网站结构
一些网站设计技术对搜索引擎说很不友好，不利于蜘蛛爬行和抓取，这些技术被称为蜘蛛陷阱。常见的蜘蛛陷阱分为以下的几种：常见一：JavaScript链接
通常一些不懂SEO的企业老板为了美观，在网站上做很多很炫的效果，尤其体现在Banner上，做的非常的漂亮。但其实那些很炫的特效大部分都是用JavaScript做的链接，在蜘蛛爬到首页上时首先遇到的就是这个JavaScript；那就相当于告诉蜘蛛，这条路不通，去找别的路吧。
常见二：在网页里穿插FLASH
网页FLASH不难理解，像我们从前的QQ空间，刚进去的时候就会看到一个小星星的动画，几秒钟过去后才进入我们的QQ空间；这种做法在视觉上可以起到很大的冲击，但在蜘蛛面前，就是“禁止通行”了；这也是在早先QQ空间从不被百度抓取的原因。
常见三： iframe 框架结构
iframe框架架构相当于给框架里面的链接、内容加上了一层保护膜，蜘蛛抓取时遇到iframe结构也只能叹为观止，之前这么框架结构在摸版上很常见，现在不多了；不过我建议新手站长还是最好检查一下自己的网站源代码，有没有iframe的代码。
不过iframe框架结构也不是一无是处，一些做优化好的SEO通常把iframe结构套在网站希望展示又不希望抓取的地方上；至于为什么不希望蜘蛛抓取，纯粹是为了网站的相关度。
常见四：动态RUL、参数过多RUL
有些新手SEO经常被忽略掉网站URL优化的方法，就是网站是否静态化，URL是否过于太长。示例： 7clink.com/?9q=%BF%C6%B1%A6& ... 99&is=cate#J_crumbs
此URL中，动态参数过多，不利于搜索引擎蜘蛛抓取
常见五：网站需要登陆注册的页面“Ajax”
需要登陆注册的页面通常是用Ajax技术做的，因为验正码是没刷新一次就变一次，最能表达Ajax技术的就是 百度地图 ；蜘蛛和人一样如果需要访问一些没有权限的页面的话，一样需要登陆进去，但是蜘蛛不会和人一样申请账号来登陆，所以抓取不到没有权限的页面。
在我们做SEO的时候尽量避免以上的一些不利于搜索引擎抓取的代码及结构，让搜索引擎更容易的看懂你的网站！ 七夕广告联盟。
分析得很透彻，很多细节都说到点子上了～ 刚好遇到类似问题，看完这个帖子心里有底了
页:
[1]