SEO网站优化要适当屏蔽蜘蛛

真爱一生 · 发表于 2013-05-22 14:10:10

1、图片和模板目录都可以进行屏蔽因为目前很多站长都是在互联网上找相同的图片和套用现成的模板，这些模板和图片已经在互联网泛滥了，此时你还让你的网站被蜘蛛再次爬行这些老掉牙的东西，自然会让蜘蛛非常的反感，从而让你的网站贴上模仿作弊的标签，想要获得搜索引擎的青睐反而是更加困难，所以IMAGES目录通常可以屏蔽！? 、4、如果有双页面，那么优先屏蔽动态页面一般而言，网站的静态页面是很容易被搜索引擎收录，通常蜘蛛抓取和收录是两回事，网站除了静态页面之外，大部分网站还存在着动态的页面，如果不进行屏蔽的话，势必造成两个页面同时被蜘蛛抓取，可是到了搜索引擎算法判断的时候，因为发现了两个一样的页面，就会认为你网站存在作弊的嫌疑，所以加大对你网站的考察力度，从而影响到网站的排名，所以正确的做法是优先屏蔽网站的动态页面！?2、缓存目录可以屏 www.hbjyled.com www.xianledping.com 蔽，防止重复索引蜘蛛是非常贪婪的，只要你给他喂食，它是不管真实还是虚幻都照单全收，比如网站的缓存目录里面的内容，蜘蛛也会照样来进行索引，这势必和网站里面的内容出现了重复，如果出现重复的数量过多，那么百度的算法机制就会认为你的网站在作弊，从而甚至提升你网站的权重，给网站带来极大的影响，通常每种建站程序的缓存目录是不一样的，要根据不同的建站程序来屏蔽相应的缓存目录是很有必要的！? 3、CSS目录及部分RSS页需要屏蔽CSS目录对于蜘蛛而言是完全无用的，抓取后反而会影响搜索引擎算法的判断，所以可以通过ROBOTS.TXT文件来进行屏蔽，另外很多建站程序的RSS页也是一种内容的重复，抓取后也会造成搜索引擎的误判断，这两个方面的内容都需要屏蔽！这种屏蔽看起来是对蜘蛛的大不敬，实际上却如良药苦口利于病！忠言逆耳利于行！? 5、涉及网站安全隐私的内容要屏蔽本文的开头提到了ADMIN和DATA目录实际上是有关网站安全隐私的内容，暴露给蜘蛛是没有丝毫好处的，甚至还可能会多一份被攻击的渠道，所以涉及到有关安全的目录，比如数据库目录，网站日志目录以及备份目录都需要进行屏蔽，另外有些站长在网站备份后，再进行下载，可是下载过后有不注意对备份文件的删除，这也是很容易导致蜘蛛重复抓取，也容易导致被黑客攻击。

本篇由西安LED显示屏陕西LED显示屏整编发布

csdcpj · 发表于 2013-05-22 14:28:54

嗯，网站不是所有的目录都欢迎蜘蛛爬行的，，有的目录是需要根据实际情况适时的屏蔽掉蜘蛛。

stefani · 发表于 2013-05-22 14:54:57

不错不错。。。。。。。。。。。。。

的士屠夫 · 发表于 2026-01-10 12:26:59

完全赞同，我也是这么认为的，英雄所见略同～

西万路小混混 · 发表于 2026-01-12 18:58:29

楼主太厉害了，整理得这么详细，必须支持

飞翔蜘蛛池 · 发表于 2026-01-14 08:45:42

刚好遇到类似问题，看完这个帖子心里有底了

		自动登录	找回密码
密码			加入怎通

[站长八卦] SEO网站优化要适当屏蔽蜘蛛