Anonymous 发表于 2014-05-16 12:49:11

用WP做的一个博客网站，也正常收录，蜘蛛也会每天都来爬，现在想把博客程序迁移到blog

用WP做的一个博客网站，也正常收录，蜘蛛也会每天都来爬，现在想把博客程序迁移到blog文件夹下，在网站根目录下另外安装一个CMS程序，请问在CMS调试期间如何让搜索引擎只爬blog文件夹而不索引根目录下的东西。我使用百度站长工具生成的robots.txt文件是这样的：User-

西万路小混混 发表于 2026-01-04 18:27:26

完全赞同，我也是这么认为的，英雄所见略同～

云漫小陈 发表于 2026-01-12 12:27:58

分析得很透彻，很多细节都说到点子上了～

cooz 发表于 2026-01-12 19:53:32

这个分享太实用了，刚好能用到，感谢楼主！
页: [1]
查看完整版本: 用WP做的一个博客网站，也正常收录，蜘蛛也会每天都来爬，现在想把博客程序迁移到blog