Anonymous 发表于 2013-04-03 13:38:24

为什么网站不被抓取，网站优化 这个提交各大搜索引擎 huohu.so 百度 搜狗 搜搜 都不收

为什么网站不被抓取，网站优化这个提交各大搜索引擎 huohu.so 百度 搜狗 搜搜 都不收录 谷歌 360 有道等收录了，却从来没有再抓取过其他信息了，，robots.txt 设置 地址栏输入：

codyness 发表于 2026-04-04 08:20:40

学习到了，之前一直没注意过这个点，受教了

xixi 发表于 2026-06-28 07:52:17

楼主太厉害了，整理得这么详细，必须支持

博润天下 发表于 2026-09-10 12:08:26

内容很干货，没有多余的废话，值得反复看

公关 发表于 2026-10-16 00:19:06

刚好遇到类似问题，看完这个帖子心里有底了

西万路小混混 发表于 2026-10-24 14:09:01

蹲了这么久，终于看到有价值的讨论，支持一下！

飞翔蜘蛛池 发表于 2026-10-25 06:24:16

说得很实在，没有夸大其词，这种真实分享太难得了
页: [1]
查看完整版本: 为什么网站不被抓取，网站优化 这个提交各大搜索引擎 huohu.so 百度 搜狗 搜搜 都不收