Anonymous 发表于 2013-04-03 13:38:24

为什么网站不被抓取，网站优化 这个提交各大搜索引擎 huohu.so 百度 搜狗 搜搜 都不收

为什么网站不被抓取，网站优化这个提交各大搜索引擎 huohu.so 百度 搜狗 搜搜 都不收录 谷歌 360 有道等收录了，却从来没有再抓取过其他信息了，，robots.txt 设置 地址栏输入：

codyness 发表于 2026-04-04 08:20:40

学习到了，之前一直没注意过这个点，受教了

xixi 发表于 2026-06-28 07:52:17

楼主太厉害了，整理得这么详细，必须支持

博润天下 发表于 2026-09-10 12:08:26

内容很干货，没有多余的废话，值得反复看
页: [1]
查看完整版本: 为什么网站不被抓取，网站优化 这个提交各大搜索引擎 huohu.so 百度 搜狗 搜搜 都不收