Anonymous 发表于 2014-11-23 19:09:05

百度，搜狗这些搜索引擎，如果只抓取每个网站的首页需要多大，如果抓取首页和首页链接

百度，搜狗这些搜索引擎，如果只抓取每个网站的首页需要多大，如果抓取首页和首页链接的内页有需要多大？.

追风追雨追太阳 发表于 2026-03-13 09:33:37

完全赞同，我也是这么认为的，英雄所见略同～

平凡的小草 发表于 2026-04-28 14:21:48

楼主太厉害了，整理得这么详细，必须支持

新媒之家 发表于 2026-08-07 16:49:48

蹲了这么久，终于看到有价值的讨论，支持一下！

xiaohe216 发表于 2026-08-09 17:26:39

分析得很透彻，很多细节都说到点子上了～

落雨听蝉 发表于 2026-09-06 01:57:17

刚好遇到类似问题，看完这个帖子心里有底了

山核桃5元 发表于 2026-10-01 22:41:25

这个思路很新颖，打开了新世界的大门，谢谢分享

sqt668 发表于 2026-10-24 05:44:50

学习到了，之前一直没注意过这个点，受教了
页: [1]
查看完整版本: 百度，搜狗这些搜索引擎，如果只抓取每个网站的首页需要多大，如果抓取首页和首页链接