蜘蛛在抓取页面的时候遇到的问题

嘉钰利慧 · 发表于 2013-03-30 14:33:17

蜘蛛抓取页面的时候，如果是搜索引擎友好的网站设计，蜘蛛抓取的就快就多，但是一旦网站设计搜索引擎不友好，蜘蛛抓取就会遇到困难。下面沈阳网络优化和你一起谈谈谈谈。作为一名沈阳seo这些基本的技术使我们必须懂得的。

1、蜘蛛怎样找到网站的首页

要让蜘蛛找到网站首页，就必须有外部链接链到首页，蜘蛛找到首页后就会沿着首页的内链接找到更深的内容页，所以在做网站的时候，就得要求网站的结构要良好，要符合逻辑。所有页面的爬行要通过HTML链接达到。像js链接、flash链接等搜索引擎蜘蛛一般不会爬行。
其次就是，网站的首页和内页之间不要太远，点击四五次之内较好。

2、什么样的页面，蜘蛛是敬而远之

数据库动态生成，带有过多参数的URL、SessionID、Flash、框架、大量的复制内容，蜘蛛会敬而远之。

3、蜘蛛抓取了页面怎样提炼有用信息

关键词在页面的合理分布、重要标签的撰写、HTML代码精简、起码的兼容性等可以帮助搜索引擎理解页面内容，提取有用信息。
只有搜索引擎能顺利找到所有页面，住区这些页面并提取其中真正相关性的内容，网站才可以被视为搜索引擎友好的。

熊向阳博客 · 发表于 2026-03-27 13:04:29

学习到了，之前一直没注意过这个点，受教了

美美 · 发表于 2026-08-01 23:24:50

完全赞同，我也是这么认为的，英雄所见略同～

别致滴小伙 · 发表于 2026-08-03 04:06:52

楼主辛苦了，整理这么多内容，必须点赞收藏

易小雨 · 发表于 2026-10-05 00:10:52

楼主太厉害了，整理得这么详细，必须支持

罪有英德 · 发表于 2026-10-07 15:15:20

刚好遇到类似问题，看完这个帖子心里有底了

回忆快乐 · 发表于 2026-10-23 15:11:38

蹲了这么久，终于看到有价值的讨论，支持一下！

		自动登录	找回密码
密码			加入怎通

[其他] 蜘蛛在抓取页面的时候遇到的问题