蜘蛛在抓取页面的时候遇到的问题

嘉钰利慧 · 发表于 2013-03-30 14:33:17

蜘蛛抓取页面的时候，如果是搜索引擎友好的网站设计，蜘蛛抓取的就快就多，但是一旦网站设计搜索引擎不友好，蜘蛛抓取就会遇到困难。下面沈阳网络优化和你一起谈谈谈谈。作为一名沈阳seo这些基本的技术使我们必须懂得的。

1、蜘蛛怎样找到网站的首页

要让蜘蛛找到网站首页，就必须有外部链接链到首页，蜘蛛找到首页后就会沿着首页的内链接找到更深的内容页，所以在做网站的时候，就得要求网站的结构要良好，要符合逻辑。所有页面的爬行要通过HTML链接达到。像js链接、flash链接等搜索引擎蜘蛛一般不会爬行。
其次就是，网站的首页和内页之间不要太远，点击四五次之内较好。

2、什么样的页面，蜘蛛是敬而远之

数据库动态生成，带有过多参数的URL、SessionID、Flash、框架、大量的复制内容，蜘蛛会敬而远之。

3、蜘蛛抓取了页面怎样提炼有用信息

关键词在页面的合理分布、重要标签的撰写、HTML代码精简、起码的兼容性等可以帮助搜索引擎理解页面内容，提取有用信息。
只有搜索引擎能顺利找到所有页面，住区这些页面并提取其中真正相关性的内容，网站才可以被视为搜索引擎友好的。

熊向阳博客 · 发表于 2026-03-27 13:04:29

学习到了，之前一直没注意过这个点，受教了

		自动登录	找回密码
密码			加入怎通

[其他] 蜘蛛在抓取页面的时候遇到的问题

浏览过的版块