找回密码
 加入怎通
查看: 778|回复: 3

[其他] 蜘蛛在抓取页面的时候遇到的问题

[复制链接]
嘉钰利慧 发表于 2013-03-30 14:33:17 | 显示全部楼层 |阅读模式
蜘蛛抓取页面的时候,如果是搜索引擎友好的网站设计,蜘蛛抓取的就快就多,但是一旦网站设计搜索引擎不友好,蜘蛛抓取就会遇到困难。下面沈阳网络优化和你一起谈谈谈谈。作为一名沈阳seo这些基本的技术使我们必须懂得的。
; k: t+ x, s& n0 g
1、 蜘蛛怎样找到网站的首页
要让蜘蛛找到网站首页,就必须有外部链接链到首页,蜘蛛找到首页后就会沿着首页的内链接找到更深的内容页,所以在做网站的时候,就得要求网站的结构要良好,要符合逻辑。所有页面的爬行要通过HTML链接达到。像js链接、flash链接等搜索引擎蜘蛛一般不会爬行。
6 R7 [/ H% k' k) N1 Z, h/ q( G其次就是,网站的首页和内页之间不要太远,点击四五次之内较好。7 |5 E/ Z4 E6 F+ G- D
2、 什么样的页面,蜘蛛是敬而远之
数据库动态生成,带有过多参数的URL、SessionID、Flash、框架、大量的复制内容,蜘蛛会敬而远之。9 d: m- `' W: e+ n% Q* K
3、 蜘蛛抓取了页面怎样提炼有用信息
关键词在页面的合理分布、重要标签的撰写、HTML代码精简、起码的兼容性等可以帮助搜索引擎理解页面内容,提取有用信息。
! o+ R! z3 a: B* Z. o只有搜索引擎能顺利找到所有页面,住区这些页面并提取其中真正相关性的内容,网站才可以被视为搜索引擎友好的。
% H. D. r8 a, z5 q4 N0 R% T' n7 H) A* c% K  {

暂时无法加载帖子列表

回复

使用道具 举报

熊向阳博客 发表于 2026-03-27 13:04:29 | 显示全部楼层
学习到了,之前一直没注意过这个点,受教了
回复

使用道具 举报

美美 发表于 2026-08-01 23:24:50 | 显示全部楼层
完全赞同,我也是这么认为的,英雄所见略同~
回复

使用道具 举报

别致滴小伙 发表于 2026-08-03 04:06:52 | 显示全部楼层
楼主辛苦了,整理这么多内容,必须点赞收藏
回复

使用道具 举报

    您需要登录后才可以回帖 登录 | 加入怎通

    本版积分规则

    QQ|手机版|小黑屋|网站地图|真牛社区 ( 苏ICP备2023040716号-2 )

    GMT+8, 2026-9-10 21:15 , Processed in 0.040339 second(s), 26 queries , Gzip On.

    免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系420897364#qq.com(把#换成@)删除。

    Powered by Discuz! X3.5

    快速回复 返回顶部 返回列表