找回密码
 加入怎通
查看: 542|回复: 4

[其他] 怎样减少无效URL的爬行和索引

[复制链接]
江南一格 发表于 2013-08-05 15:01:28 | 显示全部楼层 |阅读模式
  公司近期决定做一个SEO的宣传站来介绍公司自己的业务,同时也想借助百度的力量吸引一些客户,于是我们选择了些关键词。从选词到网站策划以及网站建设的每个步骤我们都很小心,我们做的每个事情都是想我们的网站列适合网站的蜘蛛的抓取习惯。网站的每个页面都采用DIV+CSS布局,网站的结构也不错,网址采用伪静态的方式更适合蜘蛛的抓取,网站的内容保持伪原创或原创。虽然做了这么多的工作,自认为每个工作都很到位,但是效果真的很打击人,网站内页的收录一直不是很理想,网站的首页快照也超是10天以上,真的很叫人伤心啊,做了这么多的网站都还可以,但是做自己网站的时候,竟然是这个结果,哎!结果不是很理想,这些是个人整理的一些资料分享一些。( @2 N9 R# _/ L

4 @' B( {% k, @  怎样减损无效URL的爬行和引得
, k9 |3 ~2 n0 L2 L5 S( W% L
# c! ?) |$ D9 i/ G! N7 _  在网络营销热战密码网站贴了个帖子:透过京东商城看国内前线B2C网站SEO通病。提议先看那个帖子再归来看本帖,不然不由得易了然下边在说啥子。/ i) Y4 \( `' z( H2 m
# }+ N8 B5 z: [2 ?9 u0 {# S2 X
  简单说,帖子指出一个严重而且事实的SEO问题:众多网站,特别是B2C,产品条件过淋系统(如取舍产品的品牌、价钱、尺寸、性能、参变量等)会萌生大量无效URL,之所以称为无效只是从SEO角度看的,这些URL并不得萌生SEO效用,反倒有负面效用,所以这些URL不收录为好,端由涵盖:, o" J' `1 C3 Y9 E' I  i5 S; L
3 d+ \; w7 Y5 D) L: U$ z7 y" }
  大量过淋条件页面内容重复或极为类似(大量复制内容将使网站群体质量减退)8 Q# b* y  `  W/ w# `

0 ^6 Y5 M5 {2 J/ N8 y7 z0 D! c! P  大量过淋条件页面没有对应产品,页面无内容(如取舍“100元以下42寸LED电视”什么的的)
5 R( E, |# S' P8 M
% g( p$ ?6 u3 E, N2 s8 b7 [  绝大多过淋条件页面没有名次能力(名次能力比分类页面低得多)却浪费一定权重
) u8 B: ?/ ]1 o) t' G/ y4 p% t: l2 ?
7 n, Q, b) F6 C7 r/ v( C  这些过淋条件页面也不是产品页面收录的必要通道(产品页面应当有其他内链帮忙爬行和收录)
0 e8 Z0 c+ Y/ Z! g/ n$ Y2 q2 R
8 }# ~, C4 ^7 s& I6 `  爬行大量过淋条件页面莫大浪费蜘蛛爬行时间,导致有用页面收录机缘减退(过淋条件页面组合起来是巨量的)) ]* Z- ^8 l3 w1 B- k0 k
/ B3 r( ~8 y: O9 w6 j
  那么怎样尽力使这些URL不被爬行和引得、收录呢?不久前的一篇帖子若何掩饰内容也可能成为SEO问题商议的是类似问题,这种过淋页面就是想掩饰的内容品类之一。然而可惜,我现下想不出完美的解决办法。云晨守望提出两个办法,我感到都无法完美解决。+ r; W! }2 u2 m- @4 Z! \
- A: s4 _3 N, ]# b( b0 u9 ~0 b
  一是将不想收录的URL保持为动态URL,甚而故意越动态越好,以阻挡被爬行和收录。不过,搜引得擎如今都能爬行、收录动态URL,而且技术上越来越不是问题。虽然参变量多到一定程度委实不利于收录,但4、5个参变量通常还可以收录。我们无法确认需要若干参变量能力阻挡收录,所以不得当作一个靠得住的办法。而且这些URL收缴内链,又没有啥子名次能力,仍然会浪费一定权重。( p+ E3 j3 h$ d, J7 l
1 h* h! }' r+ q( }$ L& M
  第二个办法,robots禁阻收录。同等,URL收缴了内链也就收缴了权重,robots文件禁阻爬行这些URL,所以收缴的权重不得传送出去(搜引得擎不爬行就不晓得有啥子导出链接),页面成为权重只进不出的坍缩星。
4 M) N4 j% j! u9 Z- q* }9 w; l! f( r6 \' z6 d
  连向这些URL的链接配合nofollow也不完美,和robots禁阻类似,nofollow在Google的效果是这些URL没有收缴权重,权重却也没有被分配到其他链接上,所以权重同等浪费了。百度据称支持nofollow,但权重怎么办理未知。
. F: C: |# y& D8 d8 G, Q' D) P
5 n% J+ i% t( U9 v0 @/ a& K. N  将这些URL链接放在Flash、JS里也没有用,搜引得擎已经可以爬行Flash、JS里的链接,而且估计之后越来越拿手爬。众多SEO疏忽了的一点儿是,JS中的链接不单能被爬,也能传送权重,和正常连署同样。
2 D2 R9 D$ h& C$ c! ^) \" G$ h# g. k5 e. U
  也可以将过淋条件链接做成AJAX仪式,用户点击后不会过访一个新的URL,仍然在原来URL上,URL后面加了#,不会被当成不一样URL。和JS问题同样,搜引得擎正在积极尝试爬行、抓取AJAX里的内容,这个办法也不保险。0 ~8 w; g9 a6 E( s
: ~6 b# U' I1 ?2 t
  还一个办法是在页面head局部加noindex+follow标签,意即本页面不要引得,但跟踪页面上的链接。这么可以解决复制内容问题,也解决了权重坍缩星问题(权重是可以随着导出链接传到其他页面的),不得解决的是浪费蜘蛛爬行时间问题,这些页面仍然要被蜘蛛爬行抓取的(而后能力看见页面html里的noindex+follow标签),对某些网站来说,过淋页面数量宏大,爬行了这些页面,蜘蛛就没足够时间爬有用页面了。. e+ ^5 U& r# r0 q( D: T: A; e6 R
0 J5 A& Y3 k) Q  {. u
  再一个可以考量的办法是掩饰页面(cloaking),也就是用手续检测过访者,是搜引得擎蜘蛛的话回返的页面拿掉这些过淋条件链接,是用户的话才回返正常的有过淋条件的页面。这是一个比较理想的解决办法,唯一的问题是,可能被当作作弊。搜引得擎常跟SEO讲的判断是否作弊的无上原则是:假如没有搜引得擎,你会不会如此做?还是说,某种办法是否只是为了搜引得擎而采用?显然,用cloaking掩饰不想被爬行的URL是为搜引得擎做的,不是为用户做的。虽然这种情况下的cloaking目标是锦绣的,没有恶意的,但风险是存在的,胆大的可试用。
. {$ R3 v3 Z1 p7 Q' y4 P
* n& P+ h4 ?& A2 c  还一个办法是使役canonical标签,最大问题是百度是否支持未知,而且canonical标签是对搜引得擎的提议,不是指令,也就是说这个标签搜引得擎可能不笃守,等于没用。额外,canonical标签的本意是指定规范化网址,过淋条件页面是否得用有点存疑,毕竟,这些页面上的内容常常是不一样的。
" ^8 q) R5 d2 k# \6 ~$ C
! |6 e; U9 L* l4 y" D3 m- q1 U- J$ l  现下比较好的办法之一是iframe+robots禁阻。将过淋局部代码放进iframe,等于调用其他文件内容,对搜引得擎来说,这局部内容不归属现时页面,也即掩饰了内容。但不归属现时页面不等不存在,搜引得擎是可以发现iframe中的内容和链接的,仍然可能爬行这些URL,所以加robots禁阻爬行。iframe中的内容仍然会有一点权重流失,但因为iframe里的链接不是从现时页面分流权重,而只是从调用的那个文件分流,所以权重流失是比较少的。除开排字、浏览器兼容性什么的的头疼问题,iframe办法的一个潜在问题是被认为作弊的风险。如今搜引得擎普通不认为iframe是作弊,众多广告就是放在iframe中,但掩饰一堆链接和掩饰广告有点微妙的差别。回到搜引得擎判断作弊的总原则上,很难说这不是专门为搜引得擎做的。记得Matt Cutts说过,Google之后可能变更办理iframe的形式,它们仍然期望在同一个页面上看见普通用户能看见的所有内容。
2 X8 n  ?2 u9 F/ a- s2 g. F$ C& g9 }. G: W
  总之,对这个事实、严重的问题,我现下没有自个儿感到完美的da安。当然,不得完美解决不是就不得活了,不一样网站SEO重点不一样,具体问题具体剖析,采用上述办法中的一种或几种应当可以解决主要问题。; \  K; l; v) M2 @3 B: x- G

/ o6 S* }, [2 f2 [7 Q1 ]! }1 p) s  文章来自:
8 c/ O! B7 T$ S; w6 K. F
" i* y2 P. s+ J2 c/ [9 P1 @$ t  以上就是这近2个月的建站分享,给刚刚步入小小草根做个参考!当然这只是我个人的看法、经验,硬邦邦的大草不要扔刀给我哈!扔点泥巴给我最好了!滋润下我们这些小小草啊!O(∩_∩)O哈哈~希望各位站长给些针对性的意见建议,指导下我怎么修改关键词才好!本文由翟鸿燊 高品质沟通 http://www.zhenhao365.com/2收集整理欢迎转载请注明,谢谢合作
( f2 M1 a' I2 h( @1 m% T8 O8 j6 Y, F) ^' a

暂时无法加载帖子列表

回复

使用道具 举报

梦想 发表于 2026-01-15 19:02:09 | 显示全部楼层
这个分享太实用了,刚好能用到,感谢楼主!
回复

使用道具 举报

qzl520 发表于 2026-03-17 00:52:56 | 显示全部楼层
分析得很透彻,很多细节都说到点子上了~
回复

使用道具 举报

huorentb 发表于 2026-08-25 01:53:52 | 显示全部楼层
楼主辛苦了,整理这么多内容,必须点赞收藏
回复

使用道具 举报

九九--小欢 发表于 2026-08-28 21:34:21 | 显示全部楼层
刚好遇到类似问题,看完这个帖子心里有底了
回复

使用道具 举报

    您需要登录后才可以回帖 登录 | 加入怎通

    本版积分规则

    QQ|手机版|小黑屋|网站地图|真牛社区 ( 苏ICP备2023040716号-2 )

    GMT+8, 2026-9-14 03:13 , Processed in 0.077229 second(s), 25 queries , Gzip On.

    免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系420897364#qq.com(把#换成@)删除。

    Powered by Discuz! X3.5

    快速回复 返回顶部 返回列表