找回密码
 加入怎通
查看: 484|回复: 2

[其他] 怎样减少无效URL的爬行和索引

[复制链接]
江南一格 发表于 2013-08-05 15:01:28 | 显示全部楼层 |阅读模式
  公司近期决定做一个SEO的宣传站来介绍公司自己的业务,同时也想借助百度的力量吸引一些客户,于是我们选择了些关键词。从选词到网站策划以及网站建设的每个步骤我们都很小心,我们做的每个事情都是想我们的网站列适合网站的蜘蛛的抓取习惯。网站的每个页面都采用DIV+CSS布局,网站的结构也不错,网址采用伪静态的方式更适合蜘蛛的抓取,网站的内容保持伪原创或原创。虽然做了这么多的工作,自认为每个工作都很到位,但是效果真的很打击人,网站内页的收录一直不是很理想,网站的首页快照也超是10天以上,真的很叫人伤心啊,做了这么多的网站都还可以,但是做自己网站的时候,竟然是这个结果,哎!结果不是很理想,这些是个人整理的一些资料分享一些。
1 G" Q1 a6 v, M0 u9 ~0 E4 q
' W9 G: R+ j! V6 H3 R% L* I3 V. k! c0 r5 ^  怎样减损无效URL的爬行和引得
: q7 K) ]! \  U% ]0 N. h7 `
! j; S8 ]9 g8 [; T8 E* l  在网络营销热战密码网站贴了个帖子:透过京东商城看国内前线B2C网站SEO通病。提议先看那个帖子再归来看本帖,不然不由得易了然下边在说啥子。
* Z7 m' l. H+ F, S( o9 j5 ~5 s+ h# e; G  j
  简单说,帖子指出一个严重而且事实的SEO问题:众多网站,特别是B2C,产品条件过淋系统(如取舍产品的品牌、价钱、尺寸、性能、参变量等)会萌生大量无效URL,之所以称为无效只是从SEO角度看的,这些URL并不得萌生SEO效用,反倒有负面效用,所以这些URL不收录为好,端由涵盖:  H, V/ y2 G# z' {+ [
" T; u- v6 V7 @
  大量过淋条件页面内容重复或极为类似(大量复制内容将使网站群体质量减退)" ]1 f6 F5 F, w

' Q" r6 q# y) W/ z; }  大量过淋条件页面没有对应产品,页面无内容(如取舍“100元以下42寸LED电视”什么的的)
+ L; m  a3 L" ]
  l( `6 l5 M. t% j' E  绝大多过淋条件页面没有名次能力(名次能力比分类页面低得多)却浪费一定权重
1 g) `9 V  k; u3 C" w0 |$ ]7 s; C, t
  这些过淋条件页面也不是产品页面收录的必要通道(产品页面应当有其他内链帮忙爬行和收录)" [4 {: ^! E3 q/ t5 N0 A) S" [
5 G& {* c% B$ f
  爬行大量过淋条件页面莫大浪费蜘蛛爬行时间,导致有用页面收录机缘减退(过淋条件页面组合起来是巨量的)
$ ^) E3 J3 W( s+ @& V
9 @' g  T# q4 {( n! I  那么怎样尽力使这些URL不被爬行和引得、收录呢?不久前的一篇帖子若何掩饰内容也可能成为SEO问题商议的是类似问题,这种过淋页面就是想掩饰的内容品类之一。然而可惜,我现下想不出完美的解决办法。云晨守望提出两个办法,我感到都无法完美解决。4 f" Y3 d% o" i7 Z( M; E* @; g
4 w) m) X6 c; {# ^# g# ^
  一是将不想收录的URL保持为动态URL,甚而故意越动态越好,以阻挡被爬行和收录。不过,搜引得擎如今都能爬行、收录动态URL,而且技术上越来越不是问题。虽然参变量多到一定程度委实不利于收录,但4、5个参变量通常还可以收录。我们无法确认需要若干参变量能力阻挡收录,所以不得当作一个靠得住的办法。而且这些URL收缴内链,又没有啥子名次能力,仍然会浪费一定权重。
8 C' {& @$ Q& ^7 ]% G' `5 Q5 T' p. Y$ I' d' ]
  第二个办法,robots禁阻收录。同等,URL收缴了内链也就收缴了权重,robots文件禁阻爬行这些URL,所以收缴的权重不得传送出去(搜引得擎不爬行就不晓得有啥子导出链接),页面成为权重只进不出的坍缩星。4 e4 V4 R  p! x1 Q8 P) e
7 C" D. f( `, s
  连向这些URL的链接配合nofollow也不完美,和robots禁阻类似,nofollow在Google的效果是这些URL没有收缴权重,权重却也没有被分配到其他链接上,所以权重同等浪费了。百度据称支持nofollow,但权重怎么办理未知。- n9 {8 T$ G: Q# @% A; \- x2 v
/ m8 c: u" V; A' a
  将这些URL链接放在Flash、JS里也没有用,搜引得擎已经可以爬行Flash、JS里的链接,而且估计之后越来越拿手爬。众多SEO疏忽了的一点儿是,JS中的链接不单能被爬,也能传送权重,和正常连署同样。; y6 u4 b+ c5 Y4 d) G

( Z( C4 J4 E% l' M  也可以将过淋条件链接做成AJAX仪式,用户点击后不会过访一个新的URL,仍然在原来URL上,URL后面加了#,不会被当成不一样URL。和JS问题同样,搜引得擎正在积极尝试爬行、抓取AJAX里的内容,这个办法也不保险。( R9 g7 A" }# e( r3 q8 W2 B7 O
+ s1 S# g3 R1 v9 Y% H' e
  还一个办法是在页面head局部加noindex+follow标签,意即本页面不要引得,但跟踪页面上的链接。这么可以解决复制内容问题,也解决了权重坍缩星问题(权重是可以随着导出链接传到其他页面的),不得解决的是浪费蜘蛛爬行时间问题,这些页面仍然要被蜘蛛爬行抓取的(而后能力看见页面html里的noindex+follow标签),对某些网站来说,过淋页面数量宏大,爬行了这些页面,蜘蛛就没足够时间爬有用页面了。' l9 K) o& w- w# F3 M+ Q
, Q. A; N0 c1 Z$ I: f
  再一个可以考量的办法是掩饰页面(cloaking),也就是用手续检测过访者,是搜引得擎蜘蛛的话回返的页面拿掉这些过淋条件链接,是用户的话才回返正常的有过淋条件的页面。这是一个比较理想的解决办法,唯一的问题是,可能被当作作弊。搜引得擎常跟SEO讲的判断是否作弊的无上原则是:假如没有搜引得擎,你会不会如此做?还是说,某种办法是否只是为了搜引得擎而采用?显然,用cloaking掩饰不想被爬行的URL是为搜引得擎做的,不是为用户做的。虽然这种情况下的cloaking目标是锦绣的,没有恶意的,但风险是存在的,胆大的可试用。
+ h' Z1 W, v0 Q* J8 P- ?6 w6 z/ W3 L9 R# b
  还一个办法是使役canonical标签,最大问题是百度是否支持未知,而且canonical标签是对搜引得擎的提议,不是指令,也就是说这个标签搜引得擎可能不笃守,等于没用。额外,canonical标签的本意是指定规范化网址,过淋条件页面是否得用有点存疑,毕竟,这些页面上的内容常常是不一样的。
) d; D7 R% _# l1 B$ q, m( R
) O8 l5 X! T, U$ f  现下比较好的办法之一是iframe+robots禁阻。将过淋局部代码放进iframe,等于调用其他文件内容,对搜引得擎来说,这局部内容不归属现时页面,也即掩饰了内容。但不归属现时页面不等不存在,搜引得擎是可以发现iframe中的内容和链接的,仍然可能爬行这些URL,所以加robots禁阻爬行。iframe中的内容仍然会有一点权重流失,但因为iframe里的链接不是从现时页面分流权重,而只是从调用的那个文件分流,所以权重流失是比较少的。除开排字、浏览器兼容性什么的的头疼问题,iframe办法的一个潜在问题是被认为作弊的风险。如今搜引得擎普通不认为iframe是作弊,众多广告就是放在iframe中,但掩饰一堆链接和掩饰广告有点微妙的差别。回到搜引得擎判断作弊的总原则上,很难说这不是专门为搜引得擎做的。记得Matt Cutts说过,Google之后可能变更办理iframe的形式,它们仍然期望在同一个页面上看见普通用户能看见的所有内容。
/ ?6 n% K# s' o% U: R* _
* k/ t# c; p; ~& H- J  总之,对这个事实、严重的问题,我现下没有自个儿感到完美的da安。当然,不得完美解决不是就不得活了,不一样网站SEO重点不一样,具体问题具体剖析,采用上述办法中的一种或几种应当可以解决主要问题。( A# e( s- x  M

/ }3 Z0 h# k" ?& b7 M* K, w- n8 N  文章来自:' _' S4 L4 Y2 Q5 H% H6 u7 ]5 T) ~

; z; b, X, {9 t+ }  以上就是这近2个月的建站分享,给刚刚步入小小草根做个参考!当然这只是我个人的看法、经验,硬邦邦的大草不要扔刀给我哈!扔点泥巴给我最好了!滋润下我们这些小小草啊!O(∩_∩)O哈哈~希望各位站长给些针对性的意见建议,指导下我怎么修改关键词才好!本文由翟鸿燊 高品质沟通 http://www.zhenhao365.com/2收集整理欢迎转载请注明,谢谢合作  v8 X/ E+ Y  N1 p

1 G8 u9 ~% M0 Y' `$ l6 M1 e% ^2 R
回复

使用道具 举报

梦想 发表于 2026-01-15 19:02:09 | 显示全部楼层
这个分享太实用了,刚好能用到,感谢楼主!
回复 支持 反对

使用道具 举报

qzl520 发表于 2026-03-17 00:52:56 | 显示全部楼层
分析得很透彻,很多细节都说到点子上了~
回复 支持 反对

使用道具 举报

    您需要登录后才可以回帖 登录 | 加入怎通

    本版积分规则

    QQ|手机版|小黑屋|网站地图|真牛社区 ( 苏ICP备2023040716号-2 )

    GMT+8, 2026-5-1 13:39 , Processed in 0.045285 second(s), 24 queries , Gzip On.

    免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系420897364#qq.com(把#换成@)删除。

    Powered by Discuz! X3.5

    快速回复 返回顶部 返回列表