怎样减少无效URL的爬行和索引

　　公司近期决定做一个SEO的宣传站来介绍公司自己的业务，同时也想借助百度的力量吸引一些客户，于是我们选择了些关键词。从选词到网站策划以及网站建设的每个步骤我们都很小心，我们做的每个事情都是想我们的网站列适合网站的蜘蛛的抓取习惯。网站的每个页面都采用DIV+CSS布局，网站的结构也不错，网址采用伪静态的方式更适合蜘蛛的抓取，网站的内容保持伪原创或原创。虽然做了这么多的工作，自认为每个工作都很到位，但是效果真的很打击人，网站内页的收录一直不是很理想，网站的首页快照也超是10天以上，真的很叫人伤心啊，做了这么多的网站都还可以，但是做自己网站的时候，竟然是这个结果，哎!结果不是很理想，这些是个人整理的一些资料分享一些。
) O. e" j( H+ E! {4 j
, ?& s0 k' {: g& z* o  M　　怎样减损无效URL的爬行和引得
- f2 I0 k& D6 `6 R, n3 z
8 r5 P, U; \4 T　　在网络营销热战密码网站贴了个帖子：透过京东商城看国内前线B2C网站SEO通病。提议先看那个帖子再归来看本帖，不然不由得易了然下边在说啥子。

; x% @) p" j  J) F　　简单说，帖子指出一个严重而且事实的SEO问题：众多网站，特别是B2C，产品条件过淋系统（如取舍产品的品牌、价钱、尺寸、性能、参变量等）会萌生大量无效URL，之所以称为无效只是从SEO角度看的，这些URL并不得萌生SEO效用，反倒有负面效用，所以这些URL不收录为好，端由涵盖：
, t6 w0 j- d6 y2 z! [# L; Q9 x' O
6 P. Z/ e+ E$ g; H& D" i& H6 B: t　　大量过淋条件页面内容重复或极为类似（大量复制内容将使网站群体质量减退）

# ?, S( `! R/ {* K6 p　　大量过淋条件页面没有对应产品，页面无内容（如取舍“100元以下42寸LED电视”什么的的）
  o; j( g2 D( O! l! b3 d0 p
2 ^1 Y( r1 P4 v- G5 W　　绝大多过淋条件页面没有名次能力（名次能力比分类页面低得多）却浪费一定权重
) k/ l; s. n' ~) [
- _' [4 I$ w+ E7 Z+ I& d3 r  L2 ?　　这些过淋条件页面也不是产品页面收录的必要通道（产品页面应当有其他内链帮忙爬行和收录）
' {; L* R5 {* V6 u+ P
　　爬行大量过淋条件页面莫大浪费蜘蛛爬行时间，导致有用页面收录机缘减退（过淋条件页面组合起来是巨量的）
% L% K, k/ [1 p  F3 c5 c
: V6 b: g( Y- \& Z0 U/ U) D7 H% `8 R　　那么怎样尽力使这些URL不被爬行和引得、收录呢？不久前的一篇帖子若何掩饰内容也可能成为SEO问题商议的是类似问题，这种过淋页面就是想掩饰的内容品类之一。然而可惜，我现下想不出完美的解决办法。云晨守望提出两个办法，我感到都无法完美解决。

　　一是将不想收录的URL保持为动态URL，甚而故意越动态越好，以阻挡被爬行和收录。不过，搜引得擎如今都能爬行、收录动态URL，而且技术上越来越不是问题。虽然参变量多到一定程度委实不利于收录，但4、5个参变量通常还可以收录。我们无法确认需要若干参变量能力阻挡收录，所以不得当作一个靠得住的办法。而且这些URL收缴内链，又没有啥子名次能力，仍然会浪费一定权重。
9 L  N. e. F' ^7 d9 [
　　第二个办法，robots禁阻收录。同等，URL收缴了内链也就收缴了权重，robots文件禁阻爬行这些URL，所以收缴的权重不得传送出去（搜引得擎不爬行就不晓得有啥子导出链接），页面成为权重只进不出的坍缩星。
& e. R6 R! E- Q1 M9 j
　　连向这些URL的链接配合nofollow也不完美，和robots禁阻类似，nofollow在Google的效果是这些URL没有收缴权重，权重却也没有被分配到其他链接上，所以权重同等浪费了。百度据称支持nofollow，但权重怎么办理未知。

+ M5 q- W: r! ^　　将这些URL链接放在Flash、JS里也没有用，搜引得擎已经可以爬行Flash、JS里的链接，而且估计之后越来越拿手爬。众多SEO疏忽了的一点儿是，JS中的链接不单能被爬，也能传送权重，和正常连署同样。
2 [# R1 b  U8 \+ P. X+ q! c
　　也可以将过淋条件链接做成AJAX仪式，用户点击后不会过访一个新的URL，仍然在原来URL上，URL后面加了#，不会被当成不一样URL。和JS问题同样，搜引得擎正在积极尝试爬行、抓取AJAX里的内容，这个办法也不保险。
% o+ b8 y8 B$ h. C7 T( y; N
, N  v1 [* {) i! x3 V5 ~* F+ O　　还一个办法是在页面head局部加noindex+follow标签，意即本页面不要引得，但跟踪页面上的链接。这么可以解决复制内容问题，也解决了权重坍缩星问题（权重是可以随着导出链接传到其他页面的），不得解决的是浪费蜘蛛爬行时间问题，这些页面仍然要被蜘蛛爬行抓取的（而后能力看见页面html里的noindex+follow标签），对某些网站来说，过淋页面数量宏大，爬行了这些页面，蜘蛛就没足够时间爬有用页面了。
+ V' b/ E. {. `8 i( R
2 N  R, O  }- h0 g# b, K7 B　　再一个可以考量的办法是掩饰页面（cloaking），也就是用手续检测过访者，是搜引得擎蜘蛛的话回返的页面拿掉这些过淋条件链接，是用户的话才回返正常的有过淋条件的页面。这是一个比较理想的解决办法，唯一的问题是，可能被当作作弊。搜引得擎常跟SEO讲的判断是否作弊的无上原则是：假如没有搜引得擎，你会不会如此做？还是说，某种办法是否只是为了搜引得擎而采用？显然，用cloaking掩饰不想被爬行的URL是为搜引得擎做的，不是为用户做的。虽然这种情况下的cloaking目标是锦绣的，没有恶意的，但风险是存在的，胆大的可试用。
9 k$ G/ E4 a7 m9 g" G; l
& N& F$ I- U3 ^4 a　　还一个办法是使役canonical标签，最大问题是百度是否支持未知，而且canonical标签是对搜引得擎的提议，不是指令，也就是说这个标签搜引得擎可能不笃守，等于没用。额外，canonical标签的本意是指定规范化网址，过淋条件页面是否得用有点存疑，毕竟，这些页面上的内容常常是不一样的。

　　现下比较好的办法之一是iframe+robots禁阻。将过淋局部代码放进iframe，等于调用其他文件内容，对搜引得擎来说，这局部内容不归属现时页面，也即掩饰了内容。但不归属现时页面不等不存在，搜引得擎是可以发现iframe中的内容和链接的，仍然可能爬行这些URL，所以加robots禁阻爬行。iframe中的内容仍然会有一点权重流失，但因为iframe里的链接不是从现时页面分流权重，而只是从调用的那个文件分流，所以权重流失是比较少的。除开排字、浏览器兼容性什么的的头疼问题，iframe办法的一个潜在问题是被认为作弊的风险。如今搜引得擎普通不认为iframe是作弊，众多广告就是放在iframe中，但掩饰一堆链接和掩饰广告有点微妙的差别。回到搜引得擎判断作弊的总原则上，很难说这不是专门为搜引得擎做的。记得Matt Cutts说过，Google之后可能变更办理iframe的形式，它们仍然期望在同一个页面上看见普通用户能看见的所有内容。

3 k3 k, O  i" L　　总之，对这个事实、严重的问题，我现下没有自个儿感到完美的da安。当然，不得完美解决不是就不得活了，不一样网站SEO重点不一样，具体问题具体剖析，采用上述办法中的一种或几种应当可以解决主要问题。
+ n4 Y, l1 Y, z
3 j) d! X  A) s+ D1 l2 {! L　　文章来自：

" S9 T' C# v9 l7 y0 U9 ^3 V: R* b　　以上就是这近2个月的建站分享，给刚刚步入小小草根做个参考!当然这只是我个人的看法、经验，硬邦邦的大草不要扔刀给我哈!扔点泥巴给我最好了!滋润下我们这些小小草啊!O(∩_∩)O哈哈~希望各位站长给些针对性的意见建议，指导下我怎么修改关键词才好!本文由翟鸿燊 高品质沟通 http://www.zhenhao365.com/2收集整理欢迎转载请注明，谢谢合作
! ~" N7 w! d# @3 H, C
  n' U3 ]' j5 B5 A6 d( t  A* s  C8 c

这个分享太实用了，刚好能用到，感谢楼主！

分析得很透彻，很多细节都说到点子上了～