距离上一篇SEO的数据分析已经过了好久了，最近觉得应该写一些实际点的内容看看SEO到底怎么做。 先明确一些基本点，一个网页被收录与否，有两个因素! d" T2 n( A, d3 g. T; m
• 是否被爬虫爬过- V: @. f1 \# _0 o8 ~
• 页面质量是否过关
2 J: j. u. h- \# h上一篇文章已经提过了收录率这么一个指标，很多网站都懒得去做这个指标，“我看看site的数据不就行了！”，事实上没有这个指标，很多工作就无从下手。从数据中找出问题，利用数据指导解决方案，分析数据验证工作成果。 最近看了《深入浅出数据分析》这个本，觉得不错，把数据分析的方法讲得很生动，建议有兴趣的从事数据分析的同学可以买本看看。 任何数据分析由，目标->分析->评估->决策，四个环节组成。
0 k& Y3 f8 _' {4 s! [& C& G2 U目标：我们想看一下网站的收录情况如何，在SEO方面是否还有提高的机会。- E* I" X* G; k6 X) g" E/ N
分析：收录情况什么算好什么算坏，是不是用一些指标来衡量？网站的收录情况是不是过于笼统，是不是应该细分下各个页面的收录情况？" }9 _1 Q" S$ x& Q# U5 S
评估：于是我们需要下面一些数据
1 c/ q& t1 F* b9 O• 网站的页面层级关系: I3 I8 `8 |3 o8 B/ S
• 各个层级页面带来的SEO流量
: j1 P' A/ B6 h• 各个层级页面的收录情况如何
1 m- ^( Z9 t: q* R3 ^4 W( k& ASEO流量的占比可以从Google Analytics中过滤出来。4 i, x. t0 d1 C; S: A7 {5 {3 t
页面数量可以从数据库获得，或者通过火车头or自制小脚本抓取统计。
P% {" N% u) g' f E1 l, ]/ D: A收录率可以将获取的页面通过工具进行搜索，火车头也可以。0 i" a; Y; m( U" q q0 `: L8 i
& T9 L+ i# q0 e7 D
问题立马凸显！6 ^' G+ ?0 h- u( o
1+2级目录页带来了大量的流量，收录率不是很好，优化收录的流量提升突破口在此！
7 }8 a d/ `9 k1 J- d; |; b' p) n产品页面数量很多，收录也不是很理想，但是带来的流量有限，除了收录问题，还有页面内容的问题，本文中先不管它了。. p0 g" d$ z3 l5 ~
决策：我们的结论是立刻展开行动对目录页面进行收录的优化。 \1 j) b/ x+ M. C: ^
看到这边，似乎刚开始的目标：“通过优化收录提升流量”
3 A/ J& S2 C. n& F5 A演变成了新的目标：“如何提高目录页面的收录量”( W4 G& V3 K8 L5 n7 n
这边能不能再次通过数据分析的方法进行SEO呢？, b3 S% r. W. t. b+ R
答案是肯定的！
; }+ s% V" X# M3 x o我们再来重新走一遍 目标->分析->评估->决策 的过程, `8 E1 h$ r* D/ t$ |& f1 X8 u2 J
目标：提高目录页面的收录量
: ]" K4 O* U8 T# R, Z8 c分析：通过本文开始的有关收录的两个因素，我们需要检查一下，网页是否被爬虫爬行过，网页的质量是不是过关。
, C6 R) t% v: L2 n: i w' [5 r1. 关于爬虫的情况，我们需要分析日志，才能确定。于是我们从日志中拆分一系列数据看看页面是否真的被爬行过。$ R0 \- o+ f+ f% ~/ N! |! }; o8 f! A
2. 由于页面质量似乎是一个很难衡量的值，于是我们可以用相同模板下的：
0 B# j. G5 t9 O+ G+ E9 C已被爬行的页面数量/已被爬行并且被收录页面数量
' v4 l+ b1 ~0 }) P( u" v来评估该模板页面质量对收录的影响大小。如果被爬的页面都被收录了，那至少说明这套页面的内容搜索引擎还算认可。（实际情况远比这个复杂，而且收录后也有可能因为质量问题被删除，但总比什么参照都没有要好，对吧！）
6 x1 T) S4 |/ J- F评估：（敏感信息用编号代替，均为真实数据）0 `0 q% k! e9 y5 A
先看一下爬虫日志的情况，通过Shell脚本，我们可以分析出。4 J1 I0 ^3 v: \+ w
目录总计被爬行的次数为13000次左右
3 V4 t' X1 D& a* K: N' z0 b不重复的目录爬行次数为5500次左右3 s3 n# z, m/ Q! D
频道A下的目录几乎被100%抓取过至少1次，频道B的目录抓取也不错，有70%被至少抓过一次。! m K% Q C G0 \: e% }- h# d
其余频道下的目录被抓取的覆盖率不到30%
: T$ E1 h# E: K不要觉得这个结果很神奇，其实很多网站都会面对这样的糟糕问题，只要你把数据不断的细分，细分，再细分，总会观察出一些端倪的。4 ~; }; k' f7 x9 b2 A: |
关于日志分析，不要迷信任何的日志分析软件，那都是给懒人用的，自制脚本+Excel才是王道，可以拆分显示出任何你想要的数据，当然，甚至可以连Excel都不要。6 O, K; _4 G3 Y7 I* g7 G
然后，我们统计了一下被抓得最频繁的频道A和频道B，目录页的收录率
# C o6 A9 @# o9 k* t/ w频道A和B是很让人放心的，说明页面质量没问题，但是余下的收录情况就让人比较担心了。
& j! y1 ]9 M) |% F- h, W3 J决策：通过上面的数据评估，我们已经得到了如下结论。: M8 @% A* N$ m! i% E
页面质量并不是影响收录的原因。
0 o% V' s: _3 A5 \: {8 `频道A，B的抓取量异常的高，通过调查了解，原来是首页上的目录页，显示的全是频道A下的目录页，首页又拥有全站最高的权重。频道B拥有比其他频道强大的外链资源，权重也非常高。
[* E5 ?2 o* a' j4 n除了A, B频道，其他频道的抓取情况不容乐观，抓取入口太少，太深，进而影响了收录情况。
# d; }; x' B8 l' U7 B4 {很明显，现在频道A从站内的角度来说太强大了，必须进行一些“劫富济贫”的运动来降低频道A的抓取量，转移到其他频道中去。同时，需要给爬虫提供更多的入口抓取频道页。: R o* x: z& x3 v4 h
现在问题变得清晰起来，我们开始把工作分成两部分：1.提供更多的入口 2.将资源平分给各频道而不是集中在少数几个频道上。
; f4 } ~6 o- a* _* ^! Y0 X提供入口工作：
$ W9 Z @ u9 H+ s }# [7 h1.把目录页的URL制作成sitemap。提交给搜索引擎，并且将其设置为比较高的抓取权重。
( }3 n: r5 l! E) `3 ^5 X2.完善面包屑导航，将面包屑导航划分得更加细致，以提供更多入口
; C9 r% T6 t; }4 r% x3.在其他产品中推荐目录页
9 X5 D, e4 Z) z" L资源平分工作：（一些概念：任意页面都有可能成为爬虫入口，百度爬虫抓取深度有限，页面相对入口越浅，被抓取的概率越高。）
$ W" g( Q; f$ ~1.原先首页指向的都是频道A的目录页+产品页，将其全部nofollow，确保从首页进入的爬虫，全部抓取到频道页，通过频道页再进入目录页（其实这个不算太重要）
% P; V# ]* W% m$ G: @' [4 w2.原先频道页指向自身的产品页，将其全部nofollow（确保从频道页入口的爬虫，最大程度的抓取目录页）, b: m' k# r! i
3.从目录页返回到首页的链接，将其全部nofollow。
. F1 w9 M# \* B' [5 M4.减少一些页面上无关链接。（什么情况下这么做都是非常有效的。）
, R! ?; x$ k, d现在可以开始动手了。。9 J9 }' o/ W" i' B' L: f
成果4 P- r" ^7 W2 L" r) J7 H
这么做到底有什么效果呢，我们来看看修改后1个月后的数据。
2 ]! h/ D* w4 X. }! L' k5 Y目录页的收录率提高了100%！
, h: O! R- |" I7 m0 a+ u% R产品页的收录率也有一定程度的提高，这是归功于目录页对于产品的良好展现。* m* m9 o5 m% @- u6 f
目录页的SEO表现：: T/ [/ l2 _* m! ~: \' R
SEO流量占比上升了15%& V U( u' f- h4 n3 g7 E
增长10%的到访关键词数量（新页面的收录）8 S1 M$ j+ c9 R. m' r
SEO流量增长了50%以上。（包含一些季节因素）) e, k* `0 @* J' Y( ]8 j5 e
本文来源：凤凰平台 http://www.fhpt678.com$ m8 Y# r- j8 A% ?6 d& z- T" F
|
