搜查引擎做为网站流量的重要起源，网站的收录量慷慨是大局部网站运营人员关怀的问题。
$ C h# O! v0 d: ^0 R: l. c
) n9 l) P k3 h, o# T% V
4 w; `, j: o6 Z) p/ a* N0 x7 v先确定一些大约点，一个网页被收录与否，有两个因素:, y& V4 }* K3 y' f4 ~" e7 H
3 p0 O0 z9 z! _4 j
: ^. a3 o5 h6 Y) M2 d是否被爬虫爬过
" ~ v& M( M) Q# ]6 V# W+ D( r* x+ w: |: `2 _7 k
& \9 r1 }" [' `+ l! C! n' b版面功德是否过关" C/ J( o! c4 _- O$ ~$ Z8 T; k* L
# \' F; n; {# Q9 |( R) F/ M; b2 ^7 J0 F; i. }8 ]
上一篇文章曾经提过了收录率这么一个指标，许多网站都懒得去做这个指标，“我看看site的数据不就行了！”，事实上未曾这个指标，许多工作就无从下手。从数据中找出问题，利用数据点拨处理计划，分析数据检讨工作收获。 最近看了《深入浅出数据分析》这个本，感受不错，把数据分析的措施讲得很生动，提倡有乐趣的从事数据分析的同学能够买本看看。 任何数据分析由，目标->分析->估价->决策，四个环节构成。
* l; e' R( o5 H9 A- a. b+ e% o. ~. m. G+ f
/ \$ a7 [' \" A3 u0 e& Y; i7 F
目标：我们想看一下网站的收录情形如何，在SEO方面是否还有长进的时机。$ I$ c; V, |' l. y
! Z: h. K9 x2 W' c6 n2 a- e. \9 O1 z' x( m( E8 \) V7 B
分析：收录情形什么算好什么算坏，是不是用一些指标来权衡？网站的收录情形是不是过度笼统，是不是该当细分下各个版面的收录情形？6 V( Q( m7 G2 x# r1 \' O4 s: k
6 k- }6 T% x/ @
5 Q6 A9 U, x I! o. Q估价：于是我们必需下面一些数据
5 G8 w) F* t# z: }3 |, q; Y R0 S0 r, _9 a$ r
& z3 q7 a: S" h> 网站的版面层级联系) l8 D4 A; X9 D8 U9 q$ J
! Y4 n9 r m6 i2 [
( y0 Y6 h+ D% n: q1 e
- u: E# l, ]; z: x; Z j
9 U) _( W, C; s7 Y> 各个层级版面带来的SEO流量
4 X+ Z& \5 e K% l2 z k$ |( E0 g- y- ?- S; F
+ C: a% N! e Y5 d$ A- D: e: n
> 各个层级版面的收录情形如何$ G& ^) Z6 G' Y
/ c) O4 k" Y/ k3 m' z+ l
1 l8 h6 p$ G# G: A+ \4 d+ D
6 q7 o. z' ?9 X8 g9 Q$ j) c! g1 e, S! }
SEO流量的占比能够从Google Analytics中过滤出来。# v. `3 ]( a% |) U! n
$ c# w, d" ^+ T* }; q. J! V. K
, M1 j5 i1 H/ C( u1 }! Z# @版面数量能够从数据库获得，可能穿越度车头or自制小脚本抓取普查。
+ J# L' W4 B3 {6 d3 w7 V: N V. k
* y" M1 ?! S4 w0 E8 Z
收录率能够将获得的版面穿越工具举行搜查，火车头也能够。/ W. N% T, I! ~; N! p6 R; i2 M5 Y/ E$ b
: J5 Q+ E1 P, {4 o) h7 B1 C0 J3 m9 i1 ?( R- U; x; ?$ H. I
问题立马凸显！! f# ~# B0 E8 U( [" x, z1 T
4 Q" B$ Z% A, Z
4 v) m W" ?9 C4 Y, y4 K
1+2级目录页带来了许多的流量，收录率不是很好，优化收录的流量晋级冲缺口在此！
2 ]2 C, ^. k; t7 E* O. y
3 F) B# W, ~; [3 v& O7 g% u% {* l
6 Y: K0 Y& q' M7 U
: I g* L, R- g产品版面数量许多，收录也不是很志愿，然而带来的流量有限，除非收录问题，还有版面内容的问题，本文中先不管它了。
: ~- y' Q) y3 J! B9 u- ^
! f: r4 H" K# H" r7 Y+ a+ L# ` e& J2 \4 b, V* o- [
决策：我们的结论是即刻展开行动对目录版面举行收录的优化。; H: V4 ]7 c( m: j' w. S
: c. p. F0 |, L% |+ X% o# `
- `- y& O3 \. Q+ @% V) d看到这边，好像刚开始的目标：“穿越优化收录晋级流量”
$ t: J7 W' o! c/ G" r+ W f% p, w2 ^* L3 C# u$ \
- c4 J& F8 t. d ?
演变成了新的目标：“如何长进目录版面的收录量”9 {1 M9 M8 n5 `" l
5 V. k; W# p9 @& B. s$ ^( B) `& [% G( U
这边能不能再次穿越数据分析的措施举行SEO呢？
' P* b a& x; D: P' [! j, Z- R- K
2 `: l) N9 O1 O: f8 l: E% S0 @ `1 u Z8 @7 \2 t- j0 H# C& P* \& V
答案是确定的！
- P* Z d3 F/ n5 D4 e8 ~& y7 Z& t
3 ~. E: {0 O# o$ m" j$ `* G2 P# ^& }' k" H, o* O$ W
我们再来重新走一遍 目标->分析->估价->决策 的过程+ Y F Q1 x, v+ P/ O
& ]2 |8 _( j; y. F' e7 L
- E3 \5 S9 j; }目标：长进目录版面的收录量
' i" \# E8 u& S: \7 D
- L; a1 ~' N _9 o4 o* P+ a) G$ q% R; |3 ~ ]3 j0 D
分析：穿越本文开始的有关收录的两个因素，我们必需察看一下，网页是否被爬虫爬行过，网页的功德是不是过关。. F' V8 g+ H* l: Z$ @6 t
# ^0 e+ M, S& f
" o( S. P# z! W8 i0 J- X1. 关于爬虫的情形，我们必需分析日志，能力确定。于是我们从日志中拆分一系列数据看看版面是否真的被爬行过。* m s# q1 i" d$ D
+ B* i, ]! V W$ s! w8 Q+ Z) a6 N- ^; b9 `0 }2 r3 p
2. 由于版面功德好像是一个很难权衡的值，于是我们能够用雷同模板下的：* _; F. K/ U7 e; I8 ~' F
! E' a: K" g* P3 C- B% c0 r. [
+ \/ I, R7 J7 R m C已被爬行的版面数量/已被爬行并且被收录版面数量( I# D! U# }$ y+ w
: d1 {* Y6 s* o: [1 u
7 \% A* Y! }8 }( S; F7 n
来估价该模板版面功德对收录的波及大小。万一被爬的版面都被收录了，那起码解释这套版面的内容搜查引擎还算确认。（切实情形远比这个混杂，而且收录后也有可能因为功德问题被剔除，但总比什么比照都未曾要好，对吧！）1 d0 @4 e+ R2 |% h4 b( m; v* x( E
! V- {6 \+ c4 f* V- A6 G# c! g: {
" L* D" A+ f+ |. n估价：（敏感消息用编号轮换，均为恳挚数据）4 X; \2 Y4 D1 E) s
. O4 F8 G1 @# j. p, I; Z
$ C/ c/ h7 w/ C$ _& Y: e先看一下爬虫日志的情形，穿越Shell脚本，我们能够分析出。3 @# @$ e4 y5 C0 l
! B# ~; l' I7 q" k
; F, Q" ?' X9 t$ j( T! e目录总计被爬行的次数为13000次左右
! ^( {7 u# m* Z" p
$ V! S0 |4 R8 m/ f) V! M C& {8 _0 l7 d# |# M
不重复的目录爬行次数为5500次左右: _1 h" O2 Y" S" U' |2 o8 Y
3 z' I" G4 z9 b6 I e
" `6 B% Y$ [' v) } W4 f频道A下的目录几乎被100%抓取过起码1次，频道B的目录抓取也不错，有70%被起码抓过顺次。
$ Z7 l: n- m( Q; F; v+ K4 R4 }& {, d8 i/ C. }) G
' i5 M6 A! e7 B其他频道下的目录被抓取的遮蔽率不到30%
; d. \/ _# |' ^* S' D7 U7 t o! U6 |! r
+ J' C, u5 g4 B( D y
$ R3 g7 P7 A* \
|8 T- D( l# V不要感受这个收获很神奇，其实许多网站都会见对这么的低劣问题，凡是你把数据不时的细分，细分，再细分，总会考察出一些端倪标。( [7 p u( W& r0 O
% v$ T+ k0 D- P, C; I7 [# L/ p( }
0 R0 N9 l1 S, L" {& H" \
关于日志分析，不要迷可信何的日志分析软件，那都是给懒人用的，自制脚本+Excel才是王道，能够拆分揭示出任何你想要的数据，当然，甚至能够连Excel都不要。
& t8 a/ d' E2 M( e
( z s6 U7 L- h$ @
- }; ~+ S/ Z! n) K. J6 C然后，我们普查了一下被抓得最频繁的频道A和频道B，目录页的收录率
! I0 y* J" e5 C- e( l% t* m$ L }4 T& A. a4 o
7 V, |) B5 M% i# s
. C- M5 U$ e7 T, S H
9 e' K1 i0 C0 {0 r6 W0 C频道A和B是很让人塌心的，解释版面功德没问题，然而余下的收录情形就让人比拟担心了。7 f9 ]/ K# E. Y9 Q2 K
' n5 I6 ~/ v; x6 r3 O: ]- C' r8 K6 Z# ~8 c% X
决策：穿越上面的数据估价，我们曾经获得了如下结论。
! D$ R3 y+ m* D# u! R0 P: I+ J8 @! P- c
6 o, _1 E* P9 m: S K
版面功德并不是波及收录的起因。) Z9 r$ c# v1 i1 n7 l! _
+ C5 U/ s: ?* y$ [
" @( `* Z7 A: t4 C2 n频道A，B的抓取量失常的高，穿越察看打听，本来是首页上的目录页，揭示的全是频道A下的目录页，首页又具有全站最高的权重。频道B具有比其他频道壮大的外链资源，权重也极其高。
, U# s5 R c) ]5 K, d) W
% C& G: Z3 H$ D2 n) G. c" N$ [: g- n" W$ a: a& i+ y" u4 g: h
除非A, B频道，其他频道的抓取情形不容乐观，抓取入口太少，太深，进而波及了收录情形。& b7 p. S( I" ~- h; C2 _
: u( R, R0 A; [
) o# N8 I9 f& i3 o) Q9 m+ v5 Q很显明，目前频道A从站内的角度来说太壮大了，定然举行一些“劫富济贫”的行动来减退频道A的抓取量，迁移到其他频道中去。同时，必需给爬虫供给更多的入口抓取频道页。
0 o) b/ K; _6 ^5 v* d6 u; ?; v
. ^! m: S. B7 t g0 W( _( H, U1 L6 |5 X/ o2 Z- J. J
目前问题变得打听起来，我们开始把工作分成两局部：1.供给更多的入口 2.将资源平分给各频道而不是凑近在半点几个频道上。6 g; k3 I1 n! B4 b D3 x6 G
3 h! i3 X5 }, S- }' ?7 |0 |$ o' ]0 h; \: q" n( ]8 x1 I7 `0 _& M
供给入口工作：
! v0 ^; F5 G L+ W! V. F7 m, e. a) x; L- D( M- S# f
) ]& b8 T6 O( G! Q7 P
1.把目录页的URL制构成sitemap。提交给搜查引擎，并且将其设置为比拟高的抓取权重。
. L* x( D# `9 R4 `
$ l% `4 }, D3 q6 |) s# J# O
) @2 c T; l9 M! r; }; m2.健全面包屑导航，将面包屑导航划分得更加精细，以供给更多入口
$ E, h! m- j8 D7 V- d3 O8 `: i$ c& K! T& Z. j+ }( U
# E$ h: F- Z9 r) H! \9 j( z3.在其他产品中评比目录页
# z, }& c4 T1 P; p4 [1 \! p: M) h* H2 g4 p; Q4 X# R
4 g' P q1 }0 `- O3 A资源平分工作：（一些观念：任意版面都有可能成为爬虫入口，百度爬虫抓取深度有限，版面相对入口越浅，被抓取的概率越高。）$ X5 i3 l9 t7 `1 s _
0 J m6 @/ y7 D% S; X5 q/ h) s0 |0 g$ `# h
1.本来首页指向的都是频道A的目录页+产品页，将其全副nofollow，确保从首页进去的爬虫，全副抓取到频道页，穿越频道页再进去目录页（其实这个不算太重要）; V0 x# p b7 K
, u r* D! C& Z9 u/ {' b6 _* U
$ X" V& m$ O0 Q y; [/ \
2.本来频道页指向切身的产品页，将其全副nofollow（确保从频道页入口的爬虫，最大程度的抓取目录页）
0 b" m/ g- I4 f
% u* ~1 {( A4 \8 K
/ p. {, t0 {8 i, S% j3.从目录页归来到首页的链接，将其全副nofollow。7 e/ ~) q7 }4 w; b
0 s+ F% Z3 a4 t& t O. g. s2 S1 q7 q* ^- G5 U0 S$ U. W
4.收缩一些版面上无关链接。（什么情形下这么做都是极其管用的。）. C8 \1 i7 R ?: S6 Z
+ ~0 r. T5 y' @. p5 }0 T* T3 w$ E' I
" H9 t n4 U* _( R& z6 d! `
目前能够开始入手了。。7 s" i& M- M. B N |$ F( t
2 Y) x& b( _1 ]: v& t
7 z! n6 J9 [+ Z9 K收获) u9 X/ X" [6 g) S
' g; R% P8 G3 {2 k0 e* u' @5 x' r
这么做究竟有什么收获呢，我们来看看修正后1个月后的数据。
2 _* s' s! b: j+ C1 I( I/ E1 G p* Q1 C% G5 N
$ p9 U) T8 R I- B- F
' f7 k, r+ {" p. o( y! f! n3 d3 i( r) \& ^ R6 v- L7 K$ c
目录页的收录率长进了100%！
; y9 D( d& O# P! r
! G7 a4 j8 @; H. q1 I! \% s' l9 J8 C* F8 g0 z
产品页的收录率也有定然程度的长进，这是归功于目录页对于产品的良好揭示。7 d+ F6 t5 d6 I
@6 {5 U! P: ~" [" F' K- J/ d
) C" \- a: z$ z0 t
目录页的SEO出现：
5 e8 A; n% i3 Y& l1 O1 z
- w& o7 K s/ f8 {' x- M, T6 Z+ {- t }: Y7 z* F0 G& _1 N
SEO流量占比递升了15%# i: e: x9 g# m. y. ^( ?1 w
1 @+ X& o& O! d1 B: Q: l
# w( I8 \2 M& S& y0 q增长10%的到访关键词数量（新版面的收录）
* {& t8 N: I1 B) [) B' ~7 K7 b4 Z; F# m1 x! e- `; I2 E; Z
{, ]1 `. M1 G1 fSEO流量增长了50%以上
# m. T# @6 K7 ~0 _4 |* m U |
