搜查引擎做为网站流量的重要起源，网站的收录量慷慨是大局部网站运营人员关怀的问题。
, t4 @4 W. J& \8 r) f. F' K! y& g4 M- B, x
* d- u! E. X/ B5 b% j
先确定一些大约点，一个网页被收录与否，有两个因素:2 B+ B$ W$ @9 U. T6 X
/ P" D; T9 p' ]" W. }0 C0 [, f) d% B" L& ]9 |1 |3 K
是否被爬虫爬过
' \1 [ X6 ?# G1 ~6 {0 e. b
9 @, o c1 w3 D% s" A& z
8 z* Z7 z0 d" x- M- t8 D; G版面功德是否过关, s% m" o/ R S3 U- f% n c
6 ^. x( M4 |6 ~7 g1 z: g; P. z& \$ J6 ~2 K z
上一篇文章曾经提过了收录率这么一个指标，许多网站都懒得去做这个指标，“我看看site的数据不就行了！”，事实上未曾这个指标，许多工作就无从下手。从数据中找出问题，利用数据点拨处理计划，分析数据检讨工作收获。 最近看了《深入浅出数据分析》这个本，感受不错，把数据分析的措施讲得很生动，提倡有乐趣的从事数据分析的同学能够买本看看。 任何数据分析由，目标->分析->估价->决策，四个环节构成。
5 r1 c8 \9 f$ y }+ }: G3 `
/ `& P7 F0 L2 t( B6 I
7 |' _# M8 V- m$ K- K( E% Q目标：我们想看一下网站的收录情形如何，在SEO方面是否还有长进的时机。
$ K1 P! o5 U+ b8 c3 Q
. q7 Q) s' e( R/ r% |2 X6 F
) e% D7 `+ N% T5 {, P0 I/ ?分析：收录情形什么算好什么算坏，是不是用一些指标来权衡？网站的收录情形是不是过度笼统，是不是该当细分下各个版面的收录情形？! |) d4 V" A1 _- [$ Z. U9 ^5 J
& w/ _1 l6 `' X2 e
3 G5 x% r2 b" U0 [8 j
估价：于是我们必需下面一些数据, n8 c$ g6 p0 B4 A2 J
, z8 w( r& ^# {3 E
& M7 e3 r7 b8 _- D
> 网站的版面层级联系
) t, l( f" s3 u9 ?' w4 b9 W T3 t" y3 K- n6 J {
' L6 A5 d! l8 d* C ~/ ^5 S9 g& G
- r. j- q4 n2 ]5 J- r1 M: l
3 Q* o- Y* i; V0 P/ A9 E0 {! k> 各个层级版面带来的SEO流量5 J" a7 m9 Q( Y+ A4 _; G
& c8 D* v0 l+ B1 Z
7 O2 ^1 ^% g, ^+ c1 o> 各个层级版面的收录情形如何
1 b0 |3 ~. ^2 S$ @! S: Q7 ]7 \* q, A' V/ v2 b q
& P3 g: [- r" L& w2 S0 w. V/ z9 Q& a/ C1 @% R: j3 {4 X
! i+ O! @! D& q/ q2 |5 ^+ x( [" aSEO流量的占比能够从Google Analytics中过滤出来。
& ]6 _; ?, Q2 E& G* L1 r8 ?; [) H
; T+ \, C( E+ Q c* R7 Y; [6 ]
# N/ e6 b% S7 w2 W+ Z& j: q+ f+ @6 a版面数量能够从数据库获得，可能穿越度车头or自制小脚本抓取普查。: e' I4 K; F9 p. E
( m6 L* H) D9 E$ F, q; u& y
( K0 n" j( C* O9 i" Q收录率能够将获得的版面穿越工具举行搜查，火车头也能够。
+ f" K/ {- P& f; u5 C! E* N* \: }) {
& \7 h' s) A! F; H问题立马凸显！) p* e6 s, r$ Q( ~0 U8 U" E' s
6 R" F* _# o5 {5 f- s8 \
8 @: K# X/ G% s; z3 v
1+2级目录页带来了许多的流量，收录率不是很好，优化收录的流量晋级冲缺口在此！
: e. e, v/ T, j% {% E! D
! K" e% w: `& q0 U# f- h& w5 e2 v
5 z. A! O( y; h
4 Y6 ~; O# {& t* O产品版面数量许多，收录也不是很志愿，然而带来的流量有限，除非收录问题，还有版面内容的问题，本文中先不管它了。
+ O4 L0 b! d) s7 Z* D
" i8 _5 `6 l2 u' [' E
. Q: v8 |4 N9 c C# z决策：我们的结论是即刻展开行动对目录版面举行收录的优化。
( W- Y2 |* E% N2 N8 W# a
% \: J3 B$ S- R, K' N' x
1 M5 @! _* ^6 q9 ^看到这边，好像刚开始的目标：“穿越优化收录晋级流量”' A3 B( r" Z- \+ y2 T5 p: c- e
* W& A5 j1 h& Z$ F
! B; r9 V" P# k% [& P
演变成了新的目标：“如何长进目录版面的收录量”7 H: A* N, `: o+ i7 }! O( g. e+ i: k
o+ r( _9 n' `$ c- e
3 n2 w/ n( Y1 ]& \这边能不能再次穿越数据分析的措施举行SEO呢？+ y) f: O) C5 \$ _2 J3 I4 D( S
9 {/ F- j$ g* i7 m) f i- x
# }$ R' O8 f3 ^. \, C; E5 c) W. k* \
答案是确定的！; b% H- c+ G, W0 g% e: J
& e3 {9 M/ ]( D2 l! t# g8 g6 }$ ^6 F' Z$ w/ ]: b
我们再来重新走一遍 目标->分析->估价->决策 的过程
) v0 w" [ d' _7 P: P4 s! T" ~
0 d: u2 V E- ^ Y% B# Y+ p- t2 g
0 Z( h# _+ D$ [5 A& O' t4 s% X目标：长进目录版面的收录量. J! g& N- I1 n: O0 t+ t
" V: J5 t$ L, E1 `; E- Q$ Z, r7 N
: b3 O" N' C* K/ Y& ?5 R$ G
分析：穿越本文开始的有关收录的两个因素，我们必需察看一下，网页是否被爬虫爬行过，网页的功德是不是过关。
L0 o' O) z8 X2 @
# r0 {' b( s+ _% s; J. X* f
5 U4 f) K! S" W8 c9 @1. 关于爬虫的情形，我们必需分析日志，能力确定。于是我们从日志中拆分一系列数据看看版面是否真的被爬行过。
* J; X8 g; ^- g0 \8 \( E3 v M' g5 R* O* p ]7 ^( y i5 F, Q) C
! i8 n! I3 m" ^1 Y2. 由于版面功德好像是一个很难权衡的值，于是我们能够用雷同模板下的：
% [3 r! x# b8 Y5 M/ ?% F: _$ i8 ?% j# B; T: n- F) X
, T1 z6 r1 M) \6 \- t9 D
已被爬行的版面数量/已被爬行并且被收录版面数量- f. M9 V( g, N! q
: S* d+ [8 t* G4 q, B# i7 u. U) f4 y3 Z1 x# `+ k
来估价该模板版面功德对收录的波及大小。万一被爬的版面都被收录了，那起码解释这套版面的内容搜查引擎还算确认。（切实情形远比这个混杂，而且收录后也有可能因为功德问题被剔除，但总比什么比照都未曾要好，对吧！）
/ Q ~; h: }% Z+ p- ]5 h5 b7 k0 i+ w) [( M' i
) O' v1 H) ]5 h- I3 f
估价：（敏感消息用编号轮换，均为恳挚数据）
H4 V6 f5 b$ [- I5 o9 L% r2 C
/ H7 d9 w. f+ E
2 b- Q: l; m! j( _/ E先看一下爬虫日志的情形，穿越Shell脚本，我们能够分析出。
0 F0 Q; D0 ]* W' y T
. k" t, F. o. w! q* ^/ C9 a) E: S- I3 c' Z7 r& A; V" S5 [' V4 g! @
目录总计被爬行的次数为13000次左右8 H$ T+ J/ B9 _; H, U! x
/ |7 g/ w6 ~' b9 \! K
' G3 g$ L" i8 M& Z- b不重复的目录爬行次数为5500次左右
, |7 Q1 [3 p6 D5 a' `* j
i* ^, x/ ^5 L5 f9 |0 o; O+ i4 Y3 b3 y
频道A下的目录几乎被100%抓取过起码1次，频道B的目录抓取也不错，有70%被起码抓过顺次。0 m2 X, k$ q9 _. m: u8 y9 O
# G7 N5 Y1 r. d- Q" c! [" `
& I1 I, u7 j, u0 i1 V1 Q
其他频道下的目录被抓取的遮蔽率不到30%
d! Y I8 v2 {8 g7 N' v
6 `- a E' e& W3 E* [ z L0 A' O0 q$ N# s; b( ]
c- i2 b1 t+ j Y. v% u
; U/ k! M: `7 n! c
不要感受这个收获很神奇，其实许多网站都会见对这么的低劣问题，凡是你把数据不时的细分，细分，再细分，总会考察出一些端倪标。 L" T& c. ]5 C1 n0 W7 T
, h" |: p6 J$ ?- g+ k6 ]! c* c5 m5 h) I0 \; k5 [
关于日志分析，不要迷可信何的日志分析软件，那都是给懒人用的，自制脚本+Excel才是王道，能够拆分揭示出任何你想要的数据，当然，甚至能够连Excel都不要。" e7 K' B) ^ N. l0 k# ]9 U0 |
* n* i) c2 _ P& @7 Q I& Q
4 K. p s3 D8 q: q8 w) N6 @* C8 y然后，我们普查了一下被抓得最频繁的频道A和频道B，目录页的收录率
G( o9 S, ^7 T( \7 ]! W
+ j$ |; m) \* d- e' h# P' Z! x. z+ V# d
3 C" L+ ^( r) h% R/ C/ v9 z9 l" K/ ~ g) z5 n6 Y
/ i9 k" n" R" E& m8 C
频道A和B是很让人塌心的，解释版面功德没问题，然而余下的收录情形就让人比拟担心了。( x' y0 M$ O: x0 J) F/ }. L0 j" c
; a7 a/ M4 ?5 Q- t8 D J+ a+ n) v4 \' y n V5 \" b
决策：穿越上面的数据估价，我们曾经获得了如下结论。
9 r3 \+ R# I1 {7 a( ? Y- p
. b( d1 ~! V$ U- u5 B) L8 w; c
' }) \: p& f# j$ Z5 ^版面功德并不是波及收录的起因。% q' k0 ~* Z7 T# _! b; c1 Y
+ B5 y* Z+ ]0 W8 j+ E
4 D' I" l" d" a% U( m* ~
频道A，B的抓取量失常的高，穿越察看打听，本来是首页上的目录页，揭示的全是频道A下的目录页，首页又具有全站最高的权重。频道B具有比其他频道壮大的外链资源，权重也极其高。
, r- u# i3 G% _# J( X& A) ?, M6 z8 M
9 p9 q" ?/ u8 X/ y: ^5 [. @- @除非A, B频道，其他频道的抓取情形不容乐观，抓取入口太少，太深，进而波及了收录情形。
, P0 i3 l# c4 b+ @
2 w1 I1 c, y* e6 \7 a9 r7 s( U. a' y4 \2 R4 J' t1 C
很显明，目前频道A从站内的角度来说太壮大了，定然举行一些“劫富济贫”的行动来减退频道A的抓取量，迁移到其他频道中去。同时，必需给爬虫供给更多的入口抓取频道页。
: H3 t& L% `* o M( ]/ N
6 X$ G3 p* [, G- g: i
" N& }( C2 w ^$ Q: u目前问题变得打听起来，我们开始把工作分成两局部：1.供给更多的入口 2.将资源平分给各频道而不是凑近在半点几个频道上。2 M; t$ e, j' w& X+ ?
! L" F' S/ K3 `; W }+ @( Z# a. n4 F! t' A0 V; b8 I
供给入口工作：: B' q9 Y! l7 P1 p( N
: v, G. x; h: |8 ^0 `, X6 A q2 h9 M2 o/ W9 p @: i+ M: { P' J+ h
1.把目录页的URL制构成sitemap。提交给搜查引擎，并且将其设置为比拟高的抓取权重。4 A$ `1 E8 a. e
; G( Z6 i3 |+ _: p. J/ l- q1 D( K2 F+ w4 F
2.健全面包屑导航，将面包屑导航划分得更加精细，以供给更多入口) o6 j% i3 Y5 T. c# l1 T! A
8 e& Y; l- {+ v K. A; L3 t" f
- o! U% `9 y9 P& s; q8 H8 T1 s, q3.在其他产品中评比目录页
, U8 q* U* k9 Y9 `" s: G0 H. T. p/ v, H
) a4 R. z: T) p4 p+ G资源平分工作：（一些观念：任意版面都有可能成为爬虫入口，百度爬虫抓取深度有限，版面相对入口越浅，被抓取的概率越高。）% p2 W: O) J- o. |8 W
7 h/ J4 O8 u2 R7 e0 p
! ^" Y7 i1 {( I; H8 n4 ^0 b5 U
1.本来首页指向的都是频道A的目录页+产品页，将其全副nofollow，确保从首页进去的爬虫，全副抓取到频道页，穿越频道页再进去目录页（其实这个不算太重要） ^# g6 o7 j+ _. t' F( ^5 C
- Q3 E# y6 `, ?( w0 i& [: ?( c
7 M3 V( f" v8 {+ A' ~( s4 u6 {# C2.本来频道页指向切身的产品页，将其全副nofollow（确保从频道页入口的爬虫，最大程度的抓取目录页）8 b; Y( [& M0 X" x" K
5 \+ f/ C5 m) E8 Y. J3 M
6 S0 \: C: d( \3.从目录页归来到首页的链接，将其全副nofollow。/ n+ K$ B0 y% `* W7 S6 @9 K3 v
, A7 N" k# ?$ N, U. ?/ O
) ~6 S1 V7 y- B% Q' w3 j4.收缩一些版面上无关链接。（什么情形下这么做都是极其管用的。）* l. u. P/ D3 g( a5 a
a! ]' l- g$ Y% x
2 `' @( Y- J7 f$ e目前能够开始入手了。。' Z: f4 }; }2 R" \) ?$ _4 k1 J
9 Q2 ?7 `6 h) L
- n7 q1 k1 J1 ~, j3 ]3 x% S收获
! U" a! ]8 d# v9 J6 I& v
4 `0 Z& [$ o" n% @& ^. c
. }. V7 B& G8 O$ d: C8 o7 r9 A这么做究竟有什么收获呢，我们来看看修正后1个月后的数据。
- J9 S& M, z P2 e( I
% G# l' V6 N; u' ^9 f& E; T; F6 d2 I! `% m4 i; w2 D& r2 d) L
: _0 F- r! ~8 `& n2 f/ c/ Z' p# h2 Y+ o' O2 V& A* Y; D
目录页的收录率长进了100%！
( M9 H- O) p& K8 u9 }* J( W3 n1 ~- D1 g( T
" p7 Y2 z, K8 o/ y7 X产品页的收录率也有定然程度的长进，这是归功于目录页对于产品的良好揭示。; U7 B# W" I! P7 w2 z( b v5 H
s! _! m/ B! |& k6 G9 s' p8 F" D& @2 T, Z
目录页的SEO出现：
" ~. o+ b0 r) X& K/ G- g
1 M' A' @3 n8 g6 o9 R" i7 @- K8 I3 H- o$ S0 ^
SEO流量占比递升了15%; K# C0 v$ e0 w$ ?& m2 _
; _0 a' X( a# ^
, y6 R* ^, ]4 E. s c增长10%的到访关键词数量（新版面的收录）
" q0 p+ b; D- h) }, U* C8 i
* U( D1 t3 N7 z. G+ k( z
. [( P( }* l8 y8 t& hSEO流量增长了50%以上
6 C+ Q2 q+ s! _0 {/ ]. H |
