搜查引擎做为网站流量的重要起源，网站的收录量慷慨是大局部网站运营人员关怀的问题。/ n8 {" L' F9 |& Q, l/ I
& @8 C0 ]3 Z8 {" Q
1 H( e# H% ?2 z% ^先确定一些大约点，一个网页被收录与否，有两个因素:; y- `6 ^! F8 E9 B! P) ^9 ?- C# ]. f
% S3 Y t% A$ X; D: G0 i
! s( F# X8 i F# |0 v) l0 b是否被爬虫爬过
y+ x) |+ A* j6 Q. L- X& _1 Y) ~; }
/ q4 M" i- g* q' R+ o' C' W: {版面功德是否过关
7 n ~* k* m8 t- r" `$ X; V% d9 R5 a; j3 ~) e
" n6 K, |8 y* v6 `- [9 A& v上一篇文章曾经提过了收录率这么一个指标，许多网站都懒得去做这个指标，“我看看site的数据不就行了！”，事实上未曾这个指标，许多工作就无从下手。从数据中找出问题，利用数据点拨处理计划，分析数据检讨工作收获。 最近看了《深入浅出数据分析》这个本，感受不错，把数据分析的措施讲得很生动，提倡有乐趣的从事数据分析的同学能够买本看看。 任何数据分析由，目标->分析->估价->决策，四个环节构成。; `& [3 K W" A# d3 e! h* r; K
1 m# r0 P& b3 T$ g# W6 y
+ ^( u9 ]& k1 d& x! J) k
目标：我们想看一下网站的收录情形如何，在SEO方面是否还有长进的时机。
/ X. O8 {8 H4 b5 [- F: ~+ F
' t$ W6 R! `$ [! C A5 G2 D W
* }% H3 S; F3 {9 ^分析：收录情形什么算好什么算坏，是不是用一些指标来权衡？网站的收录情形是不是过度笼统，是不是该当细分下各个版面的收录情形？
/ {; j5 Q# @' ]8 k: \1 u% _# B# [; ?
$ c7 q* @# I3 b估价：于是我们必需下面一些数据 J/ f& B* Y' a% X! O
, P! j1 @* e! ?" {$ Y. l
1 N, b2 t; ^0 {8 o R! ^> 网站的版面层级联系" D, @- t7 E; a; j' c$ P8 C2 U( F
0 P2 u: y6 o# E1 X+ m* `7 z2 M
1 L7 k* A; a* d/ I! B! l7 v
8 h i* ^0 j, _ M) [: i t3 k
* O2 o0 R! `6 U) A" o+ Q' z5 L' X/ p
> 各个层级版面带来的SEO流量
- y ^7 H. n" ^
5 f+ h8 P7 l3 t& ]! P+ d. M
6 o/ O3 o% ^( p" Y8 @% M2 _3 I7 s> 各个层级版面的收录情形如何
; \( @, e! F( Z6 x# f J0 u, B$ E$ n$ A2 ]+ O: G* N9 F
# U6 ~$ X& S4 J( ^% }, b6 L
5 V8 }* Q$ w( O9 G6 L$ }) ?7 l! b
A% g0 s4 U5 \' a! }SEO流量的占比能够从Google Analytics中过滤出来。3 s4 ?/ J9 b6 |) p" U! ^2 L
5 p1 v" M- n0 f! `' w. ?
$ w4 N: i( Q" D+ V1 O1 L n; z版面数量能够从数据库获得，可能穿越度车头or自制小脚本抓取普查。
+ g% B9 _( t- S r$ r6 J* l7 ^
' f' A1 F7 z; P) `, D, _" [& t: x- h
收录率能够将获得的版面穿越工具举行搜查，火车头也能够。5 x5 Z/ \1 t9 ~
2 H# Z) v8 o2 |! s/ ?0 n
9 @0 [+ a+ J2 z% \; R9 N+ O+ ~- ?问题立马凸显！
. Z& J! }6 D+ L- @* f9 g
0 j- l$ H4 a9 M4 |( D/ A& a' \# S2 L+ o5 k2 A' d8 t0 X
1+2级目录页带来了许多的流量，收录率不是很好，优化收录的流量晋级冲缺口在此！
' {5 A, E- j- }% f0 L7 L# H+ \# H
- e: t* E3 T0 {- k- @1 K. g5 |- m% W+ e
* C8 ?& ~! y$ T% e0 U3 o! W: r' k
$ N x& N# t. e! a, q
产品版面数量许多，收录也不是很志愿，然而带来的流量有限，除非收录问题，还有版面内容的问题，本文中先不管它了。+ e, a' Y# k! i# g0 _0 [5 s7 U
0 ^9 G+ c' H; I i% _/ K
3 B9 ]6 Z: u- S D A! `- G) J6 D决策：我们的结论是即刻展开行动对目录版面举行收录的优化。$ l9 Z. J+ t A) X, v# p
. [+ A1 B% {- H* _5 Z6 ~8 h* X% w2 W2 S: E
看到这边，好像刚开始的目标：“穿越优化收录晋级流量”. c* K9 [% u1 z
( f+ n/ b) {* |# h# G' C5 @4 e2 {3 S4 W M8 G5 @4 ~7 I
演变成了新的目标：“如何长进目录版面的收录量”7 L7 i% s! o1 N% D" T! _
! E% f! l+ K1 v3 i& B' Y8 K8 {+ _5 b' B( m
这边能不能再次穿越数据分析的措施举行SEO呢？2 }3 g5 V _( l
/ n k _4 r" G6 Z& X1 E
7 \' ?/ X) v/ m' e/ K, x. N答案是确定的！
/ B+ d: H8 E+ @9 z* f" J( y9 ?2 ]% @. }0 u" n( C6 n5 v2 D
4 f9 B1 {. N# L5 t$ Q) I5 J+ v我们再来重新走一遍 目标->分析->估价->决策 的过程
/ a w/ X b0 S6 \/ E9 i4 c) n
( }% a- N S, ~2 y
- a I/ m: K M. X$ N目标：长进目录版面的收录量. X% E/ @" m0 D# L( w2 C
# J! j& I1 a0 x+ C* r
2 L" j* U3 E) n6 v g: M
分析：穿越本文开始的有关收录的两个因素，我们必需察看一下，网页是否被爬虫爬行过，网页的功德是不是过关。
( e+ \ J; l1 G0 R. u+ l l7 n- X9 v
4 F& E: o' {% s1 }- K: W1. 关于爬虫的情形，我们必需分析日志，能力确定。于是我们从日志中拆分一系列数据看看版面是否真的被爬行过。: S+ h) o( Z ]
( o/ \- O0 `" Z( q% d. {
& M+ l% m6 F% e: J2 l9 T
2. 由于版面功德好像是一个很难权衡的值，于是我们能够用雷同模板下的：6 n) h4 [( r% N9 k
0 l; _. P# C; v2 C; i2 v. G
3 s5 ~5 _- [: Q7 R6 U4 p& D已被爬行的版面数量/已被爬行并且被收录版面数量, b, Y0 d# y3 P3 u) ]$ z' l/ V
/ W: q g [2 ?( e! m4 q z3 E; ^
* q3 P" U# x# a来估价该模板版面功德对收录的波及大小。万一被爬的版面都被收录了，那起码解释这套版面的内容搜查引擎还算确认。（切实情形远比这个混杂，而且收录后也有可能因为功德问题被剔除，但总比什么比照都未曾要好，对吧！）
& L7 Q4 C# p, L! c9 q1 U9 F; j; }& l2 C) \2 |
$ T0 T$ ^0 K& s4 j7 E% Q
估价：（敏感消息用编号轮换，均为恳挚数据）
/ I* i* l( Q; g$ q9 @) S4 Z0 e% s3 d6 g/ N+ T+ L: w
: `! d3 I' Y4 w' t Z' E
先看一下爬虫日志的情形，穿越Shell脚本，我们能够分析出。
% V6 D3 @8 V. r$ n8 f1 U: q' y, D8 P/ K4 l( A0 Z* k
- M7 ^1 f) g! S5 [8 t( X5 F目录总计被爬行的次数为13000次左右
9 h i2 J6 a# ]. e$ R$ k, ^$ Z: H
- ]5 t% J5 t# X7 j9 o; s4 g# ?+ e" G
不重复的目录爬行次数为5500次左右) G0 z+ s! O& Z9 Y6 N
, g. v* q# i7 ~! i E' b
6 o6 @- Q+ D6 ?1 m4 w8 q频道A下的目录几乎被100%抓取过起码1次，频道B的目录抓取也不错，有70%被起码抓过顺次。6 R: P, q+ ~( _6 \, d
" Y6 e1 C6 X5 z9 o* g
; _. U5 n! E: M其他频道下的目录被抓取的遮蔽率不到30%
: K7 y. i: v# |6 Y* k) l" X& o2 w9 f: X2 B; m* V, }0 [& C
# a: r! w3 s0 i6 m. y) H8 W5 g
( [7 `8 t! _& m* \; ~! h
) \8 t5 c; I( k% @/ h* T
不要感受这个收获很神奇，其实许多网站都会见对这么的低劣问题，凡是你把数据不时的细分，细分，再细分，总会考察出一些端倪标。! Y0 }5 p9 u/ X* f8 M) E. V
& }8 D2 @! j9 ^/ d2 _
0 o o/ [# ~0 v9 M3 Z, k
关于日志分析，不要迷可信何的日志分析软件，那都是给懒人用的，自制脚本+Excel才是王道，能够拆分揭示出任何你想要的数据，当然，甚至能够连Excel都不要。( ]: ~2 [7 ? O7 W
- X3 K) X4 w* i: ^; u6 U
; |( b; M. v6 R' z然后，我们普查了一下被抓得最频繁的频道A和频道B，目录页的收录率
3 J2 k/ d% h0 I
- J. ?5 s+ X# Z
: [; `. H7 j7 [: o
; S R& ~8 @8 W, F% l, A1 Q6 b9 |2 G" W- W
频道A和B是很让人塌心的，解释版面功德没问题，然而余下的收录情形就让人比拟担心了。0 S' x1 ~: x2 t7 K4 N5 Y3 O% D
1 c& f" [. \) q0 v! S# [& A+ k4 z8 ~5 x( X9 L% m0 ~2 E7 b; E* [
决策：穿越上面的数据估价，我们曾经获得了如下结论。0 c: t* o; x# o" l. V% |) Z
- g% F7 ]4 f8 J9 c/ W! d) o P4 M0 z2 d/ D4 p( H
版面功德并不是波及收录的起因。
1 ?' t$ A! v% A+ S6 _5 H% j& P1 F+ N2 U$ S" G, A) v. C% J$ C
8 L/ J3 o- b' G6 n
频道A，B的抓取量失常的高，穿越察看打听，本来是首页上的目录页，揭示的全是频道A下的目录页，首页又具有全站最高的权重。频道B具有比其他频道壮大的外链资源，权重也极其高。
1 X: n* C2 g' _' w8 O
. X* u8 n4 L$ _9 e0 _+ j" ]$ O8 o* {& J! p2 @& C, T7 v0 i
除非A, B频道，其他频道的抓取情形不容乐观，抓取入口太少，太深，进而波及了收录情形。
7 N, |/ R/ x9 H
1 q C) w1 g% X2 T
, ]8 {. X9 ~6 ~4 B+ }很显明，目前频道A从站内的角度来说太壮大了，定然举行一些“劫富济贫”的行动来减退频道A的抓取量，迁移到其他频道中去。同时，必需给爬虫供给更多的入口抓取频道页。6 N( q4 s* H9 i
, U* ?0 S0 A; P2 b% _7 ]% D( L3 N
' G. Z1 c' P8 q8 d目前问题变得打听起来，我们开始把工作分成两局部：1.供给更多的入口 2.将资源平分给各频道而不是凑近在半点几个频道上。2 g. U# J: B0 p: c4 ^
' V6 ^% W3 g1 s# H# V
% d$ g' n9 d' G* w: \6 ?2 z, j& {供给入口工作：
; a$ f% i, D6 b6 c4 @; S! i& W4 B% m4 R# H# |* L( B* I# i& j8 x* E
' P3 e/ b7 |* _. L" {1.把目录页的URL制构成sitemap。提交给搜查引擎，并且将其设置为比拟高的抓取权重。
% a( Y6 V T& ]! A
0 d% a7 W0 ] `$ [, b
8 G+ M2 [" @4 ~% g2.健全面包屑导航，将面包屑导航划分得更加精细，以供给更多入口5 i2 c8 x7 M; H# _ X# z3 {
& y: e" c( o9 |! e+ }6 N' @4 N/ m
9 g1 x) p. \0 A' ?3.在其他产品中评比目录页
7 v# o1 j2 H6 T6 G9 P2 ^! u6 U" t0 G- i% O5 J* `* v# m
! P# b! w7 W' s/ [资源平分工作：（一些观念：任意版面都有可能成为爬虫入口，百度爬虫抓取深度有限，版面相对入口越浅，被抓取的概率越高。）: D7 u( T7 V2 c( i
$ x( n; ~! m# M: X" V) K0 P \3 ~8 E) j. {, q& \; E0 }) z
1.本来首页指向的都是频道A的目录页+产品页，将其全副nofollow，确保从首页进去的爬虫，全副抓取到频道页，穿越频道页再进去目录页（其实这个不算太重要）
3 q/ k. \$ L/ d, p% E* G$ P! B* Z }, `2 M
' X; a; L+ N$ J2 ]% m7 u2.本来频道页指向切身的产品页，将其全副nofollow（确保从频道页入口的爬虫，最大程度的抓取目录页）+ r4 f4 A$ I1 @1 a2 L3 i X0 o
5 d% e; t0 T: l; m4 O+ G/ d
2 a: F4 Z7 R2 U9 M, {3.从目录页归来到首页的链接，将其全副nofollow。
2 Z" S. a4 q- v% h' j9 k+ n! P: [3 M: Z7 Z% z6 V
* F$ X. e) e% A2 z
4.收缩一些版面上无关链接。（什么情形下这么做都是极其管用的。）
# y7 R$ g) Z4 W+ K8 w; F; N8 w2 u5 x% t- n& k$ w
" i# z% a S% ]# V3 c目前能够开始入手了。。% K' g; n1 M. J- {# S) Q4 T
9 f" B. Y0 ]4 a) Q+ d2 ^0 N& V% z1 a/ T* e K6 Q% T
收获8 @# `( `3 L8 D7 c
9 r7 k, {2 G: T+ \+ E
, J* Q- H& F% U& j% _% x这么做究竟有什么收获呢，我们来看看修正后1个月后的数据。. Y4 F% x1 J; w, Q, q. h
" }- N* i e2 }2 N. d/ G0 a" D& x
) e, o, p: Y1 j2 d* @$ s
0 J: S* ^2 a: k4 ^, g* J' T5 n' y9 n: c, Y5 p/ V2 T
目录页的收录率长进了100%！
8 M5 `/ I# }- A) B2 ]' ^
. H, T) U3 u+ J) }3 C) ]1 B9 r6 z+ i
产品页的收录率也有定然程度的长进，这是归功于目录页对于产品的良好揭示。
0 I! F" q+ f4 Y$ t! e o" U7 H8 K# ?
! T1 d' k* U/ [& E$ f/ T目录页的SEO出现：
8 m4 @+ u( v) Q! Z S3 K5 ~0 \2 i* k! X& z
, k( S) z5 {. Q/ xSEO流量占比递升了15%
" p# G- S# _3 k4 S' g
9 ^' h+ H6 H. f; N) }8 `/ ?
& ]: {* d5 E7 u) @$ U6 E b! f增长10%的到访关键词数量（新版面的收录）/ y% w% N& ]! ?
& q7 k* `9 S; `4 {- A& j+ ^: W
7 t9 I1 `' w- h% A& @! A, T; PSEO流量增长了50%以上
- P$ ~ S7 ~% M J2 D5 Z: }' A |
