搜查引擎做为网站流量的重要起源，网站的收录量慷慨是大局部网站运营人员关怀的问题。5 Q& K% X y4 V4 X0 Y+ ~4 _
4 i3 R' u7 y" d5 g" x' ?) x
3 z. F" {: a Y8 m1 Q
先确定一些大约点，一个网页被收录与否，有两个因素:
7 C/ ]8 I4 h+ r% o. @: t2 ?' `/ Q) f2 T- v o5 k# J
3 r$ Y/ ~$ y3 s* d是否被爬虫爬过: p8 s/ ~0 V5 o1 ^0 c5 X
: { c, h/ L$ A( \4 I
5 t3 a: I! l; Q$ @, c! v* d( |8 J版面功德是否过关
9 v) v& M4 m. K( h7 @! y! Z; J3 c# A! z |8 x. z- v# U4 p
7 D9 z1 P: Q+ i! S C, h% u上一篇文章曾经提过了收录率这么一个指标，许多网站都懒得去做这个指标，“我看看site的数据不就行了！”，事实上未曾这个指标，许多工作就无从下手。从数据中找出问题，利用数据点拨处理计划，分析数据检讨工作收获。 最近看了《深入浅出数据分析》这个本，感受不错，把数据分析的措施讲得很生动，提倡有乐趣的从事数据分析的同学能够买本看看。 任何数据分析由，目标->分析->估价->决策，四个环节构成。
0 o) h" Z+ q4 h; }2 B+ G" e& T, N, N
' g2 S! t# E% J4 \% y, d! D/ s% `/ k& G% X' {! o c
目标：我们想看一下网站的收录情形如何，在SEO方面是否还有长进的时机。# d z# o9 X. v+ z. t5 m' \
6 ?( A- X/ G; K6 w( W; D
; H Q/ q' G7 S2 `9 |. b分析：收录情形什么算好什么算坏，是不是用一些指标来权衡？网站的收录情形是不是过度笼统，是不是该当细分下各个版面的收录情形？
0 M6 d9 H5 u3 a' p% \9 P
+ a5 Z+ U6 P9 Y" b9 O
, k6 X# Q3 Q: Z' T( d估价：于是我们必需下面一些数据
0 k& m' f; D0 d
0 p# ?& G, ~0 S0 w4 A/ Q. c2 H, J
> 网站的版面层级联系 a' w9 m. \" i) X [7 |
* J6 w9 l7 E: A6 P- M b. ~9 K/ `/ Z" s( W
5 @% l' f+ k, M2 N9 h2 }. G# f% u5 N; ?
> 各个层级版面带来的SEO流量5 _! Q* {" |7 [: L! G
* B" J6 u( R f( o* O
8 a; Z) s: @' i2 N& n3 s$ D/ l7 e
> 各个层级版面的收录情形如何, `$ l' O, S. x
' T+ B1 F$ |; W; e/ T1 i
; \% E% b, X& P7 a1 `* W. n
$ H" y5 M' i5 X- Z* ^$ l8 l+ ?9 Y+ d) }7 Q; S( @% G
SEO流量的占比能够从Google Analytics中过滤出来。
! A/ `4 H( X, E U8 X4 ~+ K$ d7 i% K' X( ?( e& T
: G6 _" M8 i+ ?/ w3 U
版面数量能够从数据库获得，可能穿越度车头or自制小脚本抓取普查。
# `0 Y# `& X1 t ~' k* \
8 F5 X: U0 k# T( k6 u( u, I
6 A0 ^* Q" S/ b/ L收录率能够将获得的版面穿越工具举行搜查，火车头也能够。
3 l x4 c0 t5 x" o! E/ w3 J p2 I: y& Z' e( }. a' U
8 |' @. ~- @* O/ D0 G) Y问题立马凸显！
+ i: M& R( ~0 E' Y9 ]# Z) p; i5 e- G, u# i: p" q
3 J, G) Q c2 {6 b2 Z: a- {
1+2级目录页带来了许多的流量，收录率不是很好，优化收录的流量晋级冲缺口在此！( C; S0 v5 G5 W3 L, p1 h) _
: y+ ^$ w- p! C0 b4 K% Z$ R6 N- R
7 Y; h9 E' k }% ?
4 h: g. p% v+ {4 Q K3 u/ }# j* R$ f) m$ t' I" b6 @8 m
产品版面数量许多，收录也不是很志愿，然而带来的流量有限，除非收录问题，还有版面内容的问题，本文中先不管它了。 c4 j" a1 v9 G
# M' {& b8 [& I2 g! I
8 y% D- l$ L9 ^8 T决策：我们的结论是即刻展开行动对目录版面举行收录的优化。
* I; L" V0 j1 Q& p2 {/ h
' |' w* \& c) n) R! U+ U* ?% V# d
看到这边，好像刚开始的目标：“穿越优化收录晋级流量”1 l/ b( |& h. h; g
7 t0 E# V' G; }) L4 t& r1 C1 K( q
演变成了新的目标：“如何长进目录版面的收录量”
) j9 C' C Z( ?1 F% }+ ]
7 j& K! G$ P3 ~6 }" e m6 s
) {4 c! X2 E3 M6 i; _# g4 ^2 |这边能不能再次穿越数据分析的措施举行SEO呢？
& M8 p4 ~2 {" Q7 s& Y; ^! O( P9 K5 M/ \3 s- `) r
! z t0 E* _$ P/ V答案是确定的！
5 \# f3 C# W! y2 b( _# h0 f6 w# j
: c2 K n5 m" d- {' ^' I& H$ Y) q4 a6 x: y/ p+ h
我们再来重新走一遍 目标->分析->估价->决策 的过程
6 t- @) L3 w" ~6 K8 B J
& v- x8 k; |( i8 w, \. q! ^- U
7 K4 }0 l$ A/ x6 ?- @目标：长进目录版面的收录量
0 [3 J, S s' r3 E$ s
8 u5 `' k) E2 J1 s+ K1 N3 s9 B4 l* b
分析：穿越本文开始的有关收录的两个因素，我们必需察看一下，网页是否被爬虫爬行过，网页的功德是不是过关。
, @6 K* q4 j2 a. h9 n& Y: `8 Q% X7 W1 O& C# i4 h8 g
- d& n/ {) Y. ], u/ X* S! k( C H
1. 关于爬虫的情形，我们必需分析日志，能力确定。于是我们从日志中拆分一系列数据看看版面是否真的被爬行过。5 q# e1 v& c5 I$ j
' t2 k+ d2 j# V, _9 O
; X, C& k+ v) @: u2. 由于版面功德好像是一个很难权衡的值，于是我们能够用雷同模板下的：
& ` u% h& w, p; f$ B' T* N
3 V, ^; v8 C% t3 Z5 C
) `6 }) g) y- r9 q: i- R已被爬行的版面数量/已被爬行并且被收录版面数量( `9 t0 B5 |6 d0 I
8 Z9 d2 W7 l! y. G7 H4 u
+ c; V& n; |) {! Z' M0 G* Z来估价该模板版面功德对收录的波及大小。万一被爬的版面都被收录了，那起码解释这套版面的内容搜查引擎还算确认。（切实情形远比这个混杂，而且收录后也有可能因为功德问题被剔除，但总比什么比照都未曾要好，对吧！）9 g0 y* _/ x2 H7 V" c, t: y9 v" c
6 X; R; @1 S; f, n* M, V% n- s2 J Y
估价：（敏感消息用编号轮换，均为恳挚数据）
% G! g; v! O: Q) B2 } x; _6 x+ G& b4 E( Z; Z1 j2 u0 T/ Z
( T3 A" R) s8 X V3 g
先看一下爬虫日志的情形，穿越Shell脚本，我们能够分析出。
" C w3 ]3 l* w/ K3 J4 w
! V! j$ y2 [7 U/ g/ c9 i
`+ m: d3 Y2 x7 g' V目录总计被爬行的次数为13000次左右" G; J8 n4 L! \- |: U
" @/ q* Q) t: Z4 ~; w
# c2 ~: w5 x2 s& A$ L: S
不重复的目录爬行次数为5500次左右
8 t5 T2 L/ O! S6 h2 m# }
5 S) Q5 @! v$ j' `" d8 I q/ B" | w# V3 k
频道A下的目录几乎被100%抓取过起码1次，频道B的目录抓取也不错，有70%被起码抓过顺次。
; L- O7 X+ E2 h1 Q7 g8 ?: U) Z8 ]; h4 i6 Y+ P0 k! g: F3 j
+ G2 M- a* B8 q' C# M其他频道下的目录被抓取的遮蔽率不到30%/ \* i, K3 D+ \/ O) d
/ u0 I" @# h- u# S
, K h* R1 b' Y9 G3 {
# ?5 n4 \+ y3 S: \" j8 M' C9 Y! h8 s1 r0 B" T
不要感受这个收获很神奇，其实许多网站都会见对这么的低劣问题，凡是你把数据不时的细分，细分，再细分，总会考察出一些端倪标。
0 c. W$ Q% T S, h9 _( Z" S1 H; V8 o* y0 G$ B) ~5 f% t; a
% ]% O0 E3 i0 R$ D2 |
关于日志分析，不要迷可信何的日志分析软件，那都是给懒人用的，自制脚本+Excel才是王道，能够拆分揭示出任何你想要的数据，当然，甚至能够连Excel都不要。, s" i( W, p7 @ k% m5 }% A C& j7 S, V
: C1 `. p* ~" M( X2 y/ E
; S( y6 K' p3 q* y% Z- Y! i4 z, o7 k然后，我们普查了一下被抓得最频繁的频道A和频道B，目录页的收录率! i7 K" _) ^4 F4 r/ P" A8 W4 `6 o
6 \: ^8 l* |$ U) `, `
9 j5 J4 L5 i* F8 D6 d. ^7 s) ]3 L/ e3 @( R! H; [- t
7 d9 m N1 D5 ^: V; C$ b8 p% {频道A和B是很让人塌心的，解释版面功德没问题，然而余下的收录情形就让人比拟担心了。
7 \& y9 B7 i. _, A# N5 P+ L4 `$ A7 w
: e% a# o" c, T+ ]0 V) w8 J, c( ]& R. ~$ s7 o7 ?8 b1 Z
决策：穿越上面的数据估价，我们曾经获得了如下结论。
0 P. c: v! N4 P0 H# t3 }( O( n
9 ^0 C X1 h: T2 m, t# ^1 `4 ^1 u' O/ \# N P
版面功德并不是波及收录的起因。
R" Y( O' H# W! F6 s4 w1 V& N B ~0 V+ K8 v
" E* x# a8 l/ Q
频道A，B的抓取量失常的高，穿越察看打听，本来是首页上的目录页，揭示的全是频道A下的目录页，首页又具有全站最高的权重。频道B具有比其他频道壮大的外链资源，权重也极其高。/ P, q& X, C6 z
9 A( B. P( ~0 P0 p- A* N7 K% Q8 T3 D
除非A, B频道，其他频道的抓取情形不容乐观，抓取入口太少，太深，进而波及了收录情形。9 ^/ t. |2 [; G* j
$ ], |/ f% a7 g* m* w4 G! R
3 q: W4 m& y% b2 U% ^ W O很显明，目前频道A从站内的角度来说太壮大了，定然举行一些“劫富济贫”的行动来减退频道A的抓取量，迁移到其他频道中去。同时，必需给爬虫供给更多的入口抓取频道页。
% s( c" @9 h4 I: _3 O# }
9 `: ~" j3 G" e2 I' V1 ^7 V5 {7 t' k/ t& P
目前问题变得打听起来，我们开始把工作分成两局部：1.供给更多的入口 2.将资源平分给各频道而不是凑近在半点几个频道上。* d, T( |4 `2 {7 ]6 }
; Y" {8 U1 V# k/ p0 c* G
9 ]6 U5 n) v) B) Y- q& F供给入口工作：
* [% C9 c" @* G+ q- }& C$ C' _8 r$ c$ p7 J) h, M$ V& ^, J; g
; ^, R+ ~0 s+ }
1.把目录页的URL制构成sitemap。提交给搜查引擎，并且将其设置为比拟高的抓取权重。/ y5 I1 s: ~. R1 d) Z
! y" K& @7 c6 Q Z: P0 g/ f4 e
1 `6 Y7 P) i8 H4 b& m3 K% b6 i/ i, I2.健全面包屑导航，将面包屑导航划分得更加精细，以供给更多入口- U. F! W- e0 X# {, \& G
# I9 G1 { l9 C# C! ~, z* [; I6 _. f& `# \% D
3.在其他产品中评比目录页1 k% S" c% e2 `7 }
d3 R1 d5 \* U: c# ] X5 m7 T* p7 d* j2 V( W, z* o
资源平分工作：（一些观念：任意版面都有可能成为爬虫入口，百度爬虫抓取深度有限，版面相对入口越浅，被抓取的概率越高。）: V$ y- k* h3 n2 P! O
% H5 z$ t& z& n' P
% n; A" T; H! J9 b9 @1.本来首页指向的都是频道A的目录页+产品页，将其全副nofollow，确保从首页进去的爬虫，全副抓取到频道页，穿越频道页再进去目录页（其实这个不算太重要）
1 r- E- A) J& u5 m
& A1 `) Z4 v* Z I2 O: l8 ]- d; g g& }
2.本来频道页指向切身的产品页，将其全副nofollow（确保从频道页入口的爬虫，最大程度的抓取目录页）2 r# C2 g# W" s, V
; y, D4 j H2 V! S0 s) @7 ^& N6 s% x% i
3.从目录页归来到首页的链接，将其全副nofollow。
" Q w* T! I4 ^! v5 O: w" B
0 K9 k! J d7 v& v6 ~8 J2 B. r9 f% Y' n' w, J$ D
4.收缩一些版面上无关链接。（什么情形下这么做都是极其管用的。）+ p% F1 G0 y* @
( U, @- Y) F, c& p: m* z! @; R' e# W8 i+ k# i; a% a
目前能够开始入手了。。
+ C* x, `8 `% o! \& W" l# a) i7 I1 |) y. z J( y8 d/ N
/ u- K5 I" R: l, B
收获7 F( V0 j5 \4 _8 U3 V; H" x2 |. w
7 x4 ~, m9 g4 [( d3 h) _8 ^
! H- z2 R% n; u& Y" m# z3 t% b) X* _
这么做究竟有什么收获呢，我们来看看修正后1个月后的数据。
- v7 B. ^. I7 v0 u( \: p5 a0 W: b# `* c
- E1 y) p8 c8 d8 e) R
5 @! P# e6 n0 Y E5 a( E/ W: {. F4 V6 z
目录页的收录率长进了100%！$ x7 `3 K7 m( M8 `& V: s1 S/ _
c! ~( `4 K& q" |
o- K* ]- W* `/ a, k
产品页的收录率也有定然程度的长进，这是归功于目录页对于产品的良好揭示。
) ]6 n4 M& r$ m/ q+ p2 n4 W( q6 _4 s/ q
& | z& c( B( q3 [ Y: _6 ^
目录页的SEO出现：
2 }& d8 u* Y/ T: k& n2 s) ?8 l: A& y$ C& z
% h* |' }0 I4 E: G6 Y- jSEO流量占比递升了15%4 T, A% l% H/ } ^
1 o* ^' h( y) d! f: H+ l7 F, j
9 A1 P; Z) G# c2 V! L& @5 o/ Z" X增长10%的到访关键词数量（新版面的收录）+ S$ C/ t+ u* P. a9 x% P7 P
5 i& ]! d4 |& ?+ ]+ A! H# G) N( P2 e6 C/ L
SEO流量增长了50%以上- [# h- @ u3 a
|
