搜查引擎做为网站流量的重要起源，网站的收录量慷慨是大局部网站运营人员关怀的问题。( ^5 P- U& p: W
k7 W# ~0 q; q7 N% S2 J+ S! l
3 t% [1 e. o! D, }& `先确定一些大约点，一个网页被收录与否，有两个因素:
. h- r) l" r& R$ Q+ g2 \7 g* f
7 p3 b$ f9 G" v+ S! `6 j( W: p4 E) d: T; y% W @
是否被爬虫爬过8 E u( `( j, M1 n! B4 m
2 q7 P7 J$ M9 M( O$ Y- r
! w" G# K( `( b3 A( @- y2 G版面功德是否过关- ^4 }; Y( Z6 C) ?' @. Y* `
# @: z- @ n. y! ?& O* Y' Z i* j! K) u3 ~0 @
上一篇文章曾经提过了收录率这么一个指标，许多网站都懒得去做这个指标，“我看看site的数据不就行了！”，事实上未曾这个指标，许多工作就无从下手。从数据中找出问题，利用数据点拨处理计划，分析数据检讨工作收获。 最近看了《深入浅出数据分析》这个本，感受不错，把数据分析的措施讲得很生动，提倡有乐趣的从事数据分析的同学能够买本看看。 任何数据分析由，目标->分析->估价->决策，四个环节构成。
; n) S; _, N- d$ l0 t) U+ k& E* t5 X/ A
0 X$ {7 ]& q1 R
目标：我们想看一下网站的收录情形如何，在SEO方面是否还有长进的时机。
' Q X- @: G- o( t7 R3 J4 y( [" K* W5 o. b
% F8 {* ?+ Y X4 S4 r8 e) ^9 D分析：收录情形什么算好什么算坏，是不是用一些指标来权衡？网站的收录情形是不是过度笼统，是不是该当细分下各个版面的收录情形？
8 c$ n2 a G" e. n. ?# h. x( c- ?- h0 {
! k" E" `6 ]" _- B h, v( M
/ a, Y( _8 K9 E/ I% o0 p4 Y; ~5 f估价：于是我们必需下面一些数据0 d# [; K% N8 l7 |- b2 n9 y' F3 Z
0 B' T% I9 U8 r! _" Y" q$ ~+ b) Q. ]; v
> 网站的版面层级联系; U4 X; p! X9 `/ `* c* ^
8 C' d- v# d' W( Z; Z7 p& e% f+ B# Q# ]/ ^/ [1 L
1 r* t2 _$ v9 ]; R* |& W* q* V2 D1 ~, M' e/ \! O1 {" b% _
> 各个层级版面带来的SEO流量! A8 m" p* |# t3 L$ e
, A% s6 m+ C/ h, t
- n$ D2 `' l- C" J0 z
> 各个层级版面的收录情形如何( s- g( m$ B. b
3 {& Y, f; V- W" J0 O1 \5 Q$ J: u7 j& M- ~5 N% F
) N: e1 W7 g n" T( Y: M
) k- H s$ K6 G- gSEO流量的占比能够从Google Analytics中过滤出来。
: ]; @8 p, J6 s- I, X% N" f0 k
h9 c( F3 e! ^1 K* T; b( J; Z7 q; |" q) d
版面数量能够从数据库获得，可能穿越度车头or自制小脚本抓取普查。3 {+ Y2 L& l8 S) Z" a( Q( G/ X
9 G3 @- J2 a8 ?6 f0 @
0 j& V# A* ^7 I& j& y收录率能够将获得的版面穿越工具举行搜查，火车头也能够。. i4 T0 g4 i5 S
6 @8 T# B/ q+ u$ f j7 T' a% ^( ~
9 ?" g. O; v! e$ M& h- X问题立马凸显！
6 |" k) C! L( }. s, O x$ x7 I% P0 T
' f4 j& {8 R9 f! y$ \$ U+ J
1+2级目录页带来了许多的流量，收录率不是很好，优化收录的流量晋级冲缺口在此！. @8 V" Z) Z; O7 d% u
5 h( j8 O* M- t( J$ Z9 i& z
3 O- J B1 y A/ F' d$ m( J+ j
1 p' v4 t0 ]8 K" M
' D3 G# y" R7 E$ B( J4 ^
产品版面数量许多，收录也不是很志愿，然而带来的流量有限，除非收录问题，还有版面内容的问题，本文中先不管它了。9 n) k, O- ~9 V. R+ N. H" v7 N
7 f" v# K+ Y6 `0 \. ~0 l
! r- z$ {) [: t% B. o决策：我们的结论是即刻展开行动对目录版面举行收录的优化。3 l/ e/ B# Y6 n: w2 N' j
3 {; a3 `6 f" G7 j% y
5 ]2 C9 F! `) k1 N2 P0 L看到这边，好像刚开始的目标：“穿越优化收录晋级流量”7 s$ S5 `6 g! [0 ?: ] z: u
; q3 B5 P$ m" |6 }1 A0 j. N
$ g& h8 ]' g& }. M6 a演变成了新的目标：“如何长进目录版面的收录量”
1 u) @: Z# i# u6 M2 G: F# E0 \$ \
5 R& `# \$ b* w6 g6 M2 x- |这边能不能再次穿越数据分析的措施举行SEO呢？
+ d* z) X) Y, C. ^* q" w2 [2 s/ Y) Y: L5 M( l6 ?6 `+ m) K( |
6 l) a$ b4 [1 P/ R
答案是确定的！
3 S0 ]- f+ G0 F1 A, S0 _* {' p
4 {1 }2 e) z5 N: ` k$ ^% Q. R8 S
\# p! C h H* {我们再来重新走一遍 目标->分析->估价->决策 的过程; d+ A- f9 N# ~
& `" d5 z' p: s, W- D f
& @0 @5 C. |& _9 Q: t" S! Y9 r目标：长进目录版面的收录量* C1 ?! |" x. x5 R4 c
7 f8 [( F1 a& N6 w" a, }! v5 O1 ^7 t7 j0 v# c
分析：穿越本文开始的有关收录的两个因素，我们必需察看一下，网页是否被爬虫爬行过，网页的功德是不是过关。1 z+ C3 v, f- G$ W6 L" w( |/ B6 Z
* ~1 |. J- g. c0 I( s. s
! G; @( Y* K; `4 z/ K w* Z7 r# H
1. 关于爬虫的情形，我们必需分析日志，能力确定。于是我们从日志中拆分一系列数据看看版面是否真的被爬行过。
% s' b$ R4 f/ D' M3 T
6 [3 m- X2 E, J7 G
: R/ L2 e0 ?3 Z" O6 [+ T2. 由于版面功德好像是一个很难权衡的值，于是我们能够用雷同模板下的：
4 {6 ]( X0 P3 _: z! G
- Y, r4 o; [" z) O! {7 w: l/ |1 N v1 Y! I
已被爬行的版面数量/已被爬行并且被收录版面数量8 b! B5 U/ F7 l6 ]
7 T d5 ]$ e" I' Y/ b2 M6 A# W2 K$ ]% }3 a
来估价该模板版面功德对收录的波及大小。万一被爬的版面都被收录了，那起码解释这套版面的内容搜查引擎还算确认。（切实情形远比这个混杂，而且收录后也有可能因为功德问题被剔除，但总比什么比照都未曾要好，对吧！）
/ E0 p! g n2 Y; Z2 A9 E, u( X T* ?5 z7 y9 a4 f7 `$ s
0 o2 m- c" ^8 L, G* ^
估价：（敏感消息用编号轮换，均为恳挚数据）' O4 k4 A" v) X
( D- R( g* \ `" |. K
% n" T D* h7 l6 O' X z; e
先看一下爬虫日志的情形，穿越Shell脚本，我们能够分析出。
2 O3 ]6 [1 k) {' {2 u: b! v$ K8 a5 o8 b8 ~* i
: A. {! [% D! I/ A
目录总计被爬行的次数为13000次左右4 V4 d( _/ L' X G, q, h, U
/ ?( h- s/ J% r: V9 W8 P2 J9 p
7 }; |" N! B/ g9 K3 t. j- l- \ b不重复的目录爬行次数为5500次左右
5 { I) ]& O+ a# n; w
' b+ \; w4 J9 t+ v, ?* b; M( U8 T y* a0 A& e
频道A下的目录几乎被100%抓取过起码1次，频道B的目录抓取也不错，有70%被起码抓过顺次。) K0 y, [( o% i( ]. x
, d' \6 b4 J& V" q
# I9 D# M7 b5 }其他频道下的目录被抓取的遮蔽率不到30%
+ D4 F* z* P# Z7 v# m# e
: l4 f0 ]' |: H; c. c9 c: f: |: i F2 i
7 h4 e9 T8 }$ X2 B! X3 c6 M
9 M1 K& u! @7 x7 w! v% K2 w" J6 O! }
不要感受这个收获很神奇，其实许多网站都会见对这么的低劣问题，凡是你把数据不时的细分，细分，再细分，总会考察出一些端倪标。
( _% U2 V& j, e$ q& u" ?, ^. a
/ ~, S/ x: o0 n. I9 N
( ^9 T. a, I1 D: t$ E7 u# f关于日志分析，不要迷可信何的日志分析软件，那都是给懒人用的，自制脚本+Excel才是王道，能够拆分揭示出任何你想要的数据，当然，甚至能够连Excel都不要。6 z. t4 ^3 U. W0 X+ y
: O7 U, f5 d. K, ]6 O5 g# d4 U
) @: \* L5 z. L! W
然后，我们普查了一下被抓得最频繁的频道A和频道B，目录页的收录率 `6 P& U3 D/ ?" U4 E( K
. W* q6 [1 N/ o3 ^& _4 B3 B! L U/ z
3 A6 O T! R# [( s* G+ T' V% e( E
0 P- ]- b# Q+ g1 w) _" H
频道A和B是很让人塌心的，解释版面功德没问题，然而余下的收录情形就让人比拟担心了。8 g; c2 z2 g; v% {! G* {
( a# m, U: y/ n. ]" J* ~/ O( Z
7 l% l* S* y8 u" a( o2 Q& J( [ v
决策：穿越上面的数据估价，我们曾经获得了如下结论。3 K' T! D' g. `1 H H7 a9 u
" }3 H# [7 T: C, y" p( K2 ] _: L
9 i0 d5 E% \7 c6 ]( z/ {( \版面功德并不是波及收录的起因。
# i* ]6 K! j1 E2 D' @" S
# F$ O' c% C8 X* t. X8 d1 z( W; J+ o6 O) }2 u
频道A，B的抓取量失常的高，穿越察看打听，本来是首页上的目录页，揭示的全是频道A下的目录页，首页又具有全站最高的权重。频道B具有比其他频道壮大的外链资源，权重也极其高。
6 i' ]; l2 B# q2 j3 i$ L9 o( Q* Z( r0 H, ?5 d$ L# d; T/ \
' t9 e$ \0 c! q1 p5 y除非A, B频道，其他频道的抓取情形不容乐观，抓取入口太少，太深，进而波及了收录情形。
& `6 o* a6 z; |! n$ c' w. I) I( C/ A$ T) _% q) o( }
, @4 t- Y1 i/ }6 u9 q/ d
很显明，目前频道A从站内的角度来说太壮大了，定然举行一些“劫富济贫”的行动来减退频道A的抓取量，迁移到其他频道中去。同时，必需给爬虫供给更多的入口抓取频道页。
4 d( w2 A5 F; g" U6 w, U, E0 J" S" t' E: _, W: s6 o5 ]
" | Z1 ^* R! U' ~( V. a
目前问题变得打听起来，我们开始把工作分成两局部：1.供给更多的入口 2.将资源平分给各频道而不是凑近在半点几个频道上。
1 l* J7 F: z: z4 p- m2 Y5 D4 x u( T2 g; B$ U/ C
3 f+ e$ E! E* @% P$ i, c2 o
供给入口工作：
# Y% k, p, m0 A& e! A; T1 ^! ^# d& W0 y1 M
. n$ e9 z# @0 }8 ?1.把目录页的URL制构成sitemap。提交给搜查引擎，并且将其设置为比拟高的抓取权重。+ Z z, e; H T5 k4 @
4 W7 J! W# _4 O3 H- P- Q3 h. ^1 m; k9 v, r) j- A5 m' @
2.健全面包屑导航，将面包屑导航划分得更加精细，以供给更多入口
) J6 n+ R9 V W* t3 X c- e7 a$ ?9 v" V5 E' l- [- a/ p$ D6 x
$ w8 q+ d/ I" X0 f' j
3.在其他产品中评比目录页
+ q+ H4 R+ A' U4 e R6 p- s$ \/ c, j; G! E7 P0 i- S
3 c3 e' i3 p6 m2 P: z2 Q, Y5 [资源平分工作：（一些观念：任意版面都有可能成为爬虫入口，百度爬虫抓取深度有限，版面相对入口越浅，被抓取的概率越高。）
( f$ `/ n' O0 X) ~& ?3 ]5 ~' o5 L% L
' X* H$ P8 u* K! u
1.本来首页指向的都是频道A的目录页+产品页，将其全副nofollow，确保从首页进去的爬虫，全副抓取到频道页，穿越频道页再进去目录页（其实这个不算太重要）2 S) v; a2 P- S" Y! m8 T) v
2 e% Q" [/ k3 J% o' I) i O; f
' g3 z6 l2 i/ y+ K8 e6 `* i2.本来频道页指向切身的产品页，将其全副nofollow（确保从频道页入口的爬虫，最大程度的抓取目录页）
+ L7 T' K4 K' b5 }' Z, p9 m8 e6 G. [2 O9 f( g
4 }3 f6 x7 [8 b, s6 A2 k
3.从目录页归来到首页的链接，将其全副nofollow。7 R% v" Z3 K0 e: T# L v" \
# I+ W% ]/ P, n ~7 `
) Z X* h+ n. ~3 @3 Z d4.收缩一些版面上无关链接。（什么情形下这么做都是极其管用的。）
* K) m) {( |9 ^% c2 Y/ Q, ?- O0 Y" t1 s# h) }5 Z( [
7 y) c9 _8 Q2 g( P% x
目前能够开始入手了。。) v: @$ |/ `! b+ g- U
, ~" y6 B5 A) {. l
[' L: b' f4 ]/ @0 M5 J/ V收获7 J& a5 c3 ?! U! C3 A9 D% o
0 N8 |( s; D0 F+ U4 ? M* L% a+ b0 }- ^ N/ e
这么做究竟有什么收获呢，我们来看看修正后1个月后的数据。
/ \) x% U+ d1 D" y6 X% n! I
% z2 A$ r7 b) q) a" ?: d+ ~" A% M- u6 e; S
/ h, h# `8 x9 \8 h
! H7 f9 l: T6 U目录页的收录率长进了100%！1 o# N4 n: b6 e* U
* h2 X& s0 @$ V
" j$ n( D) t2 ?/ z% ?% _, _; n6 s产品页的收录率也有定然程度的长进，这是归功于目录页对于产品的良好揭示。9 G$ K: \! ]; b# T
. \; m- u' ?2 K6 O& R
/ r) Z$ K5 \( e% s" {目录页的SEO出现：
5 v5 K0 Y$ y7 w
" a2 N' s( c+ G3 M7 Q3 T' \) {/ P B' f# ?6 W- _) z
SEO流量占比递升了15%5 l) _# d- W ^3 {$ D
4 Y6 e* l* E1 S5 D
: P: b1 c7 m% O6 o. F5 u
增长10%的到访关键词数量（新版面的收录）3 x+ D4 \9 g0 J8 i. {
& m: [6 W- B' V# r9 G+ g+ B' {" e% S
SEO流量增长了50%以上" u: j+ x3 ]. h% u! I# s
|
