搜查引擎做为网站流量的重要起源，网站的收录量慷慨是大局部网站运营人员关怀的问题。
4 _) W2 j: r( B7 @, e: M5 ~
) i, V+ C- h& ^
7 V0 Q9 H2 A0 `% J先确定一些大约点，一个网页被收录与否，有两个因素:6 k; U8 E; s& r& V
3 }; Y$ r. H+ v6 k9 C0 B
7 {/ h+ t: M4 P0 I是否被爬虫爬过' p( t* i; f! Y, C# l
+ j- k, q( T% [
& \9 I; A$ w) ~" S1 ^版面功德是否过关/ |. F, G Y/ n6 Z! R
/ x$ G; s: M7 B, `
2 ~) Q5 r( }5 A6 I
上一篇文章曾经提过了收录率这么一个指标，许多网站都懒得去做这个指标，“我看看site的数据不就行了！”，事实上未曾这个指标，许多工作就无从下手。从数据中找出问题，利用数据点拨处理计划，分析数据检讨工作收获。 最近看了《深入浅出数据分析》这个本，感受不错，把数据分析的措施讲得很生动，提倡有乐趣的从事数据分析的同学能够买本看看。 任何数据分析由，目标->分析->估价->决策，四个环节构成。
/ I: }" o5 C d4 v( w, G
2 E& i) |2 v! f6 U! r% {# `) U0 T1 Y# W6 t
目标：我们想看一下网站的收录情形如何，在SEO方面是否还有长进的时机。) Q; b6 N. j: o% ~$ ]8 c. n: c, x
S( [& \1 g0 c+ M4 F4 k e* q6 B% j
分析：收录情形什么算好什么算坏，是不是用一些指标来权衡？网站的收录情形是不是过度笼统，是不是该当细分下各个版面的收录情形？3 a' T# K+ @$ N+ D
- p6 j4 h6 T+ E3 T. {0 l8 u, t" C7 y" ~7 N7 ^& f/ P0 }/ _
估价：于是我们必需下面一些数据& |$ m5 _; K/ c' k( P+ M
* k0 E9 ?! y# r
: D9 O: E6 ?, \& G> 网站的版面层级联系' F6 o, _5 A, \ I
$ |2 Z2 O* L* z1 {0 F0 \' [, O5 H% [/ D" ^+ ^. m8 w
$ U/ _1 O; k8 z# U9 _, h/ f# |6 r, ^+ h# h
> 各个层级版面带来的SEO流量$ {4 n# n) D/ _/ u9 t2 j* u0 W
; n; C' x* ~# R, ~. V# K) s
/ J" g6 R. ]7 e$ `8 M5 N8 y/ F7 y
> 各个层级版面的收录情形如何
' p2 d) t* n8 g0 s5 ?. U( v
% |& ~; s# C* H" _! v: {- K& l* `4 ^4 }+ H7 h" S8 z
2 N" q* r6 p+ k- X% w' g! B
+ ^+ i5 l* c2 J6 a$ ?! E4 V& ESEO流量的占比能够从Google Analytics中过滤出来。' |1 }* n. {5 @8 ^
" \- N! b( q. o$ b8 w5 ~
' c! r' I( x& _3 {0 v0 E
版面数量能够从数据库获得，可能穿越度车头or自制小脚本抓取普查。. K2 Q# ?# \6 ?1 l
4 V% H3 {1 I- x3 R
, i" ]5 J. N* y% z' r3 c收录率能够将获得的版面穿越工具举行搜查，火车头也能够。
' N3 H6 M5 h. A7 U4 Q5 ]5 l7 X. R# H/ D) R2 |/ K, C* t
2 h6 c. @3 e) d( R
问题立马凸显！3 D( c6 D, O F5 E Y4 n$ T
2 Q2 {' R5 q- E5 V9 N
: W3 G9 |& q2 g9 l6 m1+2级目录页带来了许多的流量，收录率不是很好，优化收录的流量晋级冲缺口在此！3 j1 ` t7 I* X2 H$ e
8 U7 y2 q; D2 Y3 `" s! q; A/ A- W2 e( G+ f0 p
% ]3 t* }" f9 u `3 L! F- I) Z( T) c6 Q! {
产品版面数量许多，收录也不是很志愿，然而带来的流量有限，除非收录问题，还有版面内容的问题，本文中先不管它了。
, T* h$ f: Q7 l7 u8 a: N1 D: @ a& l- U, J# j
) o$ o* N' N; g决策：我们的结论是即刻展开行动对目录版面举行收录的优化。
8 a3 F% v6 z& e c$ X- v0 P$ ^6 ]( M( _* n) G
" F! }& U9 T, y: i3 @
看到这边，好像刚开始的目标：“穿越优化收录晋级流量”
) J. w' F) @; Y! \6 v o; x
1 N% s0 `& i/ d5 x( M+ O. k7 @
3 n( n" T' T5 N1 E演变成了新的目标：“如何长进目录版面的收录量”
& p: ?- T( y4 i( a I0 P
: O' w, B! L1 C+ O e
4 v& n- @* _ e$ \$ W% [这边能不能再次穿越数据分析的措施举行SEO呢？
% }% l/ n; u) {0 M
1 [/ x# Z b; A+ q) }# I& N
4 A: k- m! Y' A) N) t) ]( ^9 V答案是确定的！
: R% F4 [% g" Y" h) x
+ x# a1 u- k8 s! i# L) f$ ?' M( @' t G5 {$ d1 A0 \ x& ]1 N, |
我们再来重新走一遍 目标->分析->估价->决策 的过程( t8 ]- O( W5 P
7 n! W; i2 L5 r g1 P8 ]5 h9 U7 e4 [& K5 |- f; O7 a
目标：长进目录版面的收录量2 r/ M4 c, r+ d# }4 h- m* O
l0 G3 k7 L0 S$ H" `7 I; y. d
% {* t( t2 K+ m) E! l* \分析：穿越本文开始的有关收录的两个因素，我们必需察看一下，网页是否被爬虫爬行过，网页的功德是不是过关。( n! r! y& G+ V+ i
( j4 ~ y1 u+ ^1 E3 R0 c
; ?7 J; u5 g5 w# k3 Q5 ^2 Z$ K6 z& n1. 关于爬虫的情形，我们必需分析日志，能力确定。于是我们从日志中拆分一系列数据看看版面是否真的被爬行过。 r) Z, s$ \) U: W" s* A1 c& m
N. p$ o# b+ R. j, l& w3 R+ k
1 _$ n# H; }) z, D; ]2. 由于版面功德好像是一个很难权衡的值，于是我们能够用雷同模板下的：
( Y. p, V0 G( |. a8 @' o) D# D1 M: h3 m" k. c
5 U: {; {7 i3 [5 o" c" o8 [# h- ]0 `已被爬行的版面数量/已被爬行并且被收录版面数量: d; Q' k8 F6 u
" M' K9 H# f9 Y, h- O$ [2 M
4 V) K9 x- |' N9 E1 ]+ T来估价该模板版面功德对收录的波及大小。万一被爬的版面都被收录了，那起码解释这套版面的内容搜查引擎还算确认。（切实情形远比这个混杂，而且收录后也有可能因为功德问题被剔除，但总比什么比照都未曾要好，对吧！）
* l' `. H/ c/ M. R$ G: E! ~$ `8 J% V# Q7 M
3 a. Q" _* w) l, Q% z" I2 k
估价：（敏感消息用编号轮换，均为恳挚数据）
" J1 m; E( V8 Y- b" m" Y! Q+ Z/ B' p5 M8 H7 n/ E2 g1 i! d
: S) v A4 K1 @4 M% O' x" f c
先看一下爬虫日志的情形，穿越Shell脚本，我们能够分析出。. M3 ^ K# |) G, o/ ~5 r* P% H1 u
% W/ T+ g% t- I" l9 A) k: d+ L2 U, j! y; ^. [
目录总计被爬行的次数为13000次左右
$ t2 j" W& A" \
" q3 ^9 b9 G- {. q6 F
; \; i; G+ N$ M. w* x/ |; j* X不重复的目录爬行次数为5500次左右
( z, b% a4 L& N6 t% P$ s' y. M5 b5 k# c/ I+ o
2 C9 r6 ?+ T3 w: P8 F频道A下的目录几乎被100%抓取过起码1次，频道B的目录抓取也不错，有70%被起码抓过顺次。
7 f2 L! r# O' Z" s; g G0 i4 u& a) h0 K: j, n7 t& ]0 G; H z
. C# ^4 ` S5 |" j8 f; z+ Z+ `其他频道下的目录被抓取的遮蔽率不到30%
" Q& |- w q1 b2 q8 P7 k0 q) ?( ^+ B- \8 S( G+ K* @- g8 ?4 C
, R* O" L3 N. S7 ?2 P0 D$ c! A1 D- q( J
$ N! z3 X9 c% m( o; y
不要感受这个收获很神奇，其实许多网站都会见对这么的低劣问题，凡是你把数据不时的细分，细分，再细分，总会考察出一些端倪标。% o- x* a' `% t6 J3 O/ _! d" h
7 n0 m$ M; V( c! s* e& R
, b- I8 `' _) O关于日志分析，不要迷可信何的日志分析软件，那都是给懒人用的，自制脚本+Excel才是王道，能够拆分揭示出任何你想要的数据，当然，甚至能够连Excel都不要。% P, ]( E+ R8 g Y2 a5 K) G
1 Z4 F8 R7 J/ e: `& R9 Q0 E) H, Y/ B2 x4 K3 P
然后，我们普查了一下被抓得最频繁的频道A和频道B，目录页的收录率9 b5 l& t0 y9 J" `( J3 E
! W1 G' }& I# w w* `
7 E- U8 q1 F6 J1 `" u) [
% D/ z# z$ s+ w2 n) x) ]6 _6 g
3 P$ l2 G/ `4 G频道A和B是很让人塌心的，解释版面功德没问题，然而余下的收录情形就让人比拟担心了。
+ N; p T; [1 n6 y" ]3 @. z
3 i C2 H1 g, Q+ y3 E0 N% {- J& l- Q% @ G
决策：穿越上面的数据估价，我们曾经获得了如下结论。
/ J1 z# p3 p* ^) ]+ t. i( X% b2 ^' z; @7 S4 c8 L
6 t1 Z* N1 F H3 @$ y# B+ J版面功德并不是波及收录的起因。
) Y& g. X4 z- P4 N
( ~+ [+ q* m: p4 K& h1 P6 V, Y6 m# ?9 R5 h/ ^1 W9 W( ]
频道A，B的抓取量失常的高，穿越察看打听，本来是首页上的目录页，揭示的全是频道A下的目录页，首页又具有全站最高的权重。频道B具有比其他频道壮大的外链资源，权重也极其高。5 S2 P" v7 h+ e9 ]
/ t) F; |/ C" @$ ~' U% M! ]) x, X- k( S+ f& C" H1 ?) [6 `6 F) z
除非A, B频道，其他频道的抓取情形不容乐观，抓取入口太少，太深，进而波及了收录情形。& W w7 W: |5 a$ {/ F. b
6 W+ I8 M, n. h# g; x% i5 _8 A I
很显明，目前频道A从站内的角度来说太壮大了，定然举行一些“劫富济贫”的行动来减退频道A的抓取量，迁移到其他频道中去。同时，必需给爬虫供给更多的入口抓取频道页。. p$ ?3 j+ W) ]1 |! i
) n! s. F! {* y3 Q) P6 u
7 Y4 n( b0 _% T. [! u* d% J$ |目前问题变得打听起来，我们开始把工作分成两局部：1.供给更多的入口 2.将资源平分给各频道而不是凑近在半点几个频道上。3 z* o: z; ~9 Y5 Q
4 h3 w) u( E6 B# ^
$ D7 P) m+ q# l/ f1 p" y供给入口工作：
6 X5 j$ v" D/ }- c9 ]# L
1 g2 {; K) O% A7 T* _
; @* ~$ b/ o7 z a( t: c) ~, f1.把目录页的URL制构成sitemap。提交给搜查引擎，并且将其设置为比拟高的抓取权重。: P `; `+ z& s1 {
. x/ N6 o, |9 O) g8 V# m/ @0 \
2 t$ n4 D7 T; @* V8 @# N0 s2.健全面包屑导航，将面包屑导航划分得更加精细，以供给更多入口 [. @9 ]6 B7 D+ N
0 Z1 q- [8 `. w) f7 O1 N$ f5 K5 L X
3.在其他产品中评比目录页
2 ^ K. |" ]3 _ J. ~4 y0 H! P( ^3 ~$ c4 ^7 ^, k& w% F6 I
# O$ W) Q) j" U/ A6 J& c资源平分工作：（一些观念：任意版面都有可能成为爬虫入口，百度爬虫抓取深度有限，版面相对入口越浅，被抓取的概率越高。）) t& f Z3 \5 E
+ H# k3 x9 }* v6 C( Y
$ D( E8 u8 K8 l1.本来首页指向的都是频道A的目录页+产品页，将其全副nofollow，确保从首页进去的爬虫，全副抓取到频道页，穿越频道页再进去目录页（其实这个不算太重要）
; }- N9 y3 W0 W" u" Q9 N$ O# m( u: h0 j- u
$ r# Z. I% _( d3 [2.本来频道页指向切身的产品页，将其全副nofollow（确保从频道页入口的爬虫，最大程度的抓取目录页）+ x0 H" @5 B1 K( b/ r$ y1 j% J1 x
( @0 U9 \* {. F3 H: ^
8 c% g' L. w* o T# |- [& Q3.从目录页归来到首页的链接，将其全副nofollow。
" D5 \1 g+ f# b9 m
' ]+ {' R% F# ^+ }( s' Q2 Q9 b* M. @) _
4.收缩一些版面上无关链接。（什么情形下这么做都是极其管用的。）( ~# |# M5 l/ I6 e" h% C* ?) p+ m. ]
N' R+ @0 ^ \0 w: Q0 t3 D
' B+ T9 f0 f5 [目前能够开始入手了。。
) X$ Z. W. I8 G: h+ w1 w8 I! h/ Y5 a1 X D! D( `
, e0 J U7 b2 D0 k
收获
4 E( l! o' q- U% R1 q& a' N1 m1 ]! G5 x+ K" s
; H3 M. M+ [3 t ]+ v- ?4 G这么做究竟有什么收获呢，我们来看看修正后1个月后的数据。
' y- b" b7 n- x) `- {$ J( `- \! U0 H# \5 s. w
1 s0 W/ ]5 w& C. V9 v
% j- b {+ I- T: q
! O- Q F+ M( j) D5 V# Q1 E目录页的收录率长进了100%！9 v4 o# k. Q/ A2 ^6 |- y
$ i8 y2 z! N9 v7 V
* A, `, T; Z, p* i
产品页的收录率也有定然程度的长进，这是归功于目录页对于产品的良好揭示。
9 T' q' Z, @" h |+ g$ o ~/ I8 w$ E; R
+ X0 p* a0 W l' I4 s; ]7 d& i
目录页的SEO出现：/ j( N6 F( I. M- c; F4 m
2 k6 f- C% o0 p- p+ j' n! k
3 B$ r3 m, w" F; ASEO流量占比递升了15%
2 F. Y! m! V; j" a5 u2 \
; `, U, x7 J, j- p, }3 g' J7 s9 b
7 m0 | ~ ]/ ~) O" \4 _增长10%的到访关键词数量（新版面的收录）4 l$ N H+ s0 Y' j: i, E) V
4 A$ n1 [2 B$ u$ ]6 {# |- s
2 g2 X# s( h" {- U3 e* O2 f4 iSEO流量增长了50%以上3 Z6 \/ A% \4 }
|
