搜查引擎做为网站流量的重要起源，网站的收录量慷慨是大局部网站运营人员关怀的问题。7 z" G* [2 ~- k& C; q; {
% Q; O' A' k3 C' C; p q
( F, d% W; O& \ _0 Q先确定一些大约点，一个网页被收录与否，有两个因素:
4 p: d, T8 A& W2 B. \8 F: P; t% ~+ @+ Z; g6 n" k
7 z" f* E2 ?1 `+ B" ?
是否被爬虫爬过0 m4 `2 q+ \; Q3 x, j2 C
& E* z0 `! T+ D' @+ U) J0 E
' @2 p* q( @9 F9 W; C2 Z
版面功德是否过关7 R) X. E( b" m& z% o
6 c* u9 e+ h& f% j% t+ ]3 |; E" h* j9 }
) y- l: {& T" U/ r8 w
上一篇文章曾经提过了收录率这么一个指标，许多网站都懒得去做这个指标，“我看看site的数据不就行了！”，事实上未曾这个指标，许多工作就无从下手。从数据中找出问题，利用数据点拨处理计划，分析数据检讨工作收获。 最近看了《深入浅出数据分析》这个本，感受不错，把数据分析的措施讲得很生动，提倡有乐趣的从事数据分析的同学能够买本看看。 任何数据分析由，目标->分析->估价->决策，四个环节构成。3 Q3 R" {# x; m. t8 x8 H
) {' l$ N% O! w2 o+ B4 C
+ J, N {( d2 b& T2 l2 X, p
目标：我们想看一下网站的收录情形如何，在SEO方面是否还有长进的时机。
7 H) r# ~/ o1 H! q3 V1 c+ n$ e* M |3 C' h
0 q. i4 t; n# i
分析：收录情形什么算好什么算坏，是不是用一些指标来权衡？网站的收录情形是不是过度笼统，是不是该当细分下各个版面的收录情形？
' c. e6 o; I {! E& v% X" P3 @/ g% {9 O+ h
5 d- Q! O( J5 T2 z l# I$ l/ U( Z估价：于是我们必需下面一些数据" h" p f5 q% Q( \
% v) z6 E: v8 m' e G7 I. M6 A# {! I, D' H3 U+ U6 ~0 T
> 网站的版面层级联系
" [, ^# `; c) A7 e o/ @& _) Q+ Z8 v
0 K0 ?! f! l& s; W. _
: t+ w0 J/ t: ?! t6 G8 c
/ n# s6 V) }6 k0 }> 各个层级版面带来的SEO流量
+ ]) ?% {1 y0 s4 j, n- j
]& v3 d A7 `2 r' }- t* i/ W8 @5 @: m0 S4 f$ ]3 f8 Y
> 各个层级版面的收录情形如何* O, b8 O# h, u& v: h! k
/ q9 f! l7 q$ O6 i
0 W7 Y7 o% x) v6 q; {. T1 S( t! ?! Y4 \
' I* w5 n& }4 J- R% F
SEO流量的占比能够从Google Analytics中过滤出来。
0 t/ R/ N3 U6 R1 ]) @" P
6 w+ e( I1 q5 \- E% h
8 I7 }" C, [! x: a8 u版面数量能够从数据库获得，可能穿越度车头or自制小脚本抓取普查。
1 |, P+ {0 H i6 E N' L! z
2 d8 Y3 a; z' t: G3 S$ e. g( L( K: _; O/ Y$ x/ f0 h
收录率能够将获得的版面穿越工具举行搜查，火车头也能够。2 ?9 l! S- a: P$ ^" _/ i! ]8 x
( j+ n' J4 Z! C; q0 K4 O5 [
- z$ n0 _2 y1 {9 l- s
问题立马凸显！
$ f7 A! c1 k4 I0 |
% j" C3 D. A: e& H) N" x; B
( E& K' Z! d% t1+2级目录页带来了许多的流量，收录率不是很好，优化收录的流量晋级冲缺口在此！# \* K0 E2 h2 p: Z' P
& x, O- O5 S% N2 X
! j0 y5 B. E3 \: j Y+ ]1 H9 N' p" C5 g9 i' w
' }6 x$ F- x. w+ {& ^
产品版面数量许多，收录也不是很志愿，然而带来的流量有限，除非收录问题，还有版面内容的问题，本文中先不管它了。$ J* l' j) P" c6 ?5 g& A1 }( ]* _
) G& P& p3 Y/ m- ~) \: o
4 m. C5 N7 B. f0 J5 K5 `5 E, N
决策：我们的结论是即刻展开行动对目录版面举行收录的优化。8 B0 ]! X) x3 ^% |" @0 o( d
1 n: }8 S" Z+ t5 ^% H2 l( F% \0 o
( w* H1 Z0 N9 p6 W$ S( \ e" P
看到这边，好像刚开始的目标：“穿越优化收录晋级流量”
( r+ t/ z- U) V
" Q3 j8 P1 w( b; v8 N# C. A1 V4 I+ }& ]9 L2 M
演变成了新的目标：“如何长进目录版面的收录量”9 u+ u- I- k+ r
7 m& O3 z! A( S2 b2 a6 n2 k8 E5 q
) ~1 p8 C. [% d/ i
这边能不能再次穿越数据分析的措施举行SEO呢？
% t. h ~' y9 ?6 Q( L4 U, s, r6 q6 Y3 ~
% ~- p% E; U( k# c, M4 x
答案是确定的！% w4 Q n! @5 N/ G3 h/ o* K# o
* X4 @0 ]2 m' c, L
$ w, T g5 n* {5 i# Z4 [
我们再来重新走一遍 目标->分析->估价->决策 的过程- `4 u& u5 A. s0 y F( K
6 V2 Q- J, F1 Z: F& f
, O; d# Q" t8 w. P8 h" D目标：长进目录版面的收录量
+ B, l1 s% U1 R0 ~
; k t( W# U Y9 @8 t, x! h6 x' H5 W- V8 J; N$ i$ H: b) O
分析：穿越本文开始的有关收录的两个因素，我们必需察看一下，网页是否被爬虫爬行过，网页的功德是不是过关。" Z- U* g4 p; B; _; D3 X
) h- j: b/ m2 V5 d3 l7 U8 i0 c' B
v) E" [( \* A [7 R8 n1. 关于爬虫的情形，我们必需分析日志，能力确定。于是我们从日志中拆分一系列数据看看版面是否真的被爬行过。$ U1 E" Q8 h% d6 w6 S" l
# J+ _- P! b3 g- Z
) Y5 W( g3 ?2 U7 o8 J1 t2. 由于版面功德好像是一个很难权衡的值，于是我们能够用雷同模板下的：! E- l% f; ]0 q8 {# t& E
( @; k; |$ t( C
3 w' K1 \" q8 u- M6 o& J c1 \已被爬行的版面数量/已被爬行并且被收录版面数量9 t. t- l* M/ r: Z: Z
3 `' F3 A6 x7 ?) L6 X
+ S+ P( P; d. O* E& X3 x! r) H6 }来估价该模板版面功德对收录的波及大小。万一被爬的版面都被收录了，那起码解释这套版面的内容搜查引擎还算确认。（切实情形远比这个混杂，而且收录后也有可能因为功德问题被剔除，但总比什么比照都未曾要好，对吧！）) w5 L, Y" K" k3 }3 ~6 [/ s
4 }! ^6 D7 y7 h4 N8 A9 _2 _& A
$ t. Y9 p; ?8 n& z! b; q! O1 [估价：（敏感消息用编号轮换，均为恳挚数据）
; ~. Z! s. F9 h" e+ n3 k5 [/ Q6 N5 l
* A( @* g& n$ E0 i1 e8 x
先看一下爬虫日志的情形，穿越Shell脚本，我们能够分析出。3 i9 R. _$ m* i" b' Y8 _
: o, e) ]' V8 U9 Y4 G; p* e1 j, L( o, u1 r4 R. u* n, ^9 |& O
目录总计被爬行的次数为13000次左右$ \$ Z# E8 Q# S% m( k: @+ n) M6 H
0 b- r. J8 w# N
" m; e) N( ~0 u- k3 W; @
不重复的目录爬行次数为5500次左右( x" l) ~1 a T. }9 y, M
9 O8 P0 i0 C1 N7 C, I% W
+ V5 p6 Z' W' G频道A下的目录几乎被100%抓取过起码1次，频道B的目录抓取也不错，有70%被起码抓过顺次。3 X; N' S- @3 T: }9 r
0 R% K5 q. k, ^7 U2 V0 w. y' Y2 r& [2 L
其他频道下的目录被抓取的遮蔽率不到30%+ n$ V0 Z+ J1 _3 F) e8 l
7 ^( y0 Q* k# T" _4 q/ ?7 A0 f" r- Z- L2 s4 V, @! [; P- }
& `' a# r1 ]) b, H+ r" U: g- f* D
; O1 [& c! r* F8 q5 \% G! C( m9 m不要感受这个收获很神奇，其实许多网站都会见对这么的低劣问题，凡是你把数据不时的细分，细分，再细分，总会考察出一些端倪标。" _% @' G* \/ J. V% ^
( S6 j! |- O. X8 J! e+ L
3 b9 O* ?2 I6 I$ j/ `关于日志分析，不要迷可信何的日志分析软件，那都是给懒人用的，自制脚本+Excel才是王道，能够拆分揭示出任何你想要的数据，当然，甚至能够连Excel都不要。
, k; Z8 L( [& @( \2 S' P% B5 ^5 \, P; X; t7 K$ z$ b
% h9 T1 m, u$ d/ l7 u然后，我们普查了一下被抓得最频繁的频道A和频道B，目录页的收录率
+ m- l* I0 \/ O" F+ w8 o
" g' {: Z, H4 E$ M* l) l
5 k, H5 ~% n8 d% K, S: [' q' w* k: a) S4 F( U8 W
- c0 Y( F5 u$ o
频道A和B是很让人塌心的，解释版面功德没问题，然而余下的收录情形就让人比拟担心了。
0 m& W2 c h+ P; W2 Q! d& s7 f
- H4 u* O. l& u1 i
% y' D3 M' }1 l) Z' c$ H决策：穿越上面的数据估价，我们曾经获得了如下结论。
* V; b8 \6 H, R+ y, ?# ~7 S/ Q( x% c
; U, P) H5 I# |3 s, L
版面功德并不是波及收录的起因。
1 d) \" G5 P7 {# g j
9 X" x8 V: {, }1 c0 z
* S1 S0 }" u Y. ^1 Z; `! b频道A，B的抓取量失常的高，穿越察看打听，本来是首页上的目录页，揭示的全是频道A下的目录页，首页又具有全站最高的权重。频道B具有比其他频道壮大的外链资源，权重也极其高。
% y4 x0 J, E4 K. G! W3 O7 S% ~5 I, p7 R, n. O3 B
" h) |) c% w6 K: w除非A, B频道，其他频道的抓取情形不容乐观，抓取入口太少，太深，进而波及了收录情形。5 H& u+ C8 o! `# K! J: d
; D" |' ?3 g6 O7 o5 n F: }, Q- f& E) q/ k- T( l; ]) F
很显明，目前频道A从站内的角度来说太壮大了，定然举行一些“劫富济贫”的行动来减退频道A的抓取量，迁移到其他频道中去。同时，必需给爬虫供给更多的入口抓取频道页。+ Y8 K: z. q6 j0 C Y: s
( n5 x" c& A3 E5 T( F( e: |
8 D/ ?4 y" a4 P& n N: C目前问题变得打听起来，我们开始把工作分成两局部：1.供给更多的入口 2.将资源平分给各频道而不是凑近在半点几个频道上。! u& d4 g3 P" N) p; C& P( ^7 O- h0 s5 S
& ~9 B [# `, y( [' r9 ?
3 b& |" g( _3 [) T& h
供给入口工作：
, ~5 e8 p8 j" J3 V0 O. m/ H) D% b5 ~4 \# |# {, T9 Y1 F9 q
% Q% c' f/ f: Y1 i/ m( Z3 d! ~
1.把目录页的URL制构成sitemap。提交给搜查引擎，并且将其设置为比拟高的抓取权重。+ c1 d2 U3 C; w) w+ [! P/ w
, [ x7 a* x, y+ J0 O5 s+ b
+ g" x2 K. w, E1 x# b. T. i
2.健全面包屑导航，将面包屑导航划分得更加精细，以供给更多入口! k4 d9 x+ Y' }3 _
7 d# q2 w4 u0 R( k, V) U+ }
) M4 E. G) A4 M5 y0 C: K7 G3.在其他产品中评比目录页% o! X! j c, s! b; T u( w1 L
2 B' J8 u1 M" V g" ?# ?! J( }
# E; [0 z. x1 g' K+ P资源平分工作：（一些观念：任意版面都有可能成为爬虫入口，百度爬虫抓取深度有限，版面相对入口越浅，被抓取的概率越高。）3 ^9 U7 X% P l) g
: G! d$ \1 O. c: f
7 J- a9 w$ K* O N) T1.本来首页指向的都是频道A的目录页+产品页，将其全副nofollow，确保从首页进去的爬虫，全副抓取到频道页，穿越频道页再进去目录页（其实这个不算太重要）
/ J; V) Y% n5 _& E; D
" X4 z* I$ f2 i8 s
; a2 t" Q! @/ j2 Y2.本来频道页指向切身的产品页，将其全副nofollow（确保从频道页入口的爬虫，最大程度的抓取目录页）
0 i% i* g2 o' Y6 F- F8 {& s, y/ I7 s J7 |
' Y0 @& P) a9 i) ?. ?
3.从目录页归来到首页的链接，将其全副nofollow。
7 @# F# Z8 n! W# f! _1 v% Z/ ^" F* z! j7 B
& d6 s8 O( S( r7 t' F3 I; x4.收缩一些版面上无关链接。（什么情形下这么做都是极其管用的。）0 i/ v# n" d Q% a1 h# u* Q+ W5 J
) m3 c6 M, C5 M0 I
5 T7 \( ^# v/ Y+ y4 o/ _& n E目前能够开始入手了。。) s- ?( X2 ?$ P; O- F
: P) _( x2 F" E
/ `7 a' c W0 r# |收获
6 a! }4 V$ j5 N' C
9 o3 P6 M5 ^+ o$ I
8 G$ _! V ?8 U/ t+ D这么做究竟有什么收获呢，我们来看看修正后1个月后的数据。, \2 \, P3 n1 p1 J) \) R! O5 t
. x2 ~9 g j0 U$ {; H3 Z7 Q3 T# ~) e, p- D
6 h- A! P- S0 ]! p4 m5 D1 `& N k. d
5 K* |5 q1 P, x1 q# ?
目录页的收录率长进了100%！
& U1 Y5 ~: J5 j% a8 U5 `! d% B
) e: x* y9 R/ X0 S" @* c; o- O9 \! s+ E' q3 U7 n( f' T3 e
产品页的收录率也有定然程度的长进，这是归功于目录页对于产品的良好揭示。
6 n& r) m; |& e. Y9 V' }
! `. x: q/ g! z2 U- }1 |7 ]: N( S" o
目录页的SEO出现：+ C6 \2 B: C* t" o
6 H- U5 ?; r& u4 Y {3 k4 ^+ S
- v# @: c3 j. I$ v, Q1 XSEO流量占比递升了15%
& d, ^/ W3 U* R2 \ c; R2 V1 f4 h! w* U8 R
' o! r5 ?2 F! W6 n增长10%的到访关键词数量（新版面的收录）
4 E4 R5 g2 f) t, \: k. j" i
5 b. z0 }6 U$ y5 ~% \0 g3 |
* y2 X2 o( c" F5 S JSEO流量增长了50%以上
# F( P9 C6 q/ z6 f |
