搜查引擎做为网站流量的重要起源，网站的收录量慷慨是大局部网站运营人员关怀的问题。+ L: p/ X a1 E0 [" W
( b9 Q& C/ Z% G% X! k4 @+ T, J
; O6 ]4 [/ a/ v: ~
先确定一些大约点，一个网页被收录与否，有两个因素:2 O/ r- g {- E3 t% i- T
1 y9 W x6 t9 [$ u3 T4 T5 t* i' C
, y3 }, @" G, J1 Y
是否被爬虫爬过6 s! |* r" O' P3 A) h9 }1 r4 @; w
2 s: n5 }% c* M: ^- b! P L, i: p' ~. G6 e' ~2 N; V
版面功德是否过关
8 M9 M2 b- R+ M b+ n# P
8 |! u' Q" y- Q: I5 R7 u, N$ ?5 E& ^! [: b. _& L
上一篇文章曾经提过了收录率这么一个指标，许多网站都懒得去做这个指标，“我看看site的数据不就行了！”，事实上未曾这个指标，许多工作就无从下手。从数据中找出问题，利用数据点拨处理计划，分析数据检讨工作收获。 最近看了《深入浅出数据分析》这个本，感受不错，把数据分析的措施讲得很生动，提倡有乐趣的从事数据分析的同学能够买本看看。 任何数据分析由，目标->分析->估价->决策，四个环节构成。/ z9 n! H! f: ] q% h; [. o; E
; B. E7 }* u6 L: C1 i# U( q
! C/ N0 B4 W+ I; X. J/ R# A目标：我们想看一下网站的收录情形如何，在SEO方面是否还有长进的时机。, }7 A% Y+ T# P& }+ h4 k* o
, T5 V* c% Z+ s# h
" X" `' `8 E5 s! T: t8 C% j( W
分析：收录情形什么算好什么算坏，是不是用一些指标来权衡？网站的收录情形是不是过度笼统，是不是该当细分下各个版面的收录情形？ Z$ M' G! n6 r8 S( |, c
: d, Y" y2 b9 t+ j4 p2 I
0 \1 ]; g& |7 y7 r: E' \: f估价：于是我们必需下面一些数据
. H, g) p, T ?" D
( X, A5 S u5 \7 I, X
; h: I% W8 l' @% C5 {2 x> 网站的版面层级联系" t1 h( M" U! P/ g2 y
v1 z/ r0 N$ ?* d
; ]- m* g2 q" N0 d& I' ]
# |" U/ Z# N' W5 M( l4 [6 [
( @4 m% @$ @( S1 c" W> 各个层级版面带来的SEO流量
% i2 g4 O! ]2 L- m' A; ?, H+ b0 a0 h4 i9 N. L
$ u7 w+ q3 E( J; B, S# \> 各个层级版面的收录情形如何
- K3 _0 u( [6 h; q! {2 C7 I4 S! k' l: M7 V# O
* h" i, i+ S* L! l9 V l
, {/ {" e A* L0 o9 W; k- X7 o0 J, V/ u/ p0 X; D$ D
SEO流量的占比能够从Google Analytics中过滤出来。
- K. f# l! K0 I2 M
0 s( |3 P& u8 t+ D
3 Y0 }+ q# [, f% {. j1 ]9 V8 T5 l版面数量能够从数据库获得，可能穿越度车头or自制小脚本抓取普查。
: t4 R+ j1 {5 L, h9 O) C+ R- i' Y, d( C% o
& e% \5 d5 _7 d& ?/ J# R
收录率能够将获得的版面穿越工具举行搜查，火车头也能够。
3 T5 Z/ T! o+ l( s9 B$ [. w% p0 f
) n' x) j2 T" r/ z) S7 u
0 c% j* [% b1 B" u) D! e问题立马凸显！" m0 [+ K) [; ^% y* m- Z
5 p) t' [3 a5 h7 x! r: w& n8 P, f5 q
1+2级目录页带来了许多的流量，收录率不是很好，优化收录的流量晋级冲缺口在此！7 o) R3 v) O. u3 V1 e% \
" m3 x. n+ _; W1 ^. `3 f5 ?/ Z7 m$ ]$ Q$ f# o+ u0 [/ E% r7 h0 k$ c
4 c6 F) u. [# D! z: V2 g
& _( ~6 e, }( p) {产品版面数量许多，收录也不是很志愿，然而带来的流量有限，除非收录问题，还有版面内容的问题，本文中先不管它了。
& Z. `$ F7 ?& f. ?8 J% ^0 y B/ t7 H; \8 [+ B3 k, I, ?
, N6 `: Y1 q$ V- J5 a; `
决策：我们的结论是即刻展开行动对目录版面举行收录的优化。7 A3 N+ l- k6 P7 z7 o
1 E8 x6 Z+ v$ X( w9 b8 f- N s- ]6 `" R1 s' ?: _
看到这边，好像刚开始的目标：“穿越优化收录晋级流量”
9 r; C# l1 p9 L; x+ F; {) b2 t8 |' V. a+ `
7 G$ m/ D, W+ C) p: r演变成了新的目标：“如何长进目录版面的收录量”, @4 P/ y. k: h
% ^3 Z s: b- N2 \0 X6 u
& Z0 {! L, A1 @7 I这边能不能再次穿越数据分析的措施举行SEO呢？+ {) @8 W: l5 O! Z& V
, Z4 G& ?) P2 U, o3 x N3 Q( l8 t& \! p! a+ D4 \: ^3 X1 X4 q: ]1 U
答案是确定的！4 `. A @* y; ]; R) q( u
+ S, r+ F: F8 I; J1 W4 ^2 U( |' q' P0 }/ X; t. \0 a
我们再来重新走一遍 目标->分析->估价->决策 的过程
# \1 u) u" _' S1 e+ V' y# _& t9 O
; t4 x, F7 J1 y3 p( t# Q$ `$ V. {: w! l0 M2 @
目标：长进目录版面的收录量
+ k, ~6 v% N/ j- J8 ?
; P# l$ S. v+ |, p$ H' I5 i; w) h. X! j' M* k6 N& C! `$ n
分析：穿越本文开始的有关收录的两个因素，我们必需察看一下，网页是否被爬虫爬行过，网页的功德是不是过关。* j6 _( V- r7 s$ }9 _5 E
/ {) @0 p' _ v# n' M6 z7 _5 i
9 t/ c6 H( v% R1. 关于爬虫的情形，我们必需分析日志，能力确定。于是我们从日志中拆分一系列数据看看版面是否真的被爬行过。' e& p; F m0 c' ]) d9 `* J6 @
8 e: n4 K( _; {$ ]- f# `3 [
2 \/ B9 h1 d: ^! a2 J2. 由于版面功德好像是一个很难权衡的值，于是我们能够用雷同模板下的：
4 L% [" U& L/ {: z" B3 [' Q( h' K2 a$ }) F# A, h
: G, r4 f4 H. g9 q* ?& B) z
已被爬行的版面数量/已被爬行并且被收录版面数量
C+ ^1 G( D* p, K" U% W
. a/ [3 @1 d: T4 i- n, w `& | y9 o- J/ e; z" T% z
来估价该模板版面功德对收录的波及大小。万一被爬的版面都被收录了，那起码解释这套版面的内容搜查引擎还算确认。（切实情形远比这个混杂，而且收录后也有可能因为功德问题被剔除，但总比什么比照都未曾要好，对吧！）
) ?) t+ K7 X6 C# e
% R) [% N4 h+ j G& A9 x3 T( C3 t1 O2 m, ~$ I0 a6 A6 h
估价：（敏感消息用编号轮换，均为恳挚数据）" K6 _7 w% ?- K" @6 {% I& N
: s: U& Q5 B5 b
, L! N' p/ ]. d& s先看一下爬虫日志的情形，穿越Shell脚本，我们能够分析出。
; A1 C9 O. ? @. Z) a8 {2 }8 W- a$ q+ n* k8 W) X8 d0 v. d+ B
6 t) s2 A: ~) L. Y4 R
目录总计被爬行的次数为13000次左右
! M0 ]) U: U/ K( O; [" Y# L0 p- p- |3 I! I9 ?" U% C+ V
1 g# R6 I8 ~4 X' y6 F* _+ {不重复的目录爬行次数为5500次左右
* a% @4 w5 h: h1 ]) J! z9 y2 Z6 f: e
# |9 P" P! m% z4 L( \0 D3 ? c1 s% W! V, D
频道A下的目录几乎被100%抓取过起码1次，频道B的目录抓取也不错，有70%被起码抓过顺次。
$ k- }- M; x! m: F% M
3 r& [, u" O' q1 L9 U( S3 \! b
! E. } ~/ o: x8 x D其他频道下的目录被抓取的遮蔽率不到30%
0 P& g, F B& v0 y5 L
$ ^* _5 i" j) r% e5 C$ o/ D1 S
9 C& j' F7 s3 V. F5 O1 P r
3 G. S2 Q4 N7 b" K
不要感受这个收获很神奇，其实许多网站都会见对这么的低劣问题，凡是你把数据不时的细分，细分，再细分，总会考察出一些端倪标。
; u) `* z" ^( q: x$ ~$ S, t
1 r" r: ]( K# g b$ Y( u3 s- H/ K2 J" j& k# A( E# r1 R
关于日志分析，不要迷可信何的日志分析软件，那都是给懒人用的，自制脚本+Excel才是王道，能够拆分揭示出任何你想要的数据，当然，甚至能够连Excel都不要。& L# ?( w, L! y1 f
! ^ ]2 K" h5 _1 s9 {( n% Y
& |! v: P& |7 D
然后，我们普查了一下被抓得最频繁的频道A和频道B，目录页的收录率, b; ]6 q7 R8 T2 J& R% I, F4 I* ~. p
$ ^7 v0 e7 w3 l& t; W. Z+ y( W( A9 v: W+ X& s& f
6 M3 s. q9 ?$ L& l
b1 w$ e) f# _" F. ?, G, D
频道A和B是很让人塌心的，解释版面功德没问题，然而余下的收录情形就让人比拟担心了。
) a$ j7 k' E* Q
! }# Y" `. f7 w M2 r; n: S+ g! O, q8 ?" N- _
决策：穿越上面的数据估价，我们曾经获得了如下结论。4 C5 j" s( h5 ]+ p5 J1 R
- T7 k" l2 F$ _1 K$ a0 ^' {, w' F" \4 c% x. g$ X/ d+ U
版面功德并不是波及收录的起因。" O: y4 h t" E( t6 O! B
* i9 o- q2 X" G( o( ?! ?9 p* V# ]. c" x+ ^) i
频道A，B的抓取量失常的高，穿越察看打听，本来是首页上的目录页，揭示的全是频道A下的目录页，首页又具有全站最高的权重。频道B具有比其他频道壮大的外链资源，权重也极其高。
2 j! i3 }* Q1 ~. Y: k9 Z4 P x7 g7 E- Y' J3 b* b
# q3 z& y y& \% E; y除非A, B频道，其他频道的抓取情形不容乐观，抓取入口太少，太深，进而波及了收录情形。) }' Z6 D" j! k8 H
% R8 m% r: u7 U) i [1 ?' p! m# q9 A3 Z8 p' P6 Y3 V r p$ f
很显明，目前频道A从站内的角度来说太壮大了，定然举行一些“劫富济贫”的行动来减退频道A的抓取量，迁移到其他频道中去。同时，必需给爬虫供给更多的入口抓取频道页。, D3 Y3 A$ b" J
, a8 {+ U7 `. F, |
4 Y3 D0 A: N0 Y9 h) e' Q目前问题变得打听起来，我们开始把工作分成两局部：1.供给更多的入口 2.将资源平分给各频道而不是凑近在半点几个频道上。
, m/ j" t( L/ `- }4 l0 f6 s& W' _/ n" g- e- R, r
6 h2 e( |5 W) h* u. ]2 _4 T$ W
供给入口工作：2 q/ l. P7 w5 O& J# i* N
, b. B) V$ M& W6 K* [
( i: H9 _- @3 R: A, u: o7 [4 ?5 J1.把目录页的URL制构成sitemap。提交给搜查引擎，并且将其设置为比拟高的抓取权重。
; q: R( F. }4 L* L1 _# f/ y. l: J+ \$ [9 c. ]: G
7 Z9 e8 G# O2 C/ M" t6 Y2.健全面包屑导航，将面包屑导航划分得更加精细，以供给更多入口, }/ O6 G% |8 g* V* @! j) y
1 {4 y7 L8 H9 T
& j& [# B1 @2 J+ y/ X3.在其他产品中评比目录页
4 O- R3 [) q# @/ R, f- ], |; K7 \7 \1 ?2 @) E" H0 X
3 e' c% @8 O( K6 O. D- }, s资源平分工作：（一些观念：任意版面都有可能成为爬虫入口，百度爬虫抓取深度有限，版面相对入口越浅，被抓取的概率越高。）, x5 A! s' H& o7 p
1 {, T9 b! W, z1 K4 D7 F' k
6 W ]- o" {9 T( z9 B- V1.本来首页指向的都是频道A的目录页+产品页，将其全副nofollow，确保从首页进去的爬虫，全副抓取到频道页，穿越频道页再进去目录页（其实这个不算太重要）8 E% \: g: Z- `$ g/ \
& M2 ?; }' z' b9 W1 Z, U
: B$ f* `! ~0 w0 D3 t( S
2.本来频道页指向切身的产品页，将其全副nofollow（确保从频道页入口的爬虫，最大程度的抓取目录页）
4 Q! r$ d/ j) H; F* G
3 |8 V, R% T8 b8 b. t" h d/ \# F, c$ r. G( K
3.从目录页归来到首页的链接，将其全副nofollow。5 f* _1 r8 d r3 c, l
6 [: P/ j4 C3 S; `
1 Z; k `/ }9 W3 ?
4.收缩一些版面上无关链接。（什么情形下这么做都是极其管用的。）
0 W7 |& W9 T1 m! R. O" I5 q" m4 u E3 Z; T; A5 ?+ L# r0 _5 f. g
2 Q+ h4 d% `8 A" v0 U
目前能够开始入手了。。3 Y4 n+ P& T# i6 P# M* U
, y7 r Q" J* ~
% t9 G8 \! O3 r1 y1 z/ G收获
4 L9 ?3 P& w! O# b6 ^6 b3 Y+ k# V3 l& |
' Y6 K9 S" U- w0 V0 S2 x这么做究竟有什么收获呢，我们来看看修正后1个月后的数据。, w& E( l" E8 z: b
% [2 {+ M9 Q9 b5 R+ g
4 K; Z2 Y- z4 \% h7 b% S
4 L8 V8 v$ B" h0 A, w p
* ^% \9 a: U9 n1 Z! d6 y4 m目录页的收录率长进了100%！( N3 j6 F5 n6 D7 f+ N
* D6 {! m- C. x) g, j0 f
1 c& w2 L. U9 [1 Z产品页的收录率也有定然程度的长进，这是归功于目录页对于产品的良好揭示。/ x* H0 t* n0 b. ~
: K2 ~. ?% v2 E! `* F. X! j# u
6 Y6 h, S( j) i, [目录页的SEO出现：; D0 f( c4 X4 \/ T9 y8 q" \
. T) G$ l4 v9 s3 m7 T, z( i: E* H, G5 }+ m: K
SEO流量占比递升了15%* y- g$ c8 v; R8 T# R' K+ v
4 b* r9 @& ]2 Q; z, _, c- v9 n( o
. }1 D% \* c" s7 I+ y增长10%的到访关键词数量（新版面的收录）6 B$ m X& c2 v: H) E
- t" _# V0 u {/ Z% h! }7 L& e3 y% H
SEO流量增长了50%以上. ]1 N5 S6 L8 B) h1 \0 [* s
|
