做为一个SEOER学会分析网站日志这是必修课，有很网站出现了问题，光看网站是看不出任何问题的，这个时候要想找原因就必须配合网站来分析，才能得到一个结果。因为日志记记录了网站被搜索引擎爬取的痕迹，给站长提供了蜘蛛是否来访的有力物证，站长朋友可以通过网站日志来分析搜索引擎蜘蛛的抓取情况，分析网站的是否存在收录异常问题。并且我们可以根据这个日志文件判断蜘蛛来访频率以及抓取规律，对于网站的一个长期SEO是非常有帮助的。那我们应该如何做网站日志分析呢？ 红涛前面推荐了一款工具：网站日志分析工具% T( f( \# x2 s, J5 \7 C) Q+ f
网站所以有访问纪录都会存在这个网站日志上，包括搜索引擎的记录与访客的信息。一般都会生存在网站的根目录下，常见的形式名件夹名log、weblog或www_logs。我们一般分析就得先这个方件夹里面的内容下载到本地，然后可以用记事本去打开。以下是我空间的网站日志截图：
8 Y5 m/ E$ `- X% X/ x; J7 t! ]- d6 r$ b
( w( X; s8 z0 e
2 P- q' D( Q; g" [) W3 \既然知道了日志存放在哪儿，那么我们又如何简单的入手去分析日志呢？下面我来找一段简单点的日志还看一下：1 d+ G, t7 S8 [
#Software: Microsoft Internet Information Services 6.0
0 @( W& [+ R) b6 i+ C1 W#Version: 1.0
# L/ F1 M# `# {9 C# X3 Q3 J#Date: 2011-03-01 00:00:17
, U) P. B: l3 b# q; ?+ B- S0 s#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status sc-bytes cs-bytes
( h' H( ~6 }8 d6 B& U2011-03-01 02:44:37 W3SVC381 211.154.135.217 GET /news/news.asp id=200 80 – 203.208.60.169 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.g o o g l e.com/bot.html) 200 0 0 29057 2983 t( _' U' E1 ^
搜索引擎蜘蛛：$ k+ |" o! ]3 q4 O" j. o
百度：baiduspider Google：Googlebot Msn：msnbot
/ S# z1 R( Z7 I! g& Ryahoo：Slurp yodao：YoudaoBot sogou：Sogou+get+spider) e" s& ?) [4 V# w# g& ~) L# w
搜索以上蜘蛛名称，就可以看到蜘蛛抓取的痕迹。我们重要的就是如何读懂后面的那些代码。我们称HTTP状态码。& D9 p. D$ H8 \2 h- g: s
date表示记录访问日期；8 x* X) R) T0 w, y7 |
time访问时间；* t3 v- G6 }7 T% R" ^
s-sitename表示你的虚拟主机的代称。 U, C# O. W2 d7 X/ e _9 e4 `
s-ip访问者IP；
9 i/ j3 h1 Q, Q, U* k3 b* x0 Ucs-method表示访问方法，常见的有两种，一是GET，就是平常我们打开一个URL访问的动作，二是POST，提交表单时的动作；
1 Q8 p* F; E) l2 ?! K$ p' rcs-uri-stem就是访问哪一个文件；1 A3 F; j# b. P/ d( o
cs-uri-query是指访问地址的附带参数，如asp文件?后面的字符串id=12等等，如果没有参数则用-表示；
O; {' f) `0 o! @s-port 访问的端口& ]# }5 Q! E& _/ o! L" {) l
cs-username 访问者名称
( F3 ~7 W/ y" b3 i# z; mc-ip 来源ip
% `: E' ~- K, a* L& j2 Fcs(User-Agent)访问来源；+ [3 V5 B2 {* W, P( z1 H# f
sc-status状态，200表示成功，403表示没有权限，404表示打不到该页面，500表示程序有错；+ u9 K! b7 [! b) _5 [
sc-substatus 服务端传送到客户端的字节大小；
1 r8 } R0 ]) c% J$ ], y6 ?; ?: Rcs–win32-statu客户端传送到服务端的字节大小；* I. {" x: Q3 R0 g; Z$ p( k
1**：请求收到，继续处理
2 e. E& K. I+ C# C, `2**：操作成功收到，分析、接受2 J" M7 O+ [* }
3**：完成此请求必须进一步处理7 I; a* z s, p! D- W% j [
4**：请求包含一个错误语法或不能完成- W) @! j. S# f( o, b
5**：服务器执行一个完全有效请求失败6 Q: ^2 G7 N0 J0 q0 @0 c) Z
100——客户必须继续发出请求! f! z! a1 } N% r( y
101——客户要求服务器根据请求转换HTTP协议版本- O+ K& a9 {' D: T- S) j
200——交易成功
( p; V. Y- q+ X' n2 Q3 _ A# k201——提示知道新文件的URL
4 w0 |5 P4 G) _* b* n202——接受和处理、但处理未完成
/ i1 o# G3 ~; G; k# M203——返回信息不确定或不完整0 J, N5 r) t0 E# g
204——请求收到，但返回信息为空
# H! T% g( j9 B: B+ |# D205——服务器完成了请求，用户代理必须复位当前已经浏览过的文件. C. i. u- r5 R: Z, r
206——服务器已经完成了部分用户的GET请求$ u. w5 M( ^4 t" i& {
300——请求的资源可在多处得到( D l8 X: n6 X: L9 J. P/ W" P
301——删除请求数据
: S6 I8 T5 o$ z X4 S% o% R302——在其他地址发现了请求数据
/ z! }( z, p( g# @* r u2 |303——建议客户访问其他URL或访问方式
6 g" I. D" u5 ^- y# |. E304——客户端已经执行了GET，但文件未变化
% o: W8 h* F2 U1 Q9 R305——请求的资源必须从服务器指定的地址得到
$ j" c+ B3 U3 G9 q$ T/ b( i306——前一版本HTTP中使用的代码，现行版本中不再使用
5 s8 w7 e9 G1 W; |1 o& E" \* q/ t307——申明请求的资源临时性删除
$ M' P& w. o4 O3 X400——错误请求，如语法错误
0 a$ t( Y, B! C401——请求授权失败# B: U, ~9 M" }: q: _4 n ?
402——保留有效ChargeTo头响应 I* l i9 Z: X# n) F" y' L
403——请求不允许
! ]# N. G: u% ^' W) {/ Q3 i404——没有发现文件、查询或URl
' o4 c+ j6 ]( d, `7 q3 L' L2 [8 Y' X405——用户在Request-Line字段定义的方法不允许3 D. \6 d: r( B8 Z! N8 @
406——根据用户发送的Accept拖，请求资源不可访问: o: _* E! w. l" e7 f
407——类似401，用户必须首先在代理服务器上得到授权
. j! q& K' B ]+ {408——客户端没有在用户指定的饿时间内完成请求
) I! s# D+ p: C* z B" c& M6 s6 o7 s409——对当前资源状态，请求不能完成6 F% ~3 a2 e; x. a- ?3 \
410——服务器上不再有此资源且无进一步的参考地址
; O9 A1 R- X, d411——服务器拒绝用户定义的Content-Length属性请求
, T( a7 h) Z4 _2 D: x, F# C1 B412——一个或多个请求头字段在当前请求中错误
8 B9 @+ E+ U' w413——请求的资源大于服务器允许的大小$ {+ s& r0 S* M" N6 {
414——请求的资源URL长于服务器允许的长度
2 m1 d: c7 \6 i) Z" z415——请求资源不支持请求项目格式! y0 `) O8 s1 W7 d2 n
416——请求中包含Range请求头字段，在当前请求资源范围内没有range指示值，请求也不包含If-Range请求头字段7 f- X) G2 ]( ? `6 p, e8 r
417——服务器不满足请求Expect头字段指定的期望值，如果是代理服务器，可能是下一级服务器不能满足请求, u: N0 r" J! {2 M# z7 r. u
500——服务器产生内部错误
+ P$ L' l5 u2 E0 M' \0 g ~501——服务器不支持请求的函数" P- p+ R& g& u. L0 w2 G
502——服务器暂时不可用，有时是为了防止发生系统过载
! v8 C" M3 ?4 e( d/ _3 h503——服务器过载或暂停维修
- A3 g- W/ @ M, h( i504——关口过载，服务器使用另一个关口或服务来响应用户，等待时间设定值较长3 y( w1 A. u7 m$ |! h0 _
505——服务器不支持或拒绝支请求头中指定的HTTP版本# ]; ?) c V ]! J3 O# }- H0 S
我们站长朋友有时候非常关心的问题就是网站收录，特别是新站，我们也经常去,看看收录了哪些页面等等。如果是这种情况我们最好的方式就是去分析一下日志，有可能新站前期蜘蛛是有来我们网站的抓取，但是结果没有放出来，我们光靠前面那个命令是查不结果的，但是在网站日志里面会留下纪录。这个时候我们要做的事情，就是看看搜索引擎爬行我们网站上时，返回的一个状态码，是否正常。如果返回200说明抓取成功，如果返回404说明页面错误，或者页面不存在，就需要做301永久重定向或者302暂时重定向。如果基本是200信息，那我们不用担心，网站会很快放出来的。就这个收录问题红涛前几天写过一篇文章：新站如何让百度快速收录 做为一个SEOER学会分析网站日志这是必修课，有很网站出现了问题，光看网站是看不出任何问题的，这个时候要想找原因就必须配合网站来分析，才能得到一个结果。因为日志记记录了网站被搜索引擎爬取的痕迹，给站长提供了蜘蛛是否来访的有力物证，站长朋友可以通过网站日志来分析搜索引擎蜘蛛的抓取情况，分析网站的是否存在收录异常问题。并且我们可以根据这个日志文件判断蜘蛛来访频率以及抓取规律，对于网站的一个长期SEO是非常有帮助的。那我们应该如何做网站日志分析呢？ 红涛前面推荐了一款工具：网站日志分析工具
: A$ d4 i2 x5 A1 s) ^网站所以有访问纪录都会存在这个网站日志上，包括搜索引擎的记录与访客的信息。一般都会生存在网站的根目录下，常见的形式名件夹名log、weblog或www_logs。我们一般分析就得先这个方件夹里面的内容下载到本地，然后可以用记事本去打开。以下是我空间的网站日志截图：5 m! ?9 r% h1 `+ N
0 i7 I3 @$ W2 @6 G. |/ A( p6 A' b% D$ Z' i! q% V5 d6 L* y
既然知道了日志存放在哪儿，那么我们又如何简单的入手去分析日志呢？下面我来找一段简单点的日志还看一下：
/ ^# c) Y5 P9 r#Software: Microsoft Internet Information Services 6.0
9 X& A7 _, Y3 `% \, m#Version: 1.06 N% y9 H+ p1 x* A/ ^
#Date: 2011-03-01 00:00:17
6 p7 |0 O8 U5 G) ^' t& W, Q#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status sc-bytes cs-bytes
' L3 w, h2 x3 @6 T/ f' [2011-03-01 02:44:37 W3SVC381 211.154.135.217 GET /news/news.asp id=200 80 – 203.208.60.169 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.g o o g l e.com/bot.html) 200 0 0 29057 298
9 d. @" R4 b% L- p: E8 w8 L1 {搜索引擎蜘蛛：: @! U' {9 _. b- I4 \
百度：baiduspider Google：Googlebot Msn：msnbot1 Z3 p5 s4 v- a$ Y8 B
yahoo：Slurp yodao：YoudaoBot sogou：Sogou+get+spider" p# Y9 j' N8 n1 v) ?1 t
搜索以上蜘蛛名称，就可以看到蜘蛛抓取的痕迹。我们重要的就是如何读懂后面的那些代码。我们称HTTP状态码。
* W2 t) X: D/ o: K6 T$ T5 d2 wdate表示记录访问日期；4 ~1 G! J+ H2 d( {
time访问时间；% r( [5 r- u8 e! z$ s% M/ G3 n
s-sitename表示你的虚拟主机的代称。& W: a( T" \! c( D! b2 l v* M
s-ip访问者IP；# m3 e2 Z/ l4 c5 e$ H
cs-method表示访问方法，常见的有两种，一是GET，就是平常我们打开一个URL访问的动作，二是POST，提交表单时的动作；
* H# Z7 v4 M+ Z4 J$ j) P! {cs-uri-stem就是访问哪一个文件；7 p3 w, @1 ~( }. R% @; `
cs-uri-query是指访问地址的附带参数，如asp文件?后面的字符串id=12等等，如果没有参数则用-表示；
8 O) C+ m5 b9 |- W& x2 L" k, Js-port 访问的端口
2 R) P, Y4 t4 d+ J, \cs-username 访问者名称
) L8 y, p+ W* o- vc-ip 来源ip# Z9 i' t1 N. J- x" d
cs(User-Agent)访问来源；
$ c# y% @" Y3 L0 y7 }+ @ Psc-status状态，200表示成功，403表示没有权限，404表示打不到该页面，500表示程序有错；( I$ L9 E" w& C; q* B! V9 K
sc-substatus 服务端传送到客户端的字节大小；
& F! k3 x$ }1 c) D& Ocs–win32-statu客户端传送到服务端的字节大小；
) F% q; p/ z! j1**：请求收到，继续处理) b, y: Z6 G I5 z2 z
2**：操作成功收到，分析、接受
$ p9 n. t6 o6 V+ H3**：完成此请求必须进一步处理
1 Y- I9 m: F) K- E' }4**：请求包含一个错误语法或不能完成0 N7 t6 f/ ^ ~8 z! Y/ i/ l
5**：服务器执行一个完全有效请求失败& N4 v& r# _& }6 e4 j8 \3 k X
100——客户必须继续发出请求
[& o1 b) Z$ O101——客户要求服务器根据请求转换HTTP协议版本# `% G) v" e% b6 D. `
200——交易成功. m, }. K" K( f
201——提示知道新文件的URL* b* o9 [' {9 Z% E
202——接受和处理、但处理未完成
" t2 F; ^, c0 K+ b. j$ W; w203——返回信息不确定或不完整6 Z+ M: s4 V1 G" `9 \* `; f
204——请求收到，但返回信息为空3 r' M* z- u; q9 Q$ m) l) R0 e! D _7 d
205——服务器完成了请求，用户代理必须复位当前已经浏览过的文件* W d" L3 W% s
206——服务器已经完成了部分用户的GET请求5 @' ]' A# Z9 F5 G3 [1 H; @
300——请求的资源可在多处得到
' K% i; F* ~8 |301——删除请求数据
( e9 P) f/ w3 G% b- p* n$ V( {302——在其他地址发现了请求数据$ B% ?1 o- T2 N" J& L7 }, p
303——建议客户访问其他URL或访问方式
: E4 |3 C1 G1 D0 @- P4 H. ]304——客户端已经执行了GET，但文件未变化7 ] {7 M6 l! a6 ]( n& d: b
305——请求的资源必须从服务器指定的地址得到9 ^& D- i- Z4 @4 {
306——前一版本HTTP中使用的代码，现行版本中不再使用5 q6 o' m% e7 o( r1 ~
307——申明请求的资源临时性删除
, v# D8 f& u4 O( t400——错误请求，如语法错误
) h" g W8 E- ~401——请求授权失败* l8 u$ i. ]3 Q: v$ A0 D" H8 C
402——保留有效ChargeTo头响应
! m! U0 `$ e) K& q, `* X7 m/ R q403——请求不允许
- O+ x/ ?+ u+ C2 \6 V404——没有发现文件、查询或URl i8 U4 E4 k( ?/ z X5 w- w
405——用户在Request-Line字段定义的方法不允许$ F4 E! `1 d* }
406——根据用户发送的Accept拖，请求资源不可访问
6 X' i/ c% ]2 p1 c# _+ F9 A407——类似401，用户必须首先在代理服务器上得到授权- |$ @$ `- n9 u' ~, Y
408——客户端没有在用户指定的饿时间内完成请求
9 w) \& B2 z/ w- K B409——对当前资源状态，请求不能完成& v( |1 ]& V, |( i0 ^! @$ U
410——服务器上不再有此资源且无进一步的参考地址* J! X4 y1 t* L' Z
411——服务器拒绝用户定义的Content-Length属性请求- k! f1 }% p a- f( H8 M
412——一个或多个请求头字段在当前请求中错误) X4 h3 a7 K0 b6 M5 `2 _: i& \5 C
413——请求的资源大于服务器允许的大小
% a# r4 h F1 J! P1 u$ b n414——请求的资源URL长于服务器允许的长度
/ O9 ?: @, \9 K1 Q; A* N8 l415——请求资源不支持请求项目格式7 F4 j& y- R+ K1 h6 Y, y# g0 V
416——请求中包含Range请求头字段，在当前请求资源范围内没有range指示值，请求也不包含If-Range请求头字段3 [% r) T6 K) W
417——服务器不满足请求Expect头字段指定的期望值，如果是代理服务器，可能是下一级服务器不能满足请求
* m* L, ~5 B+ h, Z500——服务器产生内部错误
1 M. ^/ F6 }& V501——服务器不支持请求的函数# E2 g% e. P6 D, B6 A
502——服务器暂时不可用，有时是为了防止发生系统过载
1 a: e5 ^" N1 U9 ^" ?4 {503——服务器过载或暂停维修6 d+ d" H" s/ u# X; T
504——关口过载，服务器使用另一个关口或服务来响应用户，等待时间设定值较长
: P' a1 q0 B y+ j" S8 ?: z( z505——服务器不支持或拒绝支请求头中指定的HTTP版本! Y, Z4 U5 b" }
我们站长朋友有时候非常关心的问题就是网站收录，特别是新站，我们也经常去site:www.hongtaoseo.com ,看看收录了哪些页面等等。如果是这种情况我们最好的方式就是去分析一下日志，有可能新站前期蜘蛛是有来我们网站的抓取，但是结果没有放出来，我们光靠前面那个命令是查不结果的，但是在网站日志里面会留下纪录。这个时候我们要做的事情，就是看看搜索引擎爬行我们网站上时，返回的一个状态码，是否正常。如果返回200说明抓取成功，如果返回404说明页面错误，或者页面不存在，就需要做301永久重定向或者302暂时重定向。如果基本是200信息，那我们不用担心，网站会很快放出来的。就这个收录问题红涛前几天写过一篇文章：新站如何让百度快速收录, U+ t0 V& W6 o# ~# X$ {
分析网站日志还是非常重要的，平时我们新站和被降权的网站，我们一般要多观察网站日志，这个里面就能看出网站真正的问题。只是日志有时候比较复杂，所以我们就不能懒手脚，要耐心的去看。本文由www.hspayy.com论坛发布，转载请注明出处！& N4 U2 ^/ F3 W+ g' M' M
0 w6 Q0 u6 |" Q) I# v( Z
分析网站日志还是非常重要的，平时我们新站和被降权的网站，我们一般要多观察网站日志，这个里面就能看出网站真正的问题。只是日志有时候比较复杂，所以我们就不能懒手脚，要耐心的去看。7 b4 |. c, G% ? |, S8 c; {: t3 `
& y: ?9 i% }5 R$ e. [. _( B- i$ H. d* ]1 v1 r# f9 R; \. m. v5 Z
|
