做为一个SEOER学会分析网站日志这是必修课，有很网站出现了问题，光看网站是看不出任何问题的，这个时候要想找原因就必须配合网站来分析，才能得到一个结果。因为日志记记录了网站被搜索引擎爬取的痕迹，给站长提供了蜘蛛是否来访的有力物证，站长朋友可以通过网站日志来分析搜索引擎蜘蛛的抓取情况，分析网站的是否存在收录异常问题。并且我们可以根据这个日志文件判断蜘蛛来访频率以及抓取规律，对于网站的一个长期SEO是非常有帮助的。那我们应该如何做网站日志分析呢？ 红涛前面推荐了一款工具：网站日志分析工具0 Y/ v6 H( h L5 a4 E, h
网站所以有访问纪录都会存在这个网站日志上，包括搜索引擎的记录与访客的信息。一般都会生存在网站的根目录下，常见的形式名件夹名log、weblog或www_logs。我们一般分析就得先这个方件夹里面的内容下载到本地，然后可以用记事本去打开。以下是我空间的网站日志截图：
3 ~% r; T- V' B% G% v
0 t% r( Z+ ]6 S' q: Z
8 N0 Z* X0 H; d0 i% v- W! N0 a# @既然知道了日志存放在哪儿，那么我们又如何简单的入手去分析日志呢？下面我来找一段简单点的日志还看一下：
: [7 N( O; u V#Software: Microsoft Internet Information Services 6.0
2 M- L" R3 V) b% L#Version: 1.03 r& M& j# f4 d! _2 Z
#Date: 2011-03-01 00:00:177 H7 N+ \. Q7 p
#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status sc-bytes cs-bytes+ E: u& ?: d9 P: Y7 _8 n5 x$ _, y7 F
2011-03-01 02:44:37 W3SVC381 211.154.135.217 GET /news/news.asp id=200 80 – 203.208.60.169 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.g o o g l e.com/bot.html) 200 0 0 29057 2983 F! t/ j1 z; n( t, k6 o9 [& t: B, o2 r
搜索引擎蜘蛛：
8 b/ ^7 h! ^8 k: ^/ R百度：baiduspider Google：Googlebot Msn：msnbot
5 u7 L( B f/ G1 w1 c) \$ ^. uyahoo：Slurp yodao：YoudaoBot sogou：Sogou+get+spider
/ d; j" V8 ^) z' C- j搜索以上蜘蛛名称，就可以看到蜘蛛抓取的痕迹。我们重要的就是如何读懂后面的那些代码。我们称HTTP状态码。# ~4 @( [- y( b P5 Z1 C
date表示记录访问日期；' f% n! V0 X* ^0 k3 L/ L I7 H C
time访问时间；. |& P" W- b! |+ I1 g1 A S2 J! n2 Y( _
s-sitename表示你的虚拟主机的代称。
+ N7 D# P- Q, ls-ip访问者IP；! S+ v- B# ]9 N) k7 a5 Y* d
cs-method表示访问方法，常见的有两种，一是GET，就是平常我们打开一个URL访问的动作，二是POST，提交表单时的动作；
- ?. i7 j, ~+ n3 ^cs-uri-stem就是访问哪一个文件；% ~# Y; A- O! |, M% o5 |0 R N! z
cs-uri-query是指访问地址的附带参数，如asp文件?后面的字符串id=12等等，如果没有参数则用-表示；$ y' I5 t9 V0 e
s-port 访问的端口
" @$ b/ I: u% n. {cs-username 访问者名称4 w6 n; b4 a# R& X9 S
c-ip 来源ip. J* U: \; w. r- x, q* f6 Z# U
cs(User-Agent)访问来源；7 s" Q$ F5 _& M% X1 W* S+ @; x
sc-status状态，200表示成功，403表示没有权限，404表示打不到该页面，500表示程序有错；
H( V% s8 F! u! v3 \6 L2 o% Isc-substatus 服务端传送到客户端的字节大小；* C6 O# T$ Q5 {2 T A
cs–win32-statu客户端传送到服务端的字节大小；9 S1 [ ]( L6 A7 B* K9 B/ g
1**：请求收到，继续处理
+ `: e# [9 L ?5 T3 k# G+ ?2**：操作成功收到，分析、接受
. y7 i$ { T, x: A8 H+ k/ _& H0 M. y3**：完成此请求必须进一步处理
" Z. q! [' z, e% C4**：请求包含一个错误语法或不能完成! c% N2 [9 E! r8 k
5**：服务器执行一个完全有效请求失败, [2 d2 ~" V' l) }/ ^
100——客户必须继续发出请求, L7 b& `# R/ n/ |' g, m
101——客户要求服务器根据请求转换HTTP协议版本
# ]$ j' Y, I2 }9 m0 U5 K200——交易成功
" l b& W1 Q: a7 @( F5 X: Y) n201——提示知道新文件的URL. J9 p5 o2 S* r3 ], ]
202——接受和处理、但处理未完成
$ k/ [$ M4 I' l H8 L203——返回信息不确定或不完整4 L- Y1 B7 x7 Q7 ^! g! N5 ~
204——请求收到，但返回信息为空- q# e, B; d2 s" K
205——服务器完成了请求，用户代理必须复位当前已经浏览过的文件
- _/ ]& m" X, ]+ z9 E206——服务器已经完成了部分用户的GET请求& J, s* ?4 z3 [; L$ n
300——请求的资源可在多处得到
% d7 @8 K' ~+ R6 v301——删除请求数据
3 A7 p( `+ G3 X6 N# _" r( O302——在其他地址发现了请求数据5 J' m3 }% O2 {
303——建议客户访问其他URL或访问方式& ~9 t& B; j8 p S4 L/ Z9 e
304——客户端已经执行了GET，但文件未变化
& S% B8 U. `; A# G* y305——请求的资源必须从服务器指定的地址得到
* Q. k' N+ j. K5 Q7 m, Q4 {306——前一版本HTTP中使用的代码，现行版本中不再使用
- J( } q( w2 ]. j- B+ e& e; L307——申明请求的资源临时性删除$ V+ h; X0 b- [- C
400——错误请求，如语法错误
( q! w' @$ o7 P8 z9 e/ y- m401——请求授权失败
2 N' o& c0 u# P6 o, E+ n402——保留有效ChargeTo头响应
1 S3 l k7 h: x* x; q403——请求不允许2 D# j' Q7 p4 I8 Y& a& {" E' D
404——没有发现文件、查询或URl+ F+ X" U1 C6 z
405——用户在Request-Line字段定义的方法不允许
" u, }/ M! l! M* t) N# Q406——根据用户发送的Accept拖，请求资源不可访问
# J, I4 `6 x3 \ M; Z407——类似401，用户必须首先在代理服务器上得到授权7 j; J# q( v' |2 E/ _- e7 f/ a
408——客户端没有在用户指定的饿时间内完成请求
- w0 U$ B- ^% V& C4 n1 j) h! T409——对当前资源状态，请求不能完成4 _- c& W) S% k# s8 I6 _
410——服务器上不再有此资源且无进一步的参考地址" Q0 @' V- G8 l; W* w( [
411——服务器拒绝用户定义的Content-Length属性请求7 j' j0 ^# \: }7 K
412——一个或多个请求头字段在当前请求中错误( ?3 A4 _/ w+ C4 B. \) N0 y
413——请求的资源大于服务器允许的大小
* @* y5 w0 ]3 [/ k, A414——请求的资源URL长于服务器允许的长度' ~$ J# k# [; s3 y
415——请求资源不支持请求项目格式
1 @" A+ h- I. I416——请求中包含Range请求头字段，在当前请求资源范围内没有range指示值，请求也不包含If-Range请求头字段0 A2 \. K# d7 @+ c. }6 U
417——服务器不满足请求Expect头字段指定的期望值，如果是代理服务器，可能是下一级服务器不能满足请求
; Z3 t# {/ x. x% }500——服务器产生内部错误6 [( `* B& f6 V1 f$ B+ m
501——服务器不支持请求的函数
# ]6 d) k- b7 h502——服务器暂时不可用，有时是为了防止发生系统过载" j( \# v" ~5 |( L7 V
503——服务器过载或暂停维修/ K: P1 X, b1 Q! a0 K+ F% M0 p
504——关口过载，服务器使用另一个关口或服务来响应用户，等待时间设定值较长$ m0 e2 w# Y$ W! L
505——服务器不支持或拒绝支请求头中指定的HTTP版本1 T% o% @! Z) A' ~( X0 H
我们站长朋友有时候非常关心的问题就是网站收录，特别是新站，我们也经常去,看看收录了哪些页面等等。如果是这种情况我们最好的方式就是去分析一下日志，有可能新站前期蜘蛛是有来我们网站的抓取，但是结果没有放出来，我们光靠前面那个命令是查不结果的，但是在网站日志里面会留下纪录。这个时候我们要做的事情，就是看看搜索引擎爬行我们网站上时，返回的一个状态码，是否正常。如果返回200说明抓取成功，如果返回404说明页面错误，或者页面不存在，就需要做301永久重定向或者302暂时重定向。如果基本是200信息，那我们不用担心，网站会很快放出来的。就这个收录问题红涛前几天写过一篇文章：新站如何让百度快速收录 做为一个SEOER学会分析网站日志这是必修课，有很网站出现了问题，光看网站是看不出任何问题的，这个时候要想找原因就必须配合网站来分析，才能得到一个结果。因为日志记记录了网站被搜索引擎爬取的痕迹，给站长提供了蜘蛛是否来访的有力物证，站长朋友可以通过网站日志来分析搜索引擎蜘蛛的抓取情况，分析网站的是否存在收录异常问题。并且我们可以根据这个日志文件判断蜘蛛来访频率以及抓取规律，对于网站的一个长期SEO是非常有帮助的。那我们应该如何做网站日志分析呢？ 红涛前面推荐了一款工具：网站日志分析工具
6 [4 f5 {- M/ Y# n' w; P网站所以有访问纪录都会存在这个网站日志上，包括搜索引擎的记录与访客的信息。一般都会生存在网站的根目录下，常见的形式名件夹名log、weblog或www_logs。我们一般分析就得先这个方件夹里面的内容下载到本地，然后可以用记事本去打开。以下是我空间的网站日志截图：" N$ s. E5 I" `8 r8 o: M
7 i4 b0 ]/ V8 Y3 ^' J/ L" M0 P
# |' z* P9 K& V, a- s1 \; b
既然知道了日志存放在哪儿，那么我们又如何简单的入手去分析日志呢？下面我来找一段简单点的日志还看一下：, {5 L" z6 _8 H8 a( x$ y* J" u
#Software: Microsoft Internet Information Services 6.0
* a; ]) \5 l( d e7 o& C1 T#Version: 1.0
: G5 J2 u7 n0 D! C. Z7 p#Date: 2011-03-01 00:00:17* `" {; M: ~8 k( n
#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status sc-bytes cs-bytes( }( D$ J" U% e2 R8 j0 o) ?& B$ h
2011-03-01 02:44:37 W3SVC381 211.154.135.217 GET /news/news.asp id=200 80 – 203.208.60.169 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.g o o g l e.com/bot.html) 200 0 0 29057 298
9 p2 o5 t% g3 x/ _1 r7 z7 C搜索引擎蜘蛛：5 p0 k2 z0 t8 U U- b5 O
百度：baiduspider Google：Googlebot Msn：msnbot
7 e+ W+ y' f4 ^8 K1 K7 L% Dyahoo：Slurp yodao：YoudaoBot sogou：Sogou+get+spider
8 _ ]1 ~+ a. z- C, U6 ^搜索以上蜘蛛名称，就可以看到蜘蛛抓取的痕迹。我们重要的就是如何读懂后面的那些代码。我们称HTTP状态码。
1 ^) O g$ i1 v0 |+ Ddate表示记录访问日期；
7 @. ?* y e* Q9 c8 K$ T& Vtime访问时间；
" S2 A- b8 G& Ks-sitename表示你的虚拟主机的代称。& H: ]8 \% r" ]
s-ip访问者IP；) ]! e2 t5 w+ s4 |7 H. D
cs-method表示访问方法，常见的有两种，一是GET，就是平常我们打开一个URL访问的动作，二是POST，提交表单时的动作；
6 U' o! w$ L; ?, ecs-uri-stem就是访问哪一个文件；
/ ]* o) [' m0 `! lcs-uri-query是指访问地址的附带参数，如asp文件?后面的字符串id=12等等，如果没有参数则用-表示；0 s/ Y" o$ h% f7 F; `7 l, t$ s; _
s-port 访问的端口
. P' P5 q5 {7 J6 I7 o! a# lcs-username 访问者名称
9 Q9 s' |/ T) @. `c-ip 来源ip
& l3 h6 r0 ?- ?6 h! A9 ncs(User-Agent)访问来源；( `) P6 `! L5 l; `! w
sc-status状态，200表示成功，403表示没有权限，404表示打不到该页面，500表示程序有错；; d0 V- j; V9 U
sc-substatus 服务端传送到客户端的字节大小； ~. d8 ^# i4 p5 g
cs–win32-statu客户端传送到服务端的字节大小；- l# Z4 A! w& b
1**：请求收到，继续处理
) m. \7 W% I* M, [) }5 ?. O+ m2**：操作成功收到，分析、接受
; ]# i; u$ G' |: K* `- M& S- u3**：完成此请求必须进一步处理
5 n- K4 L9 k8 {5 r5 I' T4**：请求包含一个错误语法或不能完成
6 v4 ^( y# s1 p8 y5 G/ b5**：服务器执行一个完全有效请求失败
* M9 a; h: l0 q8 F' ~100——客户必须继续发出请求
* K5 N* p3 r1 t. S5 e2 S1 p7 [8 N101——客户要求服务器根据请求转换HTTP协议版本
' J2 ~0 A w @& a' ~7 B200——交易成功) [' R/ {' F2 q4 S$ ?# \0 [" e
201——提示知道新文件的URL1 N$ @ t( w# p5 ?) t
202——接受和处理、但处理未完成
' K% {) W* }" ?2 l) W203——返回信息不确定或不完整, x) t6 s& c" n$ y" o
204——请求收到，但返回信息为空
% A% w8 ]$ }1 d6 {7 H a4 P0 e205——服务器完成了请求，用户代理必须复位当前已经浏览过的文件
; Q' x) f8 x3 B- s206——服务器已经完成了部分用户的GET请求
: S, U+ y, |& n( }300——请求的资源可在多处得到/ [ \/ ~; b3 y6 |; K
301——删除请求数据
. \6 o" d: p4 t+ L$ }" I302——在其他地址发现了请求数据- h4 `2 }5 V+ W7 i8 H
303——建议客户访问其他URL或访问方式
2 G: F% {% Z0 U+ w M304——客户端已经执行了GET，但文件未变化4 N4 r4 }5 S0 e2 h
305——请求的资源必须从服务器指定的地址得到
# U4 A6 [# \0 I& E6 e4 Y$ e. s306——前一版本HTTP中使用的代码，现行版本中不再使用8 l4 f" ^+ k" a7 q
307——申明请求的资源临时性删除
5 x5 J9 j k/ G3 I% M5 j400——错误请求，如语法错误- k/ [! S, V( g' c: u: Q: ?
401——请求授权失败
0 }: s9 A( m0 Q/ O402——保留有效ChargeTo头响应4 n9 O' C" z) R, C2 }( A
403——请求不允许$ ^# b: y+ c( u3 e
404——没有发现文件、查询或URl
) R- p4 i, c: }1 y2 i: x3 o405——用户在Request-Line字段定义的方法不允许) Z4 C" E# S4 `; o5 J) R: B! k
406——根据用户发送的Accept拖，请求资源不可访问
; f# T3 l' K+ ^: |+ E1 A407——类似401，用户必须首先在代理服务器上得到授权0 C( z; H7 U9 o- X
408——客户端没有在用户指定的饿时间内完成请求( X. a+ c3 N2 {
409——对当前资源状态，请求不能完成
- w! e) n' n& t410——服务器上不再有此资源且无进一步的参考地址2 K' H! G7 z" o/ L
411——服务器拒绝用户定义的Content-Length属性请求
6 @% d/ p: \: ?8 L- X1 B! w412——一个或多个请求头字段在当前请求中错误
5 |$ C# m( @' G0 ]" _413——请求的资源大于服务器允许的大小
3 l0 A/ k8 f4 r+ L414——请求的资源URL长于服务器允许的长度0 f& ]7 X3 K! U: U
415——请求资源不支持请求项目格式
& _2 s C; `) [1 W# g$ O$ U416——请求中包含Range请求头字段，在当前请求资源范围内没有range指示值，请求也不包含If-Range请求头字段
& U7 N ?) S2 C5 u: s3 E( d417——服务器不满足请求Expect头字段指定的期望值，如果是代理服务器，可能是下一级服务器不能满足请求! k0 a+ P1 h) J+ z5 G7 r0 E" A
500——服务器产生内部错误. A% E) n: c) y0 X' }, V- i
501——服务器不支持请求的函数
% {1 _2 ^) L6 T m+ N502——服务器暂时不可用，有时是为了防止发生系统过载
$ O; o, p9 D+ }) x& A- n- u7 E P503——服务器过载或暂停维修
+ v$ f5 |9 n7 |- P Z5 I, v# c6 o504——关口过载，服务器使用另一个关口或服务来响应用户，等待时间设定值较长0 E: x: ~( N6 S) ]6 y" `# r
505——服务器不支持或拒绝支请求头中指定的HTTP版本
" [4 J/ `4 A+ n我们站长朋友有时候非常关心的问题就是网站收录，特别是新站，我们也经常去site:www.hongtaoseo.com ,看看收录了哪些页面等等。如果是这种情况我们最好的方式就是去分析一下日志，有可能新站前期蜘蛛是有来我们网站的抓取，但是结果没有放出来，我们光靠前面那个命令是查不结果的，但是在网站日志里面会留下纪录。这个时候我们要做的事情，就是看看搜索引擎爬行我们网站上时，返回的一个状态码，是否正常。如果返回200说明抓取成功，如果返回404说明页面错误，或者页面不存在，就需要做301永久重定向或者302暂时重定向。如果基本是200信息，那我们不用担心，网站会很快放出来的。就这个收录问题红涛前几天写过一篇文章：新站如何让百度快速收录3 ^9 r5 `0 _% u' p. n( P( Y5 I
分析网站日志还是非常重要的，平时我们新站和被降权的网站，我们一般要多观察网站日志，这个里面就能看出网站真正的问题。只是日志有时候比较复杂，所以我们就不能懒手脚，要耐心的去看。本文由www.hspayy.com论坛发布，转载请注明出处！4 {* S( B/ q3 h1 w
) N8 G6 }* m" w, w5 g分析网站日志还是非常重要的，平时我们新站和被降权的网站，我们一般要多观察网站日志，这个里面就能看出网站真正的问题。只是日志有时候比较复杂，所以我们就不能懒手脚，要耐心的去看。
+ E' ], W' T! B, {7 k* O& ?& F+ p4 C! X: A) a& E6 W3 `
0 Q6 x; j" ^3 p( N1 } |
