做为一个SEOER学会分析网站日志这是必修课，有很网站出现了问题，光看网站是看不出任何问题的，这个时候要想找原因就必须配合网站来分析，才能得到一个结果。因为日志记记录了网站被搜索引擎爬取的痕迹，给站长提供了蜘蛛是否来访的有力物证，站长朋友可以通过网站日志来分析搜索引擎蜘蛛的抓取情况，分析网站的是否存在收录异常问题。并且我们可以根据这个日志文件判断蜘蛛来访频率以及抓取规律，对于网站的一个长期SEO是非常有帮助的。那我们应该如何做网站日志分析呢？ 红涛前面推荐了一款工具：网站日志分析工具
1 ]2 O/ j, b- O4 [9 S+ t1 h网站所以有访问纪录都会存在这个网站日志上，包括搜索引擎的记录与访客的信息。一般都会生存在网站的根目录下，常见的形式名件夹名log、weblog或www_logs。我们一般分析就得先这个方件夹里面的内容下载到本地，然后可以用记事本去打开。以下是我空间的网站日志截图：" x- H4 T. ]) N& F g# j+ U; e6 Z
6 d0 d9 q& b; j6 \: X0 n* X
7 A: y/ T' u: H3 p9 }既然知道了日志存放在哪儿，那么我们又如何简单的入手去分析日志呢？下面我来找一段简单点的日志还看一下：) G, v: k! c( q- K0 K
#Software: Microsoft Internet Information Services 6.0" z8 v* q' f: f2 b
#Version: 1.0
# p( d* l# g+ G3 B, R3 f3 }#Date: 2011-03-01 00:00:17% `9 e3 m. G2 K0 r
#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status sc-bytes cs-bytes( P4 T# S% k+ p
2011-03-01 02:44:37 W3SVC381 211.154.135.217 GET /news/news.asp id=200 80 – 203.208.60.169 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.g o o g l e.com/bot.html) 200 0 0 29057 298
' n1 n5 M; s; I: n# K5 }. J7 C搜索引擎蜘蛛：; H& E' _5 }2 x4 l) C: t4 X
百度：baiduspider Google：Googlebot Msn：msnbot/ v, D! ]. L6 b; c$ S
yahoo：Slurp yodao：YoudaoBot sogou：Sogou+get+spider- e7 A, l, s9 r- J
搜索以上蜘蛛名称，就可以看到蜘蛛抓取的痕迹。我们重要的就是如何读懂后面的那些代码。我们称HTTP状态码。, Q6 o% y; Z( A/ }6 G7 A4 |
date表示记录访问日期；
! u& d; H( L2 u2 _time访问时间；
8 T5 m- Y' b% Z) ~% d2 hs-sitename表示你的虚拟主机的代称。3 K6 S6 X! e- A/ i& y
s-ip访问者IP；
* G, ~& n+ e% P5 |% Y9 f4 @cs-method表示访问方法，常见的有两种，一是GET，就是平常我们打开一个URL访问的动作，二是POST，提交表单时的动作；
+ s8 t& @( c8 f: m, H$ k% j& Fcs-uri-stem就是访问哪一个文件；; Z a' a; J, B% G+ C# p
cs-uri-query是指访问地址的附带参数，如asp文件?后面的字符串id=12等等，如果没有参数则用-表示；
2 I g( ?1 F5 F% P; is-port 访问的端口
6 `* y) _( V! O9 x5 rcs-username 访问者名称
5 E) u9 x0 d! G' Y& f0 G- rc-ip 来源ip
$ N; k4 j. w+ ^( V7 hcs(User-Agent)访问来源；
9 l' g1 ~4 ?' osc-status状态，200表示成功，403表示没有权限，404表示打不到该页面，500表示程序有错；8 A( }* ~+ j% N M( T
sc-substatus 服务端传送到客户端的字节大小；" {2 o3 Y$ P. b) O% e
cs–win32-statu客户端传送到服务端的字节大小；; o* a. |3 D- u
1**：请求收到，继续处理
3 t' L' @" h/ _) D6 m# o" _2**：操作成功收到，分析、接受/ f! T. n4 U5 ~2 `1 c
3**：完成此请求必须进一步处理7 X& L q5 S( x. y
4**：请求包含一个错误语法或不能完成% V# t* G& a, I) |, U+ R! d
5**：服务器执行一个完全有效请求失败& ^+ r) J' p; N" B2 \7 s
100——客户必须继续发出请求3 `; J. h2 c6 w# [8 b5 w9 i; H
101——客户要求服务器根据请求转换HTTP协议版本
5 ~5 Y& t: n8 D0 c$ Y4 t200——交易成功
7 g; o- e" J. y3 Y/ |9 _8 }& h0 @201——提示知道新文件的URL5 g* I# H2 B @7 U
202——接受和处理、但处理未完成
7 b- S% d @* V6 o. ^7 W( d' _203——返回信息不确定或不完整
* c# Y* Y- s* j204——请求收到，但返回信息为空, C. F( Z! L+ N# [" B
205——服务器完成了请求，用户代理必须复位当前已经浏览过的文件
" s+ F$ x4 W$ A, h* @. M% V7 n206——服务器已经完成了部分用户的GET请求
8 x" h. p" V# V% l. _. c, R$ _300——请求的资源可在多处得到9 h+ j& m4 G, O- D4 n
301——删除请求数据* m" [# d( F) \; A! Y7 z' F9 d
302——在其他地址发现了请求数据2 E) B/ [# Y3 l: I+ l9 r+ x
303——建议客户访问其他URL或访问方式6 V, l6 p* o$ h1 T( s' o% H# X
304——客户端已经执行了GET，但文件未变化
) t4 ]# {5 R9 C* C+ Q305——请求的资源必须从服务器指定的地址得到
0 L! [2 F! p7 f. Q/ v f306——前一版本HTTP中使用的代码，现行版本中不再使用) S8 C1 ~% r* L4 F3 T. {
307——申明请求的资源临时性删除
' b) t" u+ p6 I! \400——错误请求，如语法错误
0 T- q- @ Z' `) D7 X401——请求授权失败& Z4 M. Y& s! N& S
402——保留有效ChargeTo头响应5 H2 ]/ d3 e ~" n5 Q6 x: f
403——请求不允许
" L+ a8 K- S5 Z( @* N404——没有发现文件、查询或URl
m5 s) I$ E% V8 c* _405——用户在Request-Line字段定义的方法不允许
9 w. m7 H+ t8 Y406——根据用户发送的Accept拖，请求资源不可访问
. C% S2 X2 ~7 k" p: t5 A407——类似401，用户必须首先在代理服务器上得到授权
/ C* \& u3 |1 a; I; s7 w408——客户端没有在用户指定的饿时间内完成请求
+ p" _' x# {% x: u, _! P Y5 `4 d409——对当前资源状态，请求不能完成9 l7 m* u2 G3 I+ J# u: j
410——服务器上不再有此资源且无进一步的参考地址
) I+ e7 u6 K, d) R3 e411——服务器拒绝用户定义的Content-Length属性请求
* N+ ~- A- Z, Z& a/ v2 j- D0 h, g412——一个或多个请求头字段在当前请求中错误' H# f% U o* p# Y' T# J
413——请求的资源大于服务器允许的大小
$ P, ^0 q- A& a8 Z& y) H0 ]414——请求的资源URL长于服务器允许的长度
* i! k0 H5 v3 b, }8 _5 T415——请求资源不支持请求项目格式
$ X8 c: _/ T Q416——请求中包含Range请求头字段，在当前请求资源范围内没有range指示值，请求也不包含If-Range请求头字段: c! P' Q; x/ S; R+ y
417——服务器不满足请求Expect头字段指定的期望值，如果是代理服务器，可能是下一级服务器不能满足请求
0 s0 Z; U/ S* E. F( A500——服务器产生内部错误
3 l2 J Y! M8 h# n501——服务器不支持请求的函数+ q4 @8 P" i( T; q& @( T; m
502——服务器暂时不可用，有时是为了防止发生系统过载
' l- Z3 d9 b e, n) l! k; s4 W, Q503——服务器过载或暂停维修
) Z& n$ B2 c5 Y* k/ t H504——关口过载，服务器使用另一个关口或服务来响应用户，等待时间设定值较长
5 t6 ?! g- K4 V( S505——服务器不支持或拒绝支请求头中指定的HTTP版本( _3 K6 \2 C2 H+ V3 w" K
我们站长朋友有时候非常关心的问题就是网站收录，特别是新站，我们也经常去,看看收录了哪些页面等等。如果是这种情况我们最好的方式就是去分析一下日志，有可能新站前期蜘蛛是有来我们网站的抓取，但是结果没有放出来，我们光靠前面那个命令是查不结果的，但是在网站日志里面会留下纪录。这个时候我们要做的事情，就是看看搜索引擎爬行我们网站上时，返回的一个状态码，是否正常。如果返回200说明抓取成功，如果返回404说明页面错误，或者页面不存在，就需要做301永久重定向或者302暂时重定向。如果基本是200信息，那我们不用担心，网站会很快放出来的。就这个收录问题红涛前几天写过一篇文章：新站如何让百度快速收录 做为一个SEOER学会分析网站日志这是必修课，有很网站出现了问题，光看网站是看不出任何问题的，这个时候要想找原因就必须配合网站来分析，才能得到一个结果。因为日志记记录了网站被搜索引擎爬取的痕迹，给站长提供了蜘蛛是否来访的有力物证，站长朋友可以通过网站日志来分析搜索引擎蜘蛛的抓取情况，分析网站的是否存在收录异常问题。并且我们可以根据这个日志文件判断蜘蛛来访频率以及抓取规律，对于网站的一个长期SEO是非常有帮助的。那我们应该如何做网站日志分析呢？ 红涛前面推荐了一款工具：网站日志分析工具
, L) q1 p, Q( O% [) L网站所以有访问纪录都会存在这个网站日志上，包括搜索引擎的记录与访客的信息。一般都会生存在网站的根目录下，常见的形式名件夹名log、weblog或www_logs。我们一般分析就得先这个方件夹里面的内容下载到本地，然后可以用记事本去打开。以下是我空间的网站日志截图：$ Z3 }* h* M" b; z7 g3 ]; t+ X
8 J- U: t9 t/ J/ u$ O
5 _& }; }7 O. k% X& I4 @ z1 U
既然知道了日志存放在哪儿，那么我们又如何简单的入手去分析日志呢？下面我来找一段简单点的日志还看一下：( Z$ z6 l0 F2 k
#Software: Microsoft Internet Information Services 6.0
' }: V3 {$ a/ H' X3 a#Version: 1.0
0 a; c6 g7 @, p* B#Date: 2011-03-01 00:00:17
5 ~- T- d# Z. d#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status sc-bytes cs-bytes; E, u) v5 F7 t( F7 E+ ~
2011-03-01 02:44:37 W3SVC381 211.154.135.217 GET /news/news.asp id=200 80 – 203.208.60.169 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.g o o g l e.com/bot.html) 200 0 0 29057 2989 | r! O1 G- H$ u" E
搜索引擎蜘蛛：
* u( L, ]" x8 f. P- @6 P/ F) W百度：baiduspider Google：Googlebot Msn：msnbot
4 s2 h K5 O$ Q, v: ^ |yahoo：Slurp yodao：YoudaoBot sogou：Sogou+get+spider7 |9 w, M& _0 A
搜索以上蜘蛛名称，就可以看到蜘蛛抓取的痕迹。我们重要的就是如何读懂后面的那些代码。我们称HTTP状态码。
1 J) I4 J7 \, b% `- Xdate表示记录访问日期；
0 B' k4 ]2 A$ l) c. t8 gtime访问时间；
1 \+ M- @3 {/ `/ Y/ K1 Fs-sitename表示你的虚拟主机的代称。; M7 ]9 V. B) h3 {; p: X2 m
s-ip访问者IP；4 @4 X! z z5 T
cs-method表示访问方法，常见的有两种，一是GET，就是平常我们打开一个URL访问的动作，二是POST，提交表单时的动作；( W3 @1 a$ h4 H6 Y
cs-uri-stem就是访问哪一个文件；
# A& z$ J, |6 U' M& a: T' pcs-uri-query是指访问地址的附带参数，如asp文件?后面的字符串id=12等等，如果没有参数则用-表示；4 e3 p9 ~% |. n2 w( o$ N
s-port 访问的端口
& h4 y* h+ @( s2 |/ W! e1 Dcs-username 访问者名称
# L! _1 v5 c1 g. xc-ip 来源ip1 T! O4 S2 \4 Z2 U* e! @
cs(User-Agent)访问来源；
9 P: c$ x$ F( m2 l2 |4 P$ S" [sc-status状态，200表示成功，403表示没有权限，404表示打不到该页面，500表示程序有错；
- x2 \4 S9 N: z- hsc-substatus 服务端传送到客户端的字节大小；# h+ k+ i/ I: h, I, h" M
cs–win32-statu客户端传送到服务端的字节大小；1 K+ F" \ U" C+ ]# P |
1**：请求收到，继续处理
3 J* m/ S* F. Q% O! ]$ y2**：操作成功收到，分析、接受
# H, U- @+ a. m9 A2 x! R3**：完成此请求必须进一步处理) Q; s+ T. B3 B
4**：请求包含一个错误语法或不能完成
) g, P+ c3 X g+ d8 n! v0 B, z5**：服务器执行一个完全有效请求失败
4 x5 W/ B% u2 Q- j9 w6 z100——客户必须继续发出请求8 ~2 m) Y3 d5 g% @' j$ c
101——客户要求服务器根据请求转换HTTP协议版本0 ^% h* ?3 ?3 W' A
200——交易成功0 H+ v; m7 y2 W1 C( a# T
201——提示知道新文件的URL
4 @1 q5 e3 b- u _202——接受和处理、但处理未完成
# i% k$ H) v+ w& ?+ v203——返回信息不确定或不完整3 N* ]6 ]* `/ O* ~
204——请求收到，但返回信息为空
9 d- H5 N. m8 @3 N, U7 X+ b205——服务器完成了请求，用户代理必须复位当前已经浏览过的文件
7 l" U/ Q( v0 {* ?) W( E8 w206——服务器已经完成了部分用户的GET请求; r7 \- }2 }* \( Q7 _& D3 z- u6 X
300——请求的资源可在多处得到6 F; I5 {5 [$ C" _- M- H& F5 P
301——删除请求数据
0 _. v% I6 c7 R! y; ~( v302——在其他地址发现了请求数据9 M# t* K* d/ l2 d1 ]: X5 @
303——建议客户访问其他URL或访问方式. X" v; A( K& z$ K0 m4 J
304——客户端已经执行了GET，但文件未变化& R1 b' o7 c; ]2 E# U- m" v
305——请求的资源必须从服务器指定的地址得到
! f- u/ V% A; q3 I3 \/ R: N306——前一版本HTTP中使用的代码，现行版本中不再使用
2 n+ a* e" E- `; d7 ^307——申明请求的资源临时性删除
: i5 G$ j: F% K2 W/ o8 `4 |400——错误请求，如语法错误: {6 o2 B: |/ e* w2 ?
401——请求授权失败+ h) z# o# D' s
402——保留有效ChargeTo头响应& Y7 N# l j n) U
403——请求不允许
5 T* x( H( P5 a7 e& c. T404——没有发现文件、查询或URl4 b! J$ C6 X! X8 l& E
405——用户在Request-Line字段定义的方法不允许2 V0 x$ t- D! C- G r$ O3 z' S
406——根据用户发送的Accept拖，请求资源不可访问
5 N) w3 Z; }2 G, [407——类似401，用户必须首先在代理服务器上得到授权
2 t A5 p2 B# i, z. {" k l( O408——客户端没有在用户指定的饿时间内完成请求2 j( U0 b' n! K m8 \* l6 J
409——对当前资源状态，请求不能完成
, @- y; z# n3 ^ [" w3 @410——服务器上不再有此资源且无进一步的参考地址
8 v! ^! a. p# K8 [! ~411——服务器拒绝用户定义的Content-Length属性请求
8 V6 l) P9 C" o& G# i* t2 J412——一个或多个请求头字段在当前请求中错误; j+ u/ p# F" j$ Z1 x. m! a2 `
413——请求的资源大于服务器允许的大小3 j; ]3 J6 a- C. D
414——请求的资源URL长于服务器允许的长度
4 n G( R# l) e5 ]* m, O415——请求资源不支持请求项目格式( z! d1 E' c+ m# c3 e# ]) T' y
416——请求中包含Range请求头字段，在当前请求资源范围内没有range指示值，请求也不包含If-Range请求头字段
3 ^5 `, b% F' K, W: R8 i4 e417——服务器不满足请求Expect头字段指定的期望值，如果是代理服务器，可能是下一级服务器不能满足请求
6 H+ l; w+ C. U500——服务器产生内部错误# t, R w# z* r3 J+ m
501——服务器不支持请求的函数
$ }& y3 j+ w$ i1 w" t* s9 G6 f$ }502——服务器暂时不可用，有时是为了防止发生系统过载
3 v5 I& G7 K2 g( ]$ t) a% }503——服务器过载或暂停维修
3 G/ Z M5 c2 M) C) k504——关口过载，服务器使用另一个关口或服务来响应用户，等待时间设定值较长7 }. l _* W# j
505——服务器不支持或拒绝支请求头中指定的HTTP版本; N4 z" J8 P6 _" s2 }. g& N+ C* u
我们站长朋友有时候非常关心的问题就是网站收录，特别是新站，我们也经常去site:www.hongtaoseo.com ,看看收录了哪些页面等等。如果是这种情况我们最好的方式就是去分析一下日志，有可能新站前期蜘蛛是有来我们网站的抓取，但是结果没有放出来，我们光靠前面那个命令是查不结果的，但是在网站日志里面会留下纪录。这个时候我们要做的事情，就是看看搜索引擎爬行我们网站上时，返回的一个状态码，是否正常。如果返回200说明抓取成功，如果返回404说明页面错误，或者页面不存在，就需要做301永久重定向或者302暂时重定向。如果基本是200信息，那我们不用担心，网站会很快放出来的。就这个收录问题红涛前几天写过一篇文章：新站如何让百度快速收录! I& Q' [( Z) _7 u& t
分析网站日志还是非常重要的，平时我们新站和被降权的网站，我们一般要多观察网站日志，这个里面就能看出网站真正的问题。只是日志有时候比较复杂，所以我们就不能懒手脚，要耐心的去看。本文由www.hspayy.com论坛发布，转载请注明出处！
: S. K. d/ F0 c& _$ U" k1 H: k$ E, r; w1 q5 {6 f
分析网站日志还是非常重要的，平时我们新站和被降权的网站，我们一般要多观察网站日志，这个里面就能看出网站真正的问题。只是日志有时候比较复杂，所以我们就不能懒手脚，要耐心的去看。' W- z& ?+ ]" N( X8 T, Z6 A7 C% `
/ k0 e4 v5 h. g
5 c4 V& X7 z! W8 B, |. Q/ w; ` |
