网站LOG日志可以做什么?我们有理由相信至少30%的站长都不知道，还有30%的站长知道但是不会分析。最后真正做到能时常查阅LOG的，也只能说是非常了解SEO一途的专员，而这个比例却是十不存一。
- I$ N* \$ j1 S: ~; p% ` 作为一名站长，或者说流量的负责人，每天看着流量不增长，是什么感受?只有一个词：煎熬!流量为什么不增长?你所理解的SEO还只是做外链，发文章吗?如果是这样的话，那么真的只能说是活该了!
$ Q+ }7 O+ U5 S 网站有没有问题，其实非常直观的一个反馈方式就是网站LOG日志文件，精明的站长都会不断的观察它，发现其中存在的各种各样的问题，来进行应对。今天，笔者就带大家(不懂，不明白的站长)走进LOG日志的世界。6 p. h3 b/ R3 l7 ^. w
一：查看目录抓取概况
- P5 E% r4 p+ Y0 Q7 k. \ 目录抓取，可以清晰的查看到光顾网站的蜘蛛爬行过哪些目录。要知道：有些目录是没有价值的，如一些图标目录、下载目录、留言目录等，还有后台目录、数据库，如果任由蜘蛛爬行，也是一种安全隐患。另外一方面，搜索引擎对于不同的站点都有着抓取配额，无用目录，更不要占用这样的配额，以免减少有效配额的抓取量。6 S$ \. j" y5 D4 o$ h
二：查看页面抓取概况
- ~9 w1 J. l% x' {5 N& L 页面抓取可以准确的查看到蜘蛛爬行的每一个页面，这也是对于LOG日志分析上非常重要的一个环节。如：多重URL链接的抓取?垃圾页面的抓取?都是可以在其中展现出来的。甚至：某个页面抓取频率越高，通常代表这个页面更有价值。 c/ C) i; `5 Z1 f( j6 a' k
如果你想优化的页面，抓取频率偏低，那么就要为其增加适当的曝光度，来达成你想要的结果。. S, ?9 l4 [. M7 G/ Q u6 n
三：查看状态码信息
+ V8 A9 G; c3 s* G) |7 d 状态码分为两种，一种是蜘蛛状态码，另一种是用户状态码，通过蜘蛛状态码可以准确的查看到网站是否存在抓取问题。例如：404代表的是错误页，301、302代表的是重定向，还有一些：504、500、等状态码，值得说的是：除去200状态码，出现其他的状态码都是应当值得注意的，当然，如果只是个别几条则无需理会。但是如果数量一旦偏多，网站则100%出现问题了。
8 H) \# \) \6 C+ \5 r' a6 T 而用户状态码，则代表用户的访问情况，在这其中可以清晰的看到用户最为关注哪些页面。不要认为这是小事情，懂得营销的站长，知道投其所好!& _6 e5 S8 D# j$ B
上面说的是一些LOG日志工具都有的功能，而接下来我们再说一下一些进阶类型的东西：
0 J+ i1 G+ D- O) ] l' ]( t0 P$ e A：如果想要更多有效的着陆页被蜘蛛更多的抓取，那么请进行结构内链的完善。 C7 a3 i; N, t
B：不希望蜘蛛抓取那些没有优化意义的页面上，那么robots.txt上来进行封闭。, @# t( l2 Z9 J6 b9 ^- I" m
C：“蜘蛛陷阱”无止尽的循环，浪费抓取配额，通过页面抓取，都可以直观看到。
% r6 N( U# R, K7 k! \ D：曝光力度够了，蜘蛛一样不抓取，只能说页面价值太低，需要进一步优化。
; D7 ?. f( s& M4 V+ a6 e7 E4 b E：我们希望每个页面的下载时间足够快，可以在有效的时间内抓取更多的页面。6 H/ L1 O/ X" p, u, z
F：不是所有的蜘蛛都是真的蜘蛛，要学会查看蜘蛛是否为“采集”和“模拟”。
3 W8 H+ p+ S5 i% x% Y G：分析每天的蜘蛛，可以查看上升或者下降的趋势，明显变化，网站会出事的。6 I" E. v" r x1 ^$ ?4 ]& a! a$ a
H：降低或者封禁不会带来流量的蜘蛛，以减少服务器压力，对大型网站很重要。www.hitjob.net www.micro-find.com www.ybty.com.cn www.onhaixi.com www.gu6e.com |
这就是传说中坐沙发的感觉吗？好鸡动！！！
