百度蜘蛛日志抓取解读 教你如何提高百度收录：百度的收录是关心的重中之重，了解百度蜘蛛的爬行规律从而更好的改善收录情况也是必须要掌握的。很多网站目前使用的都是虚拟空间，都能够提供日志。日志是指在网站根目录下的logfiles文件夹里面日期.txt文本文件有很多介绍通过http查看返回命令的那种办法来查看蜘蛛。现在更多的网站是没有提供可以通过软件来查看的日志格式。
i- I, k, f7 y/ J! t 更多的是类似下面的日志格式，如下：
/ G: X6 @, U* V' m# c& c8 m 03:28:34 GET /goods.php 202.108.7.205 200 34696 390
) M* U S, l* m8 \3 n 第一 03:28:34 访问时间
/ p _5 `* P Y; _* z 第二 GET /goods.php 访问的页面 get表示获取
' x& U7 j9 d% w4 A: \2 v2 y 第三 202.108.7.205 访问网站的源IP
7 U- l. {) u2 x, f 第四 200 成功访问
" C- q# u) h. Q: a 第五 34696 390 表示记录的内容大小 t% g: U9 m7 D$ I1 l& t
接下来要介绍几个HTTP状态码扩展基本知识：7 h7 u, I1 w4 m
成功2×× 成功处理了请求的状态码。$ t6 B/ V5 _9 E# u# r
200 服务器已成功处理了请求并提供了请求的网页。& B$ f+ Z0 y; q. S$ B6 ~$ g+ |7 t
204 服务器成功处理了请求，但没有返回任何内容。
* Z! |4 l- Z0 `9 w- }# r: { 重定向3××每次请求中使用重定向不要超过 5 次。3 J; U& N4 B3 j4 E" c
301 请求的网页已永久移动到新位置。当URLs发生变化时，使用301代码。搜索引擎索引中保存新的URL。
9 L+ c7 P' U0 ? 302 请求的网页临时移动到新位置。搜索引擎索引中保存原来的URL。
2 n1 y+ R( c. ~; I8 _. N 304 如果网页自请求者上次请求后没有更新，则用304代码告诉搜索引擎机器人，可节省带宽和开销。+ ~8 y$ `+ x5 F+ Y4 [0 [4 v
客户端错误4×× 表示请求可能出错，妨碍了服务器的处理。
( W0 l. c) J1 K$ P8 z( j 400 服务器不理解请求的语法。. ]9 I( n7 T4 A( e. H; v7 w
403 服务器拒绝请求。
% f1 o$ r; g) n 404 服务器找不到请求的网页。服务器上不存在的网页经常会返回此代码。' T. a9 m& o6 W6 f: \% x3 N
服务器错误5××表示服务器在处理请求时发生内部错误。这些错误可能是服务器本身的错误，而不是请求出错。
8 m9 W7 I0 u- O" R; a& m9 ]8 i 500 服务器遇到错误，无法完成请求。
/ g$ m) b2 w5 k( a/ _0 M 503 服务器目前无法使用(由于超载或停机维护)。通常，这只是暂时状态。
# M3 Z, |/ E# U7 @$ Q 以上日志提取于：http://www..027zhan.com 如果你不会提取日志的话
4 [/ B3 h1 L; f 查看服务器日志办法：日志默认存放在System32\LogFiles目录下，使用W3C扩展格式7 n8 h7 b1 X0 w& M0 r
虚拟主机查看日志办法：根目录下logfiles文件(一般需虚拟主机面板中开启日志记录)
~2 ~1 U& ]3 Q% L 2010-05-06 17:48:16 W3SVC945321 222.73.167.138 GET /FUKE/CARNATION.html - 80 - 123.125.66.42 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0 7341
# l4 ]/ M7 c1 {, F, ]9 q 1、2010-05-06 17:48:16 蜘蛛光临的时间
" m/ u& s. ^# V/ F 2、W3SVC945321 日志文件名8 `8 S* q* q5 y( X1 `5 j
3、222.73.167.138 网站服务器IP地址; J" L l8 u j- i( U9 p' {
4、GET 是从服务器上获取数据' K. z0 U# @8 {* L
5、/FUKE/CARNATION.html 抓取的文件
: y" D# X$ \. W, V# t5 u 6、- 80 - 80端口3 C7 ^ r+ ]! k9 M) o5 M
7、123.125.66.42 蜘蛛的来路地址7 M' R( D% i4 B) ~* x% Y
8、Baiduspider+ 百度蜘蛛的名字) n/ _, g0 \% `! N; _' p
9、+http://www.baidu.com/search/spider.htm 百度蜘蛛机器人的介绍
3 R& X/ S. M. g5 C1 o 10、200 0 0 7341 200服务器成功返回网页
7 Y3 u! _8 ^1 S' v由站长www.jfy315.com 整理提供。 |
