baidu蜘蛛的代码剖析与畜养技法' i6 ]& S( Q8 A4 q8 Q
7 |! y3 x$ A$ L5 p
先申说下，不是淮安仁爱seor写的，是网上收集再整理的，有错误的下边的奉复申说，虚心求教。假如用虚拟主机的朋友，可以FTP的你的空间上找到logfiles文件夹，下边的.log文件就是IIS日记了: r9 |( B7 H4 z. J7 _- a
研讨se爬行规律对于网页seo意义重大，出奇是对baidu蜘蛛Baiduspider的研讨。本文讲解一下baidu蜘蛛爬行后回返代码代表的具体含义：
9 S3 j5 \; p+ c/ _' ] 2xx 成功. O h$ [: o6 ^; ]0 H
. g* `$ y5 J/ u8 u! P6 z
201 正常;紧接 POST 命令。. I1 X3 q# _5 u4 t- {1 Y3 v
202 正常;已接纳用于办理，但办理尚未完成。
* Z& ]' z: A2 @2 X6 o 203 正常;局部信息 - 回返的信息只是一局部。
, M* y% \9 W P 204 正常;无响应 - 已收缴烦请，但不存在要回送的信息。& T+ y: t$ v @/ a
3xx 重定向
3 }1 r" }5 p6 H$ g/ X. i 301 已移动 - 烦请的数据具备新的位置且更改是永久的。
# E; d. Q5 @8 i& h& A 302 已找到 - 烦请的数据临时具备不一样 URI。! I3 Y9 _ g7 u; E7 v
303 请参看其他 - 可在另一 URI 下找到对烦请的响应，且应使役 GET 办法检索此响应。# ~2 ]5 O* }1 y
304 未修改 - 未按预期修改文档。" n) S" U: G; N' s1 m* u/ ?# o
305 使役摄理 - 务必经过位置字段中提供的摄理来过访烦请的资源。
2 O( o* a1 }2 @. [6 K% M 306 未使役 - 不再使役;保存此代码以便日后使役。
. l* k& m7 {2 M7 V 4xx 客户机中出现的不对
% W" L% S* o" j 400 不对烦请 - 烦请中有语法问题，或不得知足烦请。
$ b$ e- W9 h; e* M- t- {/ C 401 未授权 - 未授权客户机过访数据。* n( ^- s( u- f# l
402 需要付款 - 表达计费系统已管用。4 Q' o# L0 Z! @& [( _& x6 P9 |
403 禁阻 - 纵然有授权也不必过访。3 M' o$ L0 s4 @- E( f. H
404 找不到 - 服务器找不到给定的资源;文档不存在。# ^, \! }$ I8 b- k
407 摄理认证烦请 - 客户机首先务必使役摄理认证自身。; u7 t6 f$ i# V
410 烦请的网页不存在(永久);8 F2 b) \# C. V& y9 u# F; {
415 媒介类型不受支持 - 服务器谢绝服务烦请，因为不支持烦请实体的款式。
3 R2 I, Y1 z# P6 X 5xx 服务器中出现的不对
% v9 a0 M9 y6 u. Y# C& Z 500 内部不对 - 因为非命情况，服务器不得完成烦请。
8 l- ]" V. o4 \4 O; B
8 W+ A& `. V4 R! m( N& \% T 502 不对网关 - 服务器收缴到来自上游服务器的无效响应。6 _" b- b6 J$ F$ u- U: q% T
503 无法得到服务 - 因为临时转载或保护，服务器无法办理烦请。" m; K/ v B/ |* F. B) \2 \
譬如说：
* }) Q: q, P. d! M2 d4 o/ ^8 U6 U# e$ `7 I4 d* ~; i7 U
这就意味着baidu蜘蛛在2008-10-27 04:25:32 爬过/index.html这一页，304代表了它发现这页是没有更新过的。依据这个我们可以多查看iis日记，研讨蜘蛛爬行的途径，找出自个儿网页存在的问题，进而修改。
4 x4 z0 o; h2 H3 K i7 O2 {% a6 b w5 c& r1 x3 w
在baidu研讨院的论坛里看见一位斑竹有这么的一段讲解：
. J/ B4 a4 r" w 蜘蛛在IIS里的行径200 0 64 的讲解：
& v. O* |: K3 e8 } 依据我前段时间迄今的打量，虽然没有足够的凭证，不过基本上可以肯定在IIS中，假如蜘蛛后面的号头出现200 0 64，那么网页中的这个单页面便会在搜引得擎中消逝了.我被K的页面后面都写着200 0 64 ,不晓得大家是否认同，还有其它看法，当然，我说这个不够完全,因为我也有一个页面后面预示着200 0 64 不过在搜引得擎中依然可以找到.这也申说着问题，但大多200 0 64行径的网页就已经没有了.
, ?; u5 O# y7 c/ X 所以我感到蜘蛛的200 0 64行径可以被讲解为荡除数据。! _: E7 [3 m7 O
这个讲解，现下看 上去仍然有可信度的。我认为，抓取面貌成200 0 64是不正常的抓取，正常的抓取是成功微记200 0 0，当成为了200 0 64的面貌时申说搜引得擎在抓取这个页面的时分出现了不对，没有正常的施行常理抓取;对于baidu来说，baidu很可能是已经不再把这些页面抓进主引得库，而是放 进了“baidu沙盒”里施行考察，考察多久，就看你若何改进，或许，你看不到baidu把这些被K的网页开释出来的时分，人是没有规律的。
; `$ Y1 H1 ]0 C" q; _% D/ s) k 正巧，我手上也有被baiduK的网页，敞开这个网页的IIS日记(.log后缀，如ex080222.log)，果不其然，也发现了baidu回返200 0 64的面貌：" V4 _ c }' v9 J, ]- H! g4 v5 R
i* l' X" E, U5 w& _
# }7 K3 G1 Q$ t( V5 O% Z' _ 淮安仁爱对于已经被baidu拔毛的网页来说，假如你还在乎baidu，那就连忙修改网页上的一切作弊的地方，消弭过度seo，消弭恶意链接，等待baidu再次光临，普通来说，这需要2-3个月的时间，仍然认真做站，先想着用户为好。
1 s; |" H5 I1 N2 l" B8 n+ ^; m1 I* a8 C
9 U$ U+ a. u2 Y+ E" S# P/ t6 J, n' T5 f4 H! d
【本文是由淮安仁爱:http://www.hank120.com为大家分享!】* y; m- D4 w. s
4 V6 u3 Y+ Q; a! X; \, r! g/ }* _
7 Y7 N q3 E4 @' W- g* e |
