baidu蜘蛛的代码剖析与畜养技法
3 c: J, |. |7 @
L+ X$ X6 N+ h: `% u5 C, z4 S1 k 先申说下，不是淮安仁爱seor写的，是网上收集再整理的，有错误的下边的奉复申说，虚心求教。假如用虚拟主机的朋友，可以FTP的你的空间上找到logfiles文件夹，下边的.log文件就是IIS日记了3 h+ y" f8 c7 b- T. O' z ^
研讨se爬行规律对于网页seo意义重大，出奇是对baidu蜘蛛Baiduspider的研讨。本文讲解一下baidu蜘蛛爬行后回返代码代表的具体含义：
# Z- ~7 u3 Z4 b x0 a$ z 2xx 成功$ d0 F$ L5 i1 x
& I' p% p" D6 v* i
201 正常;紧接 POST 命令。* u: y* p9 n! H2 `
202 正常;已接纳用于办理，但办理尚未完成。- E2 u0 c/ n4 A
203 正常;局部信息 - 回返的信息只是一局部。* k- ]* h5 B& }7 C/ O% T# w! p4 I; v
204 正常;无响应 - 已收缴烦请，但不存在要回送的信息。; M1 B$ x% w* E. n* e/ J6 D6 F
3xx 重定向
* U8 |. x0 u# ]8 \- h2 O% V 301 已移动 - 烦请的数据具备新的位置且更改是永久的。; A0 m1 ^$ W! ^
302 已找到 - 烦请的数据临时具备不一样 URI。
9 R* \! r2 R: G1 }5 w/ y* | 303 请参看其他 - 可在另一 URI 下找到对烦请的响应，且应使役 GET 办法检索此响应。
, w* h8 z, w2 \3 v 304 未修改 - 未按预期修改文档。" Q( I. i4 I+ s# V$ Y4 ]2 p
305 使役摄理 - 务必经过位置字段中提供的摄理来过访烦请的资源。" }* A, [# u* b# _9 o
306 未使役 - 不再使役;保存此代码以便日后使役。* n" r' c/ n( ], g4 ~# X6 r
4xx 客户机中出现的不对, {& Y2 l' l9 g. }4 ]' U4 v
400 不对烦请 - 烦请中有语法问题，或不得知足烦请。
' u% V: h& g% c' @" P" d 401 未授权 - 未授权客户机过访数据。
1 h% z, @2 Q0 @6 ~$ ^ 402 需要付款 - 表达计费系统已管用。
. G" r+ Z& r6 A" _9 z, r 403 禁阻 - 纵然有授权也不必过访。4 Q9 G9 J6 S$ A p) c( A& b/ [
404 找不到 - 服务器找不到给定的资源;文档不存在。
3 T! q' ]9 r* O 407 摄理认证烦请 - 客户机首先务必使役摄理认证自身。
5 w0 ?) n: g9 [. m/ ? 410 烦请的网页不存在(永久);
2 |: v2 t0 i. v* g4 K 415 媒介类型不受支持 - 服务器谢绝服务烦请，因为不支持烦请实体的款式。$ P$ J9 X2 F. ~ a( C6 A1 T6 e I
5xx 服务器中出现的不对
# w6 ^1 o3 S+ L) K. _5 a5 Y% N 500 内部不对 - 因为非命情况，服务器不得完成烦请。
4 k" W$ n4 t% @5 R7 @4 @
; L4 `/ X; D8 C- j 502 不对网关 - 服务器收缴到来自上游服务器的无效响应。
( F2 D7 [7 ~' q2 s0 t& \ 503 无法得到服务 - 因为临时转载或保护，服务器无法办理烦请。
/ K2 C+ j- J, ~/ \* ^ 譬如说：
/ c1 l) F% c. t9 g* \3 ]
: u! `; r7 T$ [& Z" ~0 Q 这就意味着baidu蜘蛛在2008-10-27 04:25:32 爬过/index.html这一页，304代表了它发现这页是没有更新过的。依据这个我们可以多查看iis日记，研讨蜘蛛爬行的途径，找出自个儿网页存在的问题，进而修改。
1 [/ G; i% U J- r6 T: l W# U: o) R5 f3 z# T- G8 ^
在baidu研讨院的论坛里看见一位斑竹有这么的一段讲解：* F/ r F1 b9 J* W4 `" p
蜘蛛在IIS里的行径200 0 64 的讲解：- Z% v8 B, o% G3 g+ W3 Y- X+ }
依据我前段时间迄今的打量，虽然没有足够的凭证，不过基本上可以肯定在IIS中，假如蜘蛛后面的号头出现200 0 64，那么网页中的这个单页面便会在搜引得擎中消逝了.我被K的页面后面都写着200 0 64 ,不晓得大家是否认同，还有其它看法，当然，我说这个不够完全,因为我也有一个页面后面预示着200 0 64 不过在搜引得擎中依然可以找到.这也申说着问题，但大多200 0 64行径的网页就已经没有了.3 E/ R1 Q1 }- q8 d) h: E( O
所以我感到蜘蛛的200 0 64行径可以被讲解为荡除数据。
1 P, ^/ M# |7 Q8 Q0 ?9 i' \! n 这个讲解，现下看 上去仍然有可信度的。我认为，抓取面貌成200 0 64是不正常的抓取，正常的抓取是成功微记200 0 0，当成为了200 0 64的面貌时申说搜引得擎在抓取这个页面的时分出现了不对，没有正常的施行常理抓取;对于baidu来说，baidu很可能是已经不再把这些页面抓进主引得库，而是放 进了“baidu沙盒”里施行考察，考察多久，就看你若何改进，或许，你看不到baidu把这些被K的网页开释出来的时分，人是没有规律的。
3 G8 k! c4 Q4 {* E* r5 Y6 P. t 正巧，我手上也有被baiduK的网页，敞开这个网页的IIS日记(.log后缀，如ex080222.log)，果不其然，也发现了baidu回返200 0 64的面貌：
7 w* o9 A5 a4 y/ S! `
! P6 y0 c; V4 u$ g+ o6 ~- ? S! v# N, V% z# O0 c
淮安仁爱对于已经被baidu拔毛的网页来说，假如你还在乎baidu，那就连忙修改网页上的一切作弊的地方，消弭过度seo，消弭恶意链接，等待baidu再次光临，普通来说，这需要2-3个月的时间，仍然认真做站，先想着用户为好。/ z5 o" i) H4 X: O+ p
# D; [3 A5 v/ z8 p/ d3 i; S
% o" f0 n ~( W0 r
【本文是由淮安仁爱:http://www.hank120.com为大家分享!】
9 q* N) m. Q! x/ u. f+ R
: X4 |4 K8 o9 C; S, _: r
6 r! \( I; C& T& p4 r |
