本帖最后由 流年尽是伤 于 2012-9-1 15:52 编辑 & M& j* x+ @/ s6 C0 v; K
! `. n/ q9 Q5 b) Q( D“抓取错误”是 Google网站管理员工具(Webmaster Tools)中最受欢迎的工具之一。它可以帮助你检查错误的链接，不仅仅是URL链接，还包行DNS解析失败、服务器链接、robots.txt 文件等问题，几乎所有网站都会出现抓取错误。
y" f" V4 j7 F网 站站长工具将错误分为两类：网站错误(site errors)和链接地址错误(URL errors)。如果在一个网站上出现多个抓取错误，那么你的网站信任度会下降，甚至会影响到排名，当然这工具对于百度优化同样有效。那么应当如何解决 Google网站管理员工具的抓取错误呢。% P, S) T* Z) u; N5 R7 `, @8 X d
通过Googlebot抓取的错误分类就看知道是什么导致抓取错误的原因了。
% C+ q5 N/ ?$ ~& l" F一、HTTP的错误! j) F' v* a% y! \
当一个网站上的网页(例如，当用户在浏览器中访问您的网页或Googlebot抓取页面时)到您的服务器发出请求，服务器返回HTTP状态码响应请求。
; a$ g# {; T7 O- w" u6 | ~ C, t% B如果出现403状态，可以不用理睬，这表明是你的主机阻止了Googlebot抓取。对于所有HTTP状态码的列表文件，可以参考Google HTTP状态码帮助页面。% j. T; S% I! f) w
二、Sitemap中的错误
6 ]& ^1 |; _: d1 iSitemap错误往往会造成404错误页面，或在当前地图返回一个404错误页面，如果出现404错误页面请检查Sitemap中所有的链接，' o$ f/ {: P# |5 y
Google会不断抓取你已经删除的Sitemap，这点很郁闷，但也有办法解决：确保旧的Sitemap已经在管理员工具中被删除。如果不想被抓取，确保旧Sitemap出现404或者重新定向到新的Sitemap。
) I3 n3 m' i# \" E+ s! c2 a来自Google员工Susan Moskwa解释道：
+ T% g. z# _& g3 ^6 X阻止Googlebot的爬行，最好的办法是使这些网址(例如旧的sitemaps)出现404，当我们看到一个URL多次出现404后，Googlebot会停止爬行。2 n) J2 r0 S& Z- J
三、重定向错误
$ U$ N+ \& F6 o* E, Z% z# L有些错误是因为301从定向引起的，执行重定向后要注意什么：5 @5 c o7 V# r: J- j0 B/ a
1：确保他们返回到正确的HTTP状态码。
0 Z% e- p( k" _# j# @( D) O2：确保没有任何循环重定向。, P" ]- X$ ~) n! e: E8 _
3：确保重定向指向有效的网页，而不是404页，或其他错误页，如503(服务器错误)或403(禁止抓取)2 I9 q6 R9 ?# q6 r% `
4：确保重定向不是指向一个空页面。
; U9 K9 C3 d, l9 D6 k1 V! u四、404错误; l& I; O$ ~+ O" `3 O& T/ v+ t
404错误可能会出现在以下几个方面：% l$ M1 M: C1 p$ x2 N3 e
1：删除了网站上的网页;
# e$ {2 M, G# L! a9 ~2：改变了网页的名称;
6 _& K9 U6 s. `7 r) i. x" z' J8 U4：链接到了一个不存在的页面;0 i+ d5 t9 |- s9 q
5：其他网站链接到你网站上一个不存在的页面;" [+ z( G/ X2 s1 n0 v+ l
6：网站迁移到一个新的域名不完全匹配的网站。
4 ]" c. R2 B5 U1 r" M# z- \5 m五、受robots.txt限制
0 y6 M" y8 U# ~0 | l还有一个原因是robots.txt文件阻止了Googlebot的抓取，如果出现大量抓取错误，第一步应该检查robots.txt: w' q2 S! r# l% h$ y4 i, \9 q
六、软404错误6 k5 c4 F9 O5 S/ q
通 常情况下，当有人请求的页面不存在，服务器将返回一个404(未找到)错误。除了在响应请求的页面不存在返回404代码，服务器也将显示一个404页。 这可能是一个标准的“未找到文件”的消息，或旨在提供更多信息的用户，它可能是一个自定义页面。 页的内容是由服务器返回的HTTP响应完全无关。仅仅因为一个页面显示404文件未找到消息并不意味着它是一个404页。* q9 H8 s f W0 _& b
本文由 http://www.syzmkm.com/ 整理发表,转载请注明出处4 C" r, v3 _$ e: M& z w
C. W- D' U. N2 Q8 a |
