本帖最后由 流年尽是伤 于 2012-9-1 15:52 编辑 6 f) b8 A! V6 l! Y" @0 l+ R
8 Q# a8 [# e Z/ v* z) ]8 N: A
“抓取错误”是 Google网站管理员工具(Webmaster Tools)中最受欢迎的工具之一。它可以帮助你检查错误的链接，不仅仅是URL链接，还包行DNS解析失败、服务器链接、robots.txt 文件等问题，几乎所有网站都会出现抓取错误。* f& }$ y. O9 p/ V+ Y
网 站站长工具将错误分为两类：网站错误(site errors)和链接地址错误(URL errors)。如果在一个网站上出现多个抓取错误，那么你的网站信任度会下降，甚至会影响到排名，当然这工具对于百度优化同样有效。那么应当如何解决 Google网站管理员工具的抓取错误呢。 N& W6 A* r# S6 y5 m
通过Googlebot抓取的错误分类就看知道是什么导致抓取错误的原因了。
/ f% Y; |7 O1 \% m, h; e一、HTTP的错误- @4 ]1 C4 Z6 l
当一个网站上的网页(例如，当用户在浏览器中访问您的网页或Googlebot抓取页面时)到您的服务器发出请求，服务器返回HTTP状态码响应请求。4 P( C. D( M. {3 o1 R/ ^ d! l0 z
如果出现403状态，可以不用理睬，这表明是你的主机阻止了Googlebot抓取。对于所有HTTP状态码的列表文件，可以参考Google HTTP状态码帮助页面。& L% c4 a2 `, o
二、Sitemap中的错误
" o4 d8 x2 E+ z! s0 m6 Y2 O- USitemap错误往往会造成404错误页面，或在当前地图返回一个404错误页面，如果出现404错误页面请检查Sitemap中所有的链接，
2 t. G9 A( I7 a# }Google会不断抓取你已经删除的Sitemap，这点很郁闷，但也有办法解决：确保旧的Sitemap已经在管理员工具中被删除。如果不想被抓取，确保旧Sitemap出现404或者重新定向到新的Sitemap。
/ ]4 E" V2 {# k! F) M F' {5 J来自Google员工Susan Moskwa解释道：; w' }6 q# Z, l) e7 j }
阻止Googlebot的爬行，最好的办法是使这些网址(例如旧的sitemaps)出现404，当我们看到一个URL多次出现404后，Googlebot会停止爬行。4 ]" x9 [! P w, g7 y
三、重定向错误' d: X5 k0 Z' E- G
有些错误是因为301从定向引起的，执行重定向后要注意什么：/ ?0 D; P! n5 |
1：确保他们返回到正确的HTTP状态码。: o* _5 z8 ^$ R5 Z8 G9 H/ u$ o
2：确保没有任何循环重定向。5 @' s0 @* a' d- P9 z+ z
3：确保重定向指向有效的网页，而不是404页，或其他错误页，如503(服务器错误)或403(禁止抓取)
; l- ^ T: c/ @4：确保重定向不是指向一个空页面。
4 }3 _4 \0 ~' }+ R5 l/ [9 c四、404错误
& }9 ~! g* R6 V, y404错误可能会出现在以下几个方面：
Q- f# J" {: `$ v6 z1：删除了网站上的网页;0 C( u6 P& `, C5 q" z+ U0 k k
2：改变了网页的名称;
: h4 ~, m- m9 r2 L8 L4：链接到了一个不存在的页面;
" T7 _- o* Q5 c# U4 w* n5：其他网站链接到你网站上一个不存在的页面;
, O1 B$ C2 M& ^0 {: {6：网站迁移到一个新的域名不完全匹配的网站。9 T7 `+ u. Y6 Q$ @
五、受robots.txt限制6 O# _& r6 x9 \% q: q# T+ }
还有一个原因是robots.txt文件阻止了Googlebot的抓取，如果出现大量抓取错误，第一步应该检查robots.txt- a. O9 E! x" H y
六、软404错误 Z0 t7 P G; P9 x
通 常情况下，当有人请求的页面不存在，服务器将返回一个404(未找到)错误。除了在响应请求的页面不存在返回404代码，服务器也将显示一个404页。 这可能是一个标准的“未找到文件”的消息，或旨在提供更多信息的用户，它可能是一个自定义页面。 页的内容是由服务器返回的HTTP响应完全无关。仅仅因为一个页面显示404文件未找到消息并不意味着它是一个404页。
8 A+ m$ e) E1 D本文由 http://www.syzmkm.com/ 整理发表,转载请注明出处. z8 V$ k6 p: h5 g
D3 W& x% T# {1 @, M* q* g+ i( k
|
