本帖最后由 流年尽是伤 于 2012-9-1 15:52 编辑
1 @% ]# Y3 U) F- ]* f& e
I6 q8 _) L( {; z“抓取错误”是 Google网站管理员工具(Webmaster Tools)中最受欢迎的工具之一。它可以帮助你检查错误的链接，不仅仅是URL链接，还包行DNS解析失败、服务器链接、robots.txt 文件等问题，几乎所有网站都会出现抓取错误。5 c2 x2 ?( Y6 D6 ~) y* T4 c
网 站站长工具将错误分为两类：网站错误(site errors)和链接地址错误(URL errors)。如果在一个网站上出现多个抓取错误，那么你的网站信任度会下降，甚至会影响到排名，当然这工具对于百度优化同样有效。那么应当如何解决 Google网站管理员工具的抓取错误呢。1 k0 s5 |$ y& F1 n
通过Googlebot抓取的错误分类就看知道是什么导致抓取错误的原因了。
- w; j; G; c! V- [* Y8 v一、HTTP的错误7 G8 x# ]* S7 l. S& O7 n9 d- q- S* v
当一个网站上的网页(例如，当用户在浏览器中访问您的网页或Googlebot抓取页面时)到您的服务器发出请求，服务器返回HTTP状态码响应请求。* G3 \5 H# h% j" F% p$ N
如果出现403状态，可以不用理睬，这表明是你的主机阻止了Googlebot抓取。对于所有HTTP状态码的列表文件，可以参考Google HTTP状态码帮助页面。
& w% _7 \2 i' r0 O, h P二、Sitemap中的错误. M, ^& G4 h2 R5 d4 ?7 K9 J
Sitemap错误往往会造成404错误页面，或在当前地图返回一个404错误页面，如果出现404错误页面请检查Sitemap中所有的链接，! e& v; u5 n! b3 d( q: W. w
Google会不断抓取你已经删除的Sitemap，这点很郁闷，但也有办法解决：确保旧的Sitemap已经在管理员工具中被删除。如果不想被抓取，确保旧Sitemap出现404或者重新定向到新的Sitemap。* h- Q a" q9 x4 I* t6 _
来自Google员工Susan Moskwa解释道：
1 I" w7 H1 h4 z' O! t0 w阻止Googlebot的爬行，最好的办法是使这些网址(例如旧的sitemaps)出现404，当我们看到一个URL多次出现404后，Googlebot会停止爬行。
, Q7 [* q! b4 i% X+ t* f, l8 q三、重定向错误
3 P8 ^; z4 G# b* X' E有些错误是因为301从定向引起的，执行重定向后要注意什么：
( m- [) T7 e- O- D1：确保他们返回到正确的HTTP状态码。
3 K, N+ U- m5 A2：确保没有任何循环重定向。
: D1 b; e; a6 L% q5 u! t3：确保重定向指向有效的网页，而不是404页，或其他错误页，如503(服务器错误)或403(禁止抓取)8 J8 a: r- A2 s
4：确保重定向不是指向一个空页面。
" ~. y8 ?" n4 ^, ~四、404错误- C) T( P/ D* o6 }' [
404错误可能会出现在以下几个方面：
5 R( l; Z) _$ j! h1：删除了网站上的网页;. z* G( ]8 T- k {
2：改变了网页的名称;1 a, w/ R0 J2 y8 A8 @% ?2 D
4：链接到了一个不存在的页面;
) @" I, Q4 {! }5：其他网站链接到你网站上一个不存在的页面;
6 |2 [! b+ O% ^6：网站迁移到一个新的域名不完全匹配的网站。7 o4 m3 y* m2 ?/ C. F$ A5 U% }
五、受robots.txt限制$ T8 o# ~) o+ {% E$ L# Y9 D9 N
还有一个原因是robots.txt文件阻止了Googlebot的抓取，如果出现大量抓取错误，第一步应该检查robots.txt% W! T5 u1 q) S: W% w4 h; C/ s
六、软404错误
1 t; l4 E# g4 q5 r% b0 ^5 V通 常情况下，当有人请求的页面不存在，服务器将返回一个404(未找到)错误。除了在响应请求的页面不存在返回404代码，服务器也将显示一个404页。 这可能是一个标准的“未找到文件”的消息，或旨在提供更多信息的用户，它可能是一个自定义页面。 页的内容是由服务器返回的HTTP响应完全无关。仅仅因为一个页面显示404文件未找到消息并不意味着它是一个404页。0 w6 ?$ w2 |3 C$ a
本文由 http://www.syzmkm.com/ 整理发表,转载请注明出处! ?3 p$ b) B: Z* O9 E& B
, t J9 M1 E( ]) r |
