很多时候，我们会想到某些页面或者链接不被搜索引擎抓取，就会想到屏蔽掉蜘蛛。那么，说到屏蔽搜索蜘蛛的抓取，自然而然的就会想到robots.txt文档。robots.txt是什么？其实在此前笔者也已经对此进行了基础的说明。 robots.txt是一种存放在网站空间根目录下的文本文件，是一种协议，用来告诉搜索蜘蛛网站中哪些可被爬行抓取，哪些不可被爬行抓取。
* r+ {3 t" N4 Q: d2 q( G' B
* b5 I$ c2 w: _. X: @robots.txt能屏蔽蜘蛛的爬行抓取8 ~+ s& Z4 `- H
" y. L% j0 V+ z% S近日，有些朋友遇到了这么一个问题：“我明明用robots.txt屏蔽了wordpress中的目录文件呀，为什么蜘蛛每日仍然照常爬行呢？”而后，笔者自然便查网站robots.txt文档，以下便是对wordpress目录屏蔽设置：+ v0 Y* F3 B3 {. R; T1 ^ m7 `
9 y* Y3 R* w! ~Disallow: /wp-admin
! [& ?; P$ [5 V+ \* j( P2 J3 d& s8 ~; j4 G% Q
Disallow: /wp-content
2 u' ~ w9 R8 r7 h/ b% v6 X0 ]% |3 ~3 g8 _) a* m$ N0 b
Disallow: /wp-includes8 t5 C: O) T- |' N" |
$ D; G7 Z' V/ X9 e1 _8 ^6 n
在查看过后，发现了这么一个问题，这是目录文件屏蔽，然而，这屏蔽设置后边却似乎缺少了，而进行咨询时，好友却是这么认为：“目录文件前边加上了/ 就可以了，后边加不加都一样的呀”。对此，笔者却是另一种看法，在后边加上与未加上/,对于蜘蛛而言是两种概念，加上了是告诉蜘蛛，这是一个文件夹，而未 加上即告诉蜘蛛这是一个文件，也因此导致明明在robots.txt上做好了设置，却没能有效的屏蔽。当然这仅仅是笔者的个人看法。
% Y F& n- \- l! ?) B% B
5 B [4 y1 z3 q% ^, i$ i; ?继而，好友听从建议将robots.txt修改为：% C8 I: l6 k* q; X9 e+ \
' @$ d3 T( t1 _8 [- NDisallow: /wp-admin/. S1 r4 s/ T. w( D r
. G3 y. z8 E( R* D% y0 w8 `2 eDisallow: /wp-content/8 j) X$ z% F, u0 i' L' H
5 |% \' E/ l' U
Disallow: /wp-includes/
- p+ n8 t }$ P! I5 t; F: S
% m0 ?1 }! h) b" L4 H$ X成功修改后便在百度站长平台进行提交重新生成操作(需要注意的是，若不主动提交生成，靠蜘蛛自行生产的话，耗时较长的喔)，在当天也就生效了。隔日后再对日志进行查看，发现蜘蛛对这三个wordpress下的目录真的不再爬行抓取了。; ^4 E) f. a$ t# h5 j
- J0 @( _! S- n$ x
从这么一点上看，在我们进行网站SEO优化之时，着实不能忽略任何细节，仅仅一个，可带来的却是不一样的效果。5 m! C" D) |0 B; Y% \
7 P+ x9 [) } z( }- {* Erobots.txt不能彻底屏蔽蜘蛛的爬行抓取
t) m& A3 p5 D8 C5 ?: W0 n* r- I" J/ j. b8 J# C3 C, V
而在这一问题解决后，好友在这文件屏蔽上却又有了另一问题：“明明把某个目录屏蔽了呀，为什么蜘蛛还是能够抓取收录该目录下的某个文件呢？”
6 i2 Z0 r& s# l$ `/ M! J+ y# K1 l# g- j# q
那么，在这里就需要做一个说明，robots.txt协议并非是一个标准，一个规范，只是约定俗成而已罢了，通常搜索引擎会识别这个文件，但也有一些特殊情况。（如之前的360事件就不作为此次讨论内容）
! q+ [5 A6 ]) m/ ^2 t
6 q& Z9 k5 {/ a% H, r) I. D1 U无论是百度亦或是谷歌，某个页面只要有其他网站链接到该页面的话，同样有可能会被索引和收录。要想彻底屏蔽页面文件被谷歌索引的话（即使有其他网站链接到该页面文件），则需要在页面head中插入noindex元标记或x-robots-tag。如下：& Z8 t* x) W4 w) \
1 K- ]' D, k* m. k& J1 z<meta name=“googlebot” content=“noindex”>
}, q' V2 z) X7 P: b
; N, Q5 j$ r, B% v7 ]/ Q当谷歌蜘蛛看到页面上着noindex的元标记，就会将此页从谷歌搜索结果中完全丢弃，无视是否还有其他页链接到此页。 |
