很多时候，我们会想到某些页面或者链接不被搜索引擎抓取，就会想到屏蔽掉蜘蛛。那么，说到屏蔽搜索蜘蛛的抓取，自然而然的就会想到robots.txt文档。robots.txt是什么？其实在此前笔者也已经对此进行了基础的说明。 robots.txt是一种存放在网站空间根目录下的文本文件，是一种协议，用来告诉搜索蜘蛛网站中哪些可被爬行抓取，哪些不可被爬行抓取。& W; F J. C7 E* T& Z" a
) h. V1 C. o$ b% ]6 p8 d4 ~7 R/ v
robots.txt能屏蔽蜘蛛的爬行抓取! X% ^& w( l- B( `7 ]
+ b/ b, s( w0 X8 Q3 r" d9 u
近日，有些朋友遇到了这么一个问题：“我明明用robots.txt屏蔽了wordpress中的目录文件呀，为什么蜘蛛每日仍然照常爬行呢？”而后，笔者自然便查网站robots.txt文档，以下便是对wordpress目录屏蔽设置：( ` Y' r6 h$ J" g9 c
+ N: d7 h4 _# c% ~& Y7 K" h' S* y
Disallow: /wp-admin
1 v) Z$ F4 @5 ~, ]% r+ W F. i1 i5 o S8 a* H+ I6 u1 h( h6 C
Disallow: /wp-content
" s, M4 K' _. o* H! w& ^* r
: e, V; y+ Y* c: \7 \Disallow: /wp-includes
- w- C k+ r. Y- K {3 s( D: B+ D+ {# y
在查看过后，发现了这么一个问题，这是目录文件屏蔽，然而，这屏蔽设置后边却似乎缺少了，而进行咨询时，好友却是这么认为：“目录文件前边加上了/ 就可以了，后边加不加都一样的呀”。对此，笔者却是另一种看法，在后边加上与未加上/,对于蜘蛛而言是两种概念，加上了是告诉蜘蛛，这是一个文件夹，而未 加上即告诉蜘蛛这是一个文件，也因此导致明明在robots.txt上做好了设置，却没能有效的屏蔽。当然这仅仅是笔者的个人看法。- U, T" N0 j. b$ J
1 _5 v7 I6 y ^; [3 R2 m: a继而，好友听从建议将robots.txt修改为：
( C! B9 N7 e) w
, u" S9 t1 E G6 j5 F u/ F' W' kDisallow: /wp-admin/
) J4 }6 f* W( P8 b! Q
# w5 h( n8 H" k7 y7 b+ lDisallow: /wp-content/% v2 f) _" @7 }1 [" m, E
* p: ~5 k# ]8 G' I$ x* BDisallow: /wp-includes/- z8 W% c k# K8 J% A) c
* K. l; P, H0 A/ Z, ?+ ]( R成功修改后便在百度站长平台进行提交重新生成操作(需要注意的是，若不主动提交生成，靠蜘蛛自行生产的话，耗时较长的喔)，在当天也就生效了。隔日后再对日志进行查看，发现蜘蛛对这三个wordpress下的目录真的不再爬行抓取了。
" p' @2 c; {7 n8 c, J( C/ y0 L8 h
从这么一点上看，在我们进行网站SEO优化之时，着实不能忽略任何细节，仅仅一个，可带来的却是不一样的效果。0 _, J6 f i1 a% w( h* g: x. y
- R8 i/ G8 d% ]/ I/ C% t6 E/ U+ Nrobots.txt不能彻底屏蔽蜘蛛的爬行抓取
, |7 r3 {, W0 s7 G( E" S% H0 {. g- n! I
而在这一问题解决后，好友在这文件屏蔽上却又有了另一问题：“明明把某个目录屏蔽了呀，为什么蜘蛛还是能够抓取收录该目录下的某个文件呢？”
8 y. O* W8 \0 {- u. V
! v4 D( G' u' Y那么，在这里就需要做一个说明，robots.txt协议并非是一个标准，一个规范，只是约定俗成而已罢了，通常搜索引擎会识别这个文件，但也有一些特殊情况。（如之前的360事件就不作为此次讨论内容） H* j: O; O/ ?$ ~! R) ]8 f9 l
! m& r" i3 \( }8 s8 i) f无论是百度亦或是谷歌，某个页面只要有其他网站链接到该页面的话，同样有可能会被索引和收录。要想彻底屏蔽页面文件被谷歌索引的话（即使有其他网站链接到该页面文件），则需要在页面head中插入noindex元标记或x-robots-tag。如下：
! K) I. e5 r X7 f
; J/ [8 V. z* H' M+ u, C7 D<meta name=“googlebot” content=“noindex”>& E9 u9 @/ s, k1 L, T6 Z6 q
+ E4 D. Z9 G/ D8 \
当谷歌蜘蛛看到页面上着noindex的元标记，就会将此页从谷歌搜索结果中完全丢弃，无视是否还有其他页链接到此页。 |
