很多时候，我们会想到某些页面或者链接不被搜索引擎抓取，就会想到屏蔽掉蜘蛛。那么，说到屏蔽搜索蜘蛛的抓取，自然而然的就会想到robots.txt文档。robots.txt是什么？其实在此前笔者也已经对此进行了基础的说明。 robots.txt是一种存放在网站空间根目录下的文本文件，是一种协议，用来告诉搜索蜘蛛网站中哪些可被爬行抓取，哪些不可被爬行抓取。& ~! N p( r |0 g( T: A
7 m6 T' y6 X# I1 M/ |, k7 R+ f; q
robots.txt能屏蔽蜘蛛的爬行抓取6 a# u0 ~- R* d4 M! ]. c( K: w
3 s1 b3 ?8 a4 b0 r近日，有些朋友遇到了这么一个问题：“我明明用robots.txt屏蔽了wordpress中的目录文件呀，为什么蜘蛛每日仍然照常爬行呢？”而后，笔者自然便查网站robots.txt文档，以下便是对wordpress目录屏蔽设置：
& W. C U+ n. r& `% }7 X' C
. C' d$ r1 r- O6 qDisallow: /wp-admin" [. n: Y5 ?/ x+ M5 A: c
: p- [5 o+ k* E/ j7 U8 \3 o9 R6 `Disallow: /wp-content
|. Z! x8 M% i# ^/ T
- Z4 p) L0 B% q+ ADisallow: /wp-includes) l6 F7 K1 u: Y8 t
' _, J- l# Q& R& [) a' d
在查看过后，发现了这么一个问题，这是目录文件屏蔽，然而，这屏蔽设置后边却似乎缺少了，而进行咨询时，好友却是这么认为：“目录文件前边加上了/ 就可以了，后边加不加都一样的呀”。对此，笔者却是另一种看法，在后边加上与未加上/,对于蜘蛛而言是两种概念，加上了是告诉蜘蛛，这是一个文件夹，而未 加上即告诉蜘蛛这是一个文件，也因此导致明明在robots.txt上做好了设置，却没能有效的屏蔽。当然这仅仅是笔者的个人看法。$ p9 ^; e! a% c( T. w [
# D, S$ x! p$ m; j8 ]2 k
继而，好友听从建议将robots.txt修改为：6 B. N! e8 K7 {9 U% W. Q* E) I
0 A: |& H& `4 q: j- |1 B9 ODisallow: /wp-admin/ z8 ]/ L9 }! K7 D$ _$ _
1 I4 F/ B3 ?. n
Disallow: /wp-content/ p+ q4 ?; G7 o3 b6 t; ~
* K# I0 B: T. a' g
Disallow: /wp-includes/
3 @: s+ U; G" ]0 l5 p
3 J% P6 p0 J4 C5 F% y1 s成功修改后便在百度站长平台进行提交重新生成操作(需要注意的是，若不主动提交生成，靠蜘蛛自行生产的话，耗时较长的喔)，在当天也就生效了。隔日后再对日志进行查看，发现蜘蛛对这三个wordpress下的目录真的不再爬行抓取了。# ^; e, E/ n' p9 n+ L3 G
9 U! l0 W( M* B: @5 b& ~8 I
从这么一点上看，在我们进行网站SEO优化之时，着实不能忽略任何细节，仅仅一个，可带来的却是不一样的效果。% p1 Z& u( ~9 l6 h, J1 |9 C4 S
7 w: d) t1 K$ X: V4 V; grobots.txt不能彻底屏蔽蜘蛛的爬行抓取
" }( K, i0 T& n N( X3 O3 L7 I9 ~' @* b+ u: |- n `& b7 @
而在这一问题解决后，好友在这文件屏蔽上却又有了另一问题：“明明把某个目录屏蔽了呀，为什么蜘蛛还是能够抓取收录该目录下的某个文件呢？”
( f+ L0 ]6 Y2 m( K6 @4 f' Q& K6 f- G' S- B1 W
那么，在这里就需要做一个说明，robots.txt协议并非是一个标准，一个规范，只是约定俗成而已罢了，通常搜索引擎会识别这个文件，但也有一些特殊情况。（如之前的360事件就不作为此次讨论内容）( ]* j$ u% N8 ]
4 M+ R) X0 ]" W! T1 i* k
无论是百度亦或是谷歌，某个页面只要有其他网站链接到该页面的话，同样有可能会被索引和收录。要想彻底屏蔽页面文件被谷歌索引的话（即使有其他网站链接到该页面文件），则需要在页面head中插入noindex元标记或x-robots-tag。如下：5 K2 @# g: T( I0 _ x2 @
1 \4 `5 p9 |! C* |<meta name=“googlebot” content=“noindex”>
0 F; R1 D' o0 k9 l" S- L+ Y# p1 D- E) C
当谷歌蜘蛛看到页面上着noindex的元标记，就会将此页从谷歌搜索结果中完全丢弃，无视是否还有其他页链接到此页。 |
