robots能否彻底屏蔽搜索蜘蛛爬行？

       很多时候，我们会想到某些页面或者链接不被搜索引擎抓取，就会想到屏蔽掉蜘蛛。那么，说到屏蔽搜索蜘蛛的抓取，自然而然的就会想到robots.txt文档。robots.txt是什么？其实在此前笔者也已经对此进行了基础的说明。 robots.txt是一种存放在网站空间根目录下的文本文件，是一种协议，用来告诉搜索蜘蛛网站中哪些可被爬行抓取，哪些不可被爬行抓取。

robots.txt能屏蔽蜘蛛的爬行抓取
/ z4 m" `5 Y6 N1 F
4 n  F! J& b7 b3 I; P" {( l5 Y近日，有些朋友遇到了这么一个问题：“我明明用robots.txt屏蔽了wordpress中的目录文件呀，为什么蜘蛛每日仍然照常爬行呢？”而后，笔者自然便查网站robots.txt文档，以下便是对wordpress目录屏蔽设置：
( e( H' \: H! Z( G- y3 i
  i8 C# ], w8 C6 Y" }2 pDisallow: /wp-admin

Disallow: /wp-content
7 P" ~6 M6 z* ^! g# l
Disallow: /wp-includes
1 `( u9 ?1 h* ?+ Q
) h" R" ~  x; T) r  K8 P( k在查看过后，发现了这么一个问题，这是目录文件屏蔽，然而，这屏蔽设置后边却似乎缺少了，而进行咨询时，好友却是这么认为：“目录文件前边加上了/ 就可以了，后边加不加都一样的呀”。对此，笔者却是另一种看法，在后边加上与未加上/,对于蜘蛛而言是两种概念，加上了是告诉蜘蛛，这是一个文件夹，而未 加上即告诉蜘蛛这是一个文件，也因此导致明明在robots.txt上做好了设置，却没能有效的屏蔽。当然这仅仅是笔者的个人看法。
) x6 t" V1 h; R' u! r1 O
继而，好友听从建议将robots.txt修改为：
( A! |) Z! ^2 X  K
Disallow: /wp-admin/

Disallow: /wp-content/

Disallow: /wp-includes/

: [; U4 e% p" i% I) M成功修改后便在百度站长平台进行提交重新生成操作(需要注意的是，若不主动提交生成，靠蜘蛛自行生产的话，耗时较长的喔)，在当天也就生效了。隔日后再对日志进行查看，发现蜘蛛对这三个wordpress下的目录真的不再爬行抓取了。

; Q, j& m5 S# [/ z/ V从这么一点上看，在我们进行网站SEO优化之时，着实不能忽略任何细节，仅仅一个，可带来的却是不一样的效果。
" J+ m9 B4 ]6 `5 ~
robots.txt不能彻底屏蔽蜘蛛的爬行抓取

而在这一问题解决后，好友在这文件屏蔽上却又有了另一问题：“明明把某个目录屏蔽了呀，为什么蜘蛛还是能够抓取收录该目录下的某个文件呢？”

0 O: e! b) I/ a% E那么，在这里就需要做一个说明，robots.txt协议并非是一个标准，一个规范，只是约定俗成而已罢了，通常搜索引擎会识别这个文件，但也有一些特殊情况。（如之前的360事件就不作为此次讨论内容）

( P2 _5 S- O0 \$ @; A) ^无论是百度亦或是谷歌，某个页面只要有其他网站链接到该页面的话，同样有可能会被索引和收录。要想彻底屏蔽页面文件被谷歌索引的话（即使有其他网站链接到该页面文件），则需要在页面head中插入noindex元标记或x-robots-tag。如下：
" n  U( k1 _; ~& ^4 r2 p5 b
<meta name=“googlebot” content=“noindex”>
$ ]6 L+ r' X; V5 i
当谷歌蜘蛛看到页面上着noindex的元标记，就会将此页从谷歌搜索结果中完全丢弃，无视是否还有其他页链接到此页。

刚好遇到类似问题，看完这个帖子心里有底了

学习到了，之前一直没注意过这个点，受教了

说得很实在，没有夸大其词，这种真实分享太难得了

分析得很透彻，很多细节都说到点子上了～

蹲了这么久，终于看到有价值的讨论，支持一下！

楼主辛苦了，整理这么多内容，必须点赞收藏

这个分享太实用了，刚好能用到，感谢楼主！