|
|
robots.txt文件的运用，在SEO技术里面是比较不易懂的知识，但是SEOER的我们又必须要去了解，因为它牵扯到一些代码、URL在内，也许稍微偏差一字，对网站的影响就和本身的效果远远不同了。
U$ g- X" f3 W( z/ u robots.txt的功能分很多，我们如果合理运用好，对网站的帮助是起很大作用的。接下来我们来介绍一些比较常用的功能。0 i* Q7 _' a( s+ U: P7 v
一、 利用robots.txt来限制网页快照
X" H5 ~' z2 q 很多搜索引擎都提供一个网页快照的功能。但是网页快照功能却有很多的弊端，例如事实内容在网页快照中更新不及时、索引网页快照浪费大量的服务器资源等。因此，我们有些时候可能并不需要搜索引擎来索引我们某个页面的网页快照。4 v: c; p' Q. c$ { ~4 g
解决这样问题的办法很简单，只需要在你的网页元标记中（<head>和</head>之间）放置如下的一段代码。
. u7 M3 C1 p1 { <meta name=”robots” content=”noarchive”>
3 R: P/ F4 o7 }, x8 @+ h8 A+ f 以上的一段代码限制了所有的搜索引擎建立你的网页快照。如果我们需要仅仅限制一个搜索引擎建立快照的话，就可以像如下这样去写5 M$ [" |: a+ J8 G
<meta name=”Baiduspider” content=”noarchive”>
9 r R2 `2 J( g& P$ P' k8 T, T 需要注意的是，这样的标记仅仅是禁止搜索引擎为你的网站建立快照，如果你要禁止搜索引擎索引你的这个页面的话，请参照后面的办法。" h% ^' a( W9 }. y/ O, ^
二、禁止搜索引擎抓取网页页面3 M% q5 b/ r+ M
在SEO中，禁止搜索引擎抓取本页面或者是允许搜索引擎抓取本页面是经常会用到的。因为网页有一些是我们不需要用来参加关键词排名的，所以可以屏蔽掉。为了让搜索引擎禁止抓取本页面，我们一般的做法是在页面的元标记中加入如下的代码：) D5 A5 ^' ?8 O+ f
<META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”># Q. m. G! l+ m g4 {
<meta content=’武汉SEO(www.seowr.com )’ name=deｓｃｒｉｐｔion>& | }* l6 t- o, q
在 这里，META NAME=”ROBOTS”是泛指所有的搜索引擎的，在这里我们也可以特指某个搜索引擎，例如META NAME=”Googlebot”、META NAME=”Baiduspide”、META NAME=”www.ccgseo.com”等。content部分有四个命令：index、noindex、follow、nofollow，命令间以英文的“,”分隔。
) E0 d3 I1 R4 w5 E y" p3 f1 C9 A6 p INDEX命令：告诉搜索引擎抓取这个页面, v! ~8 B' e0 e3 z% g+ M
FOLLOW命令：告诉搜索引擎可以从这个页面上找到链接，然后继续访问抓取下去。$ l6 a! Q+ k: T
NOINDEX命令：告诉搜索引擎不允许抓取这个页面* a: N7 k$ v ^1 A
NOFOLLOW命令：告诉搜索引擎不允许从此页找到链接、拒绝其继续访问。
/ |: d( C W$ }9 G1 P# S2 h 根据以上的命令，我们就有了一下的四种组合：: l- }4 Z! [3 r& v' b. O
<META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”>：可以抓取本页，而且可以顺着本页继续索引别的链接4 ^" H! v( s1 }0 A' q/ N; ]) c9 |
<META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”>：不许抓取本页，但是可以顺着本页抓取索引别的链接
; d' }* x7 {& e. C7 P& M) o <META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”>：可以抓取本页，但是不许顺着本页抓取索引别的链接0 m5 ], C+ C g0 m4 i
<META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>：不许抓取本页，也不许顺着本页抓取索引别的链接。$ D, i) U2 _4 ]* U {* Z
这里需要注意的是，不可把两个对立的反义词写到一起，例如 www.seowr.com( A' V& l. M: e6 D, N" {
<META NAME=”ROBOTS” CONTENT=”INDEX,NOINDEX”>
Q! l2 u& W9 p( R0 y 或者直接同时写上两句
# {! O( X2 C4 Q# ] <META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”>7 q5 H, l/ H! S' x) R, e
<META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”>$ R% m! M8 o v3 H: b \! J
这里有一个简便的写法，如果是& a! V# x" x$ L& V% C
<META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”>的形式的话，可以写成：) d# P6 A3 W4 F1 p! }
<META NAME=”ROBOTS” CONTENT=”ALL”>+ z4 Q& o9 m( y; x8 l1 e
如果是3 T* G. q8 {! ^! w: A0 t" L8 i8 x( d
<META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>的形式的话，可以写成：<META NAME=”ROBOTS” CONTENT=”NONE”>( h5 \ O- w& @% Y$ e5 P9 J* m7 Z7 A
当然，我们也可以把禁止建立快照和对于搜索引擎的命令写到一个命令元标记中。从上面的文章中我们得知，禁止建立网页快照的命令是noarchive，那么我们就可以写成如下的形式：<META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW,noarchive”>
% R7 I- e) ?6 r6 w% T 如果是对于单独的某个搜索引擎不允许建立快照，例如百度，我们就可以写成：
( H3 M. F# j/ R* H f9 t1 s6 l <META NAME=” Baiduspider” CONTENT=”INDEX,FOLLOW,noarchive”>( v I3 }- T: N
如果在元标记中不屑关于蜘蛛的命令，那么默认的命令即为如下 I2 i/ F% }% V. ]$ V$ j
<META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW, archive”>6 C+ M: B$ i6 t( m+ o
因此，如果我们对于这一部分把握不准的话，可以直接写上上面的这一行命令，或者是直接留空。, x$ B2 y$ h' a; G: n# E
在SEO中，对于蜘蛛的控制是非常重要的一部分内容，所以希望各位看官准确把握这部分的内容有些时候我们会遇到这样的困难：我们原本不想被搜索引擎收录的网站后台地址却被搜索引擎“无情”的收录，这样只要在Google里输入一个“后台、管理site: http://www.seowr.com/ ”，自己的后台地址就会显露无疑，因此网站安全性也无从谈起。遇到这样的情况时，我们如何阻止搜索引擎收录我们不想被收录的文件呢？! {7 H9 f" e- H; _, c
一般在这个时候，我们常用的办法有两个，一个是编辑robots.txt文件，另外一个是在不想被收录的页面头部放置META NAME=”ROBOTS”标签。% S/ d. c* J5 W' z( W: K
所谓的robots.txt文件，是每一个搜索引擎到你的网站之后要寻找和访问的第一个文件，robots.txt是你对搜索引擎制定的一个如何索引你的网站的规则。通过这个文件，搜索引擎就可以知道在你的网站中，哪些文件是可以被索引的，哪些文件是被拒绝索引的。1 f5 F4 P4 @9 U* U8 p/ K! |
在很多网站中，站长们都忽略了使用robots.txt文件。因为很多站长都认为，自己的网站没有什么秘密可言，而且自己也不太会使用robots.txt的语法，因此一旦写错了会带来更多的麻烦，还不如干脆不用。, I, P2 E3 x. A' d! O0 t; V
其实这样的做法是不对的。在前面的文章中我们知道，如果一个网站有大量文件找不到的时候（404），搜索引擎就会降低网站的权重。而robots.txt作为蜘蛛访问网站的第一个文件，一旦搜索引擎要是找不到这个文件，也会在他的索引服务器上记录下一条404信息。
6 e) C3 d1 `$ o2 k, a 虽然在百度的帮助文件中，有这样的一句话“请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。”但是我个人还是认为建立robots.txt还是必须的，哪怕这个robots.txt文件是一个空白的文本文档都可以。因为我们的网站毕竟不是仅仅会被百度收录，同时也会被其他搜索引擎收录的，所以，上传一个robots.txt文件还是没有什么坏处的。
% J3 {: q5 K; s/ N k5 q/ X/ p 如何写一个合理的robots.txt文件？
& d0 Q' a; G/ |0 b7 @ 首先我们需要了解robots.txt文件的一些基本语法。8 o' X& h3 c# L9 S
语法作用7 D. J% D2 V' e/ t2 q4 q* }2 W7 F
写法允许所有搜索引擎访问网站的所有部分
9 ?( h/ x4 K5 }$ C% r! d 或者建立一个空白的文本文档，命名为robots.txt6 m. K! p/ f* h( I
User-agent: *
3 X/ [* K) |9 |: V Disallow:
) \2 `$ G! [- l+ ?5 F9 b 或者
3 M& D, W a# x. Z User-agent: *
; y3 a- B" J8 h, v! h5 z. U4 d Allow: /* Z$ b" p7 Z7 Z+ B6 @! X- X8 G: u
禁止所有搜索引擎访问网站的所有部分# c6 ~& S6 ~1 ?+ c4 @( \" x
User-agent: *; u5 }, A, e" o: s. z
Disallow: /& s6 ?3 A" c' n9 b$ s6 n
禁止百度索引你的网站) `% ?- P7 g4 V$ J$ k
User-agent: Baiduspider5 |/ Y& m8 W7 ]& T' s' n+ \, a' h
Disallow: /) [) D) H4 s8 p q, L* N
禁止Google索引你的网站1 b' U* t* y g% {; B7 H# Y* z5 Z1 o
User-agent: Googlebot7 a9 k4 ^( w0 V
Disallow: /
# e: Z' c$ b1 A( J: C6 n 禁止除Google外的一切搜索引擎索引你的网站
2 G- i. i" |1 B8 O9 _0 I User-agent: Googlebot. M/ l0 g/ P3 y3 e- v, |8 d
Disallow:
) B& G5 |+ p2 X+ T User-agent: *+ k0 u9 y) t; h4 l0 X7 i' M4 O
Disallow: /
0 ^& ~; m6 p- X% {7 \# V/ V 禁止除百度外的一切搜索引擎索引你的网站+ j% ]1 h) M) O* x5 z" e' A
User-agent: Baiduspider8 z; {0 }$ w& A% K" o; r; p/ u$ D2 A
Disallow:
! F, f4 o, P. z9 \9 n User-agent: ** C. N( F& T1 u# Z6 \. S0 d
Disallow: /$ A8 I" m- o5 l6 F7 l3 g( i$ A& o/ J
禁止蜘蛛访问某个目录! n+ o0 J( q/ ?- F$ D: U; O
（例如禁止admin\css\images被索引）6 e q* y! B1 l6 e4 s* B# c4 [
User-agent: *3 n8 p. P& r0 G/ t) K) u2 }
Disallow: /css/
' y9 j; [* [8 u Disallow: /admin/! v% b- N7 | ^# i5 N- b7 Q
Disallow: /images/* J/ k M. }: O1 s1 k
允许访问某个目录中的某些特定网址
% f3 o8 j! k8 n% D7 T$ ^ User-agent: *
$ {; |% U, A8 S3 d O' f" N Allow: /css/my/ ~; }. I+ Y+ h+ x+ P+ ^$ F
Allow: /adminml6 k& Z, Q2 S/ |! d& `1 v! F- G8 s# i
Allow: /images/index' a' W: f0 x( @ u1 e5 D, P7 S9 C
Disallow: /css/
) o2 R0 l, X! Y6 o6 t$ L Disallow: /admin/+ |1 r$ f! D4 l! [0 i
Disallow: /images/
. A0 G% }) h/ z' s$ q* e5 o$ } 使用“*”，限制访问某个后缀的域名，例如索引访问admin目录下所有ASP的文件
, q, B% ^ M( T: x8 Y4 D User-agent: *# k, }& }9 e/ h/ h
Disallow: /admin/*.htm' b3 F( p. S4 p5 j7 e3 D& G
使用“$”仅允许访问某目录下某个后缀的文件1 b8 H5 u/ W& T
User-agent: *
, L. a! b# l" Q- w% I5 ?1 h3 j: H- u Allow: .asp$0 _ |: Z8 Z% S' Z
Disallow: /
+ ~7 h2 K( @; p- Q- ] 禁止索引网站中所有的动态页面（这里限制的是有“?”的域名，例如index.asp?id=1）
: d, s" b" c- r/ k- \# v User-agent: *& P, O. b7 [% f2 B
Disallow: /*?*
+ m7 u3 @- i2 c% e7 {2 z' e 有些时候，我们为了节省服务器资源，需要禁止各类搜索引擎来索引我们网站上的图片，这里的办法除了使用“Disallow: /images/”这样的直接屏蔽文件夹的方式之外，还可以采取直接屏蔽图片后缀名的方式。具体办法如下。+ {1 d& d9 _& k1 W( y
语法作用4 a" b u' `' P5 m
写法. S+ m. d9 e7 r/ N1 _
禁止Google搜索引擎抓取你网站上的所有图片(如果你的网站使用其他后缀的图片名称，在这里也可以直接添加)2 |# R6 n+ L0 e
User-agent: Googlebot1 R1 \, O8 R- x& Z; m3 {4 A
Disallow: .jpg$ I6 H3 c Q& m- ~( a1 O4 r3 Z
Disallow: .jpeg$
3 i6 P+ R$ k) q9 y Disallow: .gif$& }0 q% {( o& N7 B* ~1 l8 I
Disallow: .png$
! o, u+ I! c6 r% O% l Disallow: .bmp$5 S7 T) A, p( z" d4 r. A2 D
禁止百度搜索引擎抓取你网站上的所有图片7 @7 }. U9 i4 G
User-agent: Baiduspider
3 w2 {. C) f1 G1 `7 [* ^# W Disallow: .jpg$
& L/ M. Z$ }) ^" |) u Disallow: .jpeg$& l9 M+ y1 m' F% s( ]
Disallow: .gif$
9 X v" n1 \' e; `4 @ Disallow: .png$
5 H2 K- g' {3 X' z6 e) a Disallow: .bmp$
% O5 m- Q+ t$ K1 k0 v" h$ G 除了百度之外和Google之外，禁止其他搜索引擎抓取你网站的图片(注意，在这里为了让各位看的更明白，因此使用一个比较笨的办法——对于单个搜索引擎单独定义。)
( {, a! A% k& f/ _ User-agent: Baiduspider
0 F1 L; z+ L4 O t' O! t5 a$ ^+ N Allow: .jpeg$& c, n" E8 m2 `$ p6 A4 y r* a
Allow: .gif$
2 ?# A9 w4 V) N9 q& Q* l Allow: .png$: P& }+ K4 f/ u$ |
Allow: .bmp$
1 X* l! y! Q# E; C8 @9 |% V5 a User-agent: Googlebot
: P, \, v/ t- t) B$ I Allow: .jpeg$- H2 f: s$ X& L6 v6 T3 M% G+ @
Allow: .gif$
% T& v0 q# U. a$ U+ d Allow: .png$ Y% U& `% ~" h: \( w# e4 d
Allow: .bmp$/ `- n' c0 p* W: Q4 q# b& j7 u8 d) Y
User-agent: *
7 T( H- @: N8 ]- g! ]* C Disallow: .jpg$
6 f4 d# I e1 f Disallow: .jpeg$
3 p( W5 v9 O3 P9 ]1 h3 g0 L Disallow: .gif$6 A0 V9 j5 [, V/ `
Disallow: .png$
8 l- c. N4 _3 j* Q% x0 b. h Disallow: .bmp$
7 C) N- M G: j; H 仅仅允许百度抓取网站上的“JPG”格式文件（其他搜索引擎的办法也和这个一样，只是修改一下搜索引擎的蜘蛛名称即可）
$ ?& H3 {" k* C2 O( R/ g/ Q User-agent: Baiduspider
8 o0 S% r' T, I& S Allow: .jpg$
- b2 B/ h8 w. b# Y# E4 S Disallow: .jpeg$' g6 A! L5 c5 Z$ k9 R
Disallow: .gif$, Z5 Z% R) Q& e3 r
Disallow: .png$5 |) I$ Y+ |0 S
Disallow: .bmp$" h) z0 E, n: T
仅仅禁止百度抓取网站上的“JPG”格式文件
1 N# `+ y6 ~# m7 @4 Z User-agent: Baiduspider
) \+ ]9 }5 C( E. x. X5 j Disallow: .jpg$8 G: c9 @; z" h" X: d
如果你看完以上这些，并记下，相信你对robots.txt已经有基本了解和认识。光知道还不是你的，要能在网站上运用出来，知识才是你的。 |
|
