之前听说淘宝网对百度采取了屏蔽，就是说淘宝的内容百度不能抓取了。当时我想很多的人都赶到很奇怪吧，百度那么强大，“百度一下，你就知道”成了大家的口语，我们又怎么控制百度的抓取网页的先知呢？是的我们可以做到不让百度查看你的网站，可以决定要百度只看你的网站的指定的网页。相信很多seo工作者都知道一些吧，今天就为大家解密控制百度、谷歌等搜索引擎的搜索行为，seo优化必学的robots.txt文件的书写，废话不多说，文章呈现。
3 _ S: r7 P1 ~. N) q" f$ q+ S1 ]. Q7 Y' a R; u
想必做SEO这行的你对robots不会陌生，简单的txt文件里面隐藏了整个网站的“阴谋”。3 y" r& ~' s+ J$ g- z
首先简单的为大家（新手）介绍一下robots。
; G, f6 B: r% z+ M8 Y5 h robots是各个搜索引擎访问网站的时候要查看的第一个文件。robots文件告诉搜索引擎蜘蛛程序在服务器上什么文件是可以被查看的，什么文件是不可以查看的。当一个搜索蜘蛛访问一个网站时，它会首先查找该站点根目录下是否存在robots.txt，如果存在，搜索蜘蛛就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索引擎蜘蛛将访问、追踪网站上所有没有被限制的文件、url和页面。robots.txt必须放置在一个网站的根目录下，并且文件名必须全部小写。$ K/ [8 W8 j: J0 T( n( a. ]
robots内容的写法（语法）
) ?- X( Q; H2 M/ V7 E最常用的 robots文件使用两条规则： 2 J5 j7 d: O) _% i* S$ O E
· User-Agent: （后面跟着允许的搜索引擎蜘蛛）5 B0 ^& J5 b4 B/ l) X% c' P
· Disallow: （后面跟着要拦截的网页）4 d8 }2 ~) s7 Q% X
具体详细写法有：6 m6 u3 J: Q# p. v, l/ U% ^
User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符
; e# i6 C; o) HDisallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
* \! M& q6 P6 w" o( B9 ~3 |Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录 & _2 H( v+ I: l& F) R: v
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
: n$ [9 p5 M. O9 sDisallow: /ABC 这里定义是禁止爬寻ABC整个目录 7 [, n+ g! z+ z7 [6 B6 q. z, z8 X9 R, |
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
8 l: Z, L. a: b8 n S, r aDisallow: /*?* 禁止访问网站中所有的动态页面 : S- }4 j; j! x1 Z U9 z
Disallow: .jpg$ 禁止抓取网页所有的.jpg格式的图片
. A g7 Q T# t8 {! K* R* JDisallow:/ab/adc.html 禁止爬寻ab文件夹下面的adc.html所有文件) d5 q; v9 A5 A3 ^' s2 D* K
User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符 : \+ t; \# @: t+ Q/ P' ~" d8 o6 J
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录 # }* J. [) Z" Q8 w
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
7 z: V# W6 {3 z9 }" i0 u Z* qAllow: .htm$ 仅允许访问以".htm"为后缀的URL。 ) C1 h, o! g3 D: I
Allow: .gif$ 允许抓取网页和gif格式图片+ L4 y0 U: W& N+ R4 d- x* R
robots.txt 文件用法举例; K0 _& s. n+ j% ~/ n% G* t6 R' f
例1. 禁止所有搜索引擎访问网站的任何部分
" |; v# ]$ z% a2 U6 O7 vUser-agent: * ; T3 R* A) J( p: x- W/ x4 L) m
Disallow: /( j8 [- z* h0 L" r" z1 O4 C& _7 `
实例分析：淘宝网的 Robots.txt文件
3 G$ L1 o, h4 ~/ OUser-agent: Baiduspider* r) e* d7 Y( H+ b
Disallow: /
% | W! P' V6 l8 @7 I( t0 f* w很显然淘宝不允许百度的机器人访问其网站下其所有的目录。- m$ ` R" C1 c9 M
例2. 允许所有的robot访问 (或者也可以建一个空文件 “/robots.txt” file)
" X9 }3 X5 |1 ~( r# Q% c& c1 yUser-agent: *
4 w$ \) B1 ? r$ ?( s; ~Disallow:6 J' r5 r& A3 U! A1 ^' ^5 b
例3. 禁止某个搜索引擎的访问
9 u5 c7 q. ?7 J2 f7 m) SUser-agent: BadBot) O, q& V- u+ J' L
Disallow: /
2 a3 c" {- N+ y* k) |% z例4. 允许某个搜索引擎的访问" i9 N8 a) R3 w) e( j
User-agent: baiduspider x; e# F4 X0 e! x
Disallow: T4 _1 E; @" ^9 U3 M+ h7 C
User-agent: */ n4 H9 L) _# h6 N% q. Z
Disallow: /$ U' L# Y2 a% ]9 J
例5.一个简单例子
) j( f+ _' F1 m% {在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。
0 O& t0 O( G y; y( s本文由南京家装拆除公司提供 www.njylcc.com 转载请注明 | 
