之前听说淘宝网对百度采取了屏蔽，就是说淘宝的内容百度不能抓取了。当时我想很多的人都赶到很奇怪吧，百度那么强大，“百度一下，你就知道”成了大家的口语，我们又怎么控制百度的抓取网页的先知呢？是的我们可以做到不让百度查看你的网站，可以决定要百度只看你的网站的指定的网页。相信很多seo工作者都知道一些吧，今天就为大家解密控制百度、谷歌等搜索引擎的搜索行为，seo优化必学的robots.txt文件的书写，废话不多说，文章呈现。
: I$ X5 y! [) Y& B, |
' i' S' S+ Q8 A6 P6 T想必做SEO这行的你对robots不会陌生，简单的txt文件里面隐藏了整个网站的“阴谋”。; B. q$ u0 b% i7 }- W
首先简单的为大家（新手）介绍一下robots。1 I- ]: K: m2 T6 |& Y
robots是各个搜索引擎访问网站的时候要查看的第一个文件。robots文件告诉搜索引擎蜘蛛程序在服务器上什么文件是可以被查看的，什么文件是不可以查看的。当一个搜索蜘蛛访问一个网站时，它会首先查找该站点根目录下是否存在robots.txt，如果存在，搜索蜘蛛就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索引擎蜘蛛将访问、追踪网站上所有没有被限制的文件、url和页面。robots.txt必须放置在一个网站的根目录下，并且文件名必须全部小写。
1 Q( Q* a, W" z5 ^$ A+ ^. xrobots内容的写法（语法）
: _& q: s% t1 C( a5 X, R$ A# w最常用的 robots文件使用两条规则：
& q* h% `2 Q6 ~2 d7 d0 D" s# ?· User-Agent: （后面跟着允许的搜索引擎蜘蛛）, v9 Q3 i$ C' B/ S
· Disallow: （后面跟着要拦截的网页）& s c. I0 P% H J6 ^" t
具体详细写法有：0 M5 Z2 Q# b2 @9 A( a. i2 g* s
User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符
; R1 ^) n# _3 k# xDisallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录 . x3 ^1 [6 O$ p: E
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
/ H: P: W" Q9 uDisallow: /require/ 这里定义是禁止爬寻require目录下面的目录
; t J# O4 {/ `& a/ ]Disallow: /ABC 这里定义是禁止爬寻ABC整个目录 2 H' P' A, e5 Q
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
2 n, k* n/ B4 N4 b* JDisallow: /*?* 禁止访问网站中所有的动态页面 ! k5 J: V" c" r4 c) j% m0 E+ S( C
Disallow: .jpg$ 禁止抓取网页所有的.jpg格式的图片
& H+ R4 ~8 G$ RDisallow:/ab/adc.html 禁止爬寻ab文件夹下面的adc.html所有文件
3 c& h" }4 B6 _8 v7 vUser-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符 $ o) c6 J m4 B" S5 v( n* u
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录 & i I. Z# J0 B9 P
Allow: /tmp 这里定义是允许爬寻tmp的整个目录 ! j' C) ]/ ^, l" o7 T$ n& O- U
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。 $ j, j* y8 n5 ^6 G' R( Q+ s
Allow: .gif$ 允许抓取网页和gif格式图片
" @% q; F1 u4 g; X8 ?robots.txt 文件用法举例) C- Q7 U# V/ o! J( K' K5 A
例1. 禁止所有搜索引擎访问网站的任何部分; W; y% M' a j6 L) e: @6 `
User-agent: * , P9 c) j; Z* }6 r! V$ a# a& Q
Disallow: /
& ]5 @/ S3 V* g. F2 k实例分析：淘宝网的 Robots.txt文件3 I ?9 U# C E7 e m9 a
User-agent: Baiduspider6 _. X+ K2 M$ U, g X( h: P
Disallow: /
8 c w& h7 {" A4 Z. y很显然淘宝不允许百度的机器人访问其网站下其所有的目录。
e: n/ E% f! X( ^6 d例2. 允许所有的robot访问 (或者也可以建一个空文件 “/robots.txt” file)
! C0 \9 @6 E) Q. T& wUser-agent: *2 L! K7 H' s* f8 Y2 r
Disallow:& D: C9 K( r4 w$ m0 T; ~: v
例3. 禁止某个搜索引擎的访问
5 j, l- U7 K) t; t' ZUser-agent: BadBot
8 a$ K8 U6 I3 u( J5 d ~. Y$ cDisallow: /
' P* r+ {6 S2 U* Y2 {6 \ j5 V例4. 允许某个搜索引擎的访问
9 _; l& p% u8 BUser-agent: baiduspider7 h) D0 |+ D3 L. j" E: g5 a. i# E: @
Disallow: * `6 J1 b! H9 z9 Q
User-agent: *
4 H. t3 }( C9 C7 DDisallow: /2 K9 Q9 S, h) U% \- {8 W' }1 v
例5.一个简单例子7 X; ^7 {; W% T8 e, R& q& |7 t3 y
在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。
: s7 P6 r# L- b4 @本文由南京家装拆除公司提供 www.njylcc.com 转载请注明 | 
