1如果允许所有搜索引擎访问网站的所有部分的话 我们可以建立一个空白的文本文档，命名为robots.txt放在网站的根目录下即可。8 `: L. q2 J4 l
robots.txt写法如下：
9 l9 S3 e! T( PUser-agent: *5 i" A2 G( W9 |2 m( Y
Disallow:4 M2 ~: v- J5 g) x/ b, ~$ a+ l; c0 a& B
或者
) h' M r- L5 J# SUser-agent: *1 h$ @% q. |' S* g+ S1 y
Allow: /
" J# Q3 E8 P0 d5 X% l4 L! ]& C1 b6 j2如果我们禁止所有搜索引擎访问网站的所有部分的话
5 p; D* |/ ~3 ~- [! _' `7 irobots.txt写法如下：
8 J. W$ M, ]: t3 Z$ cUser-agent: *
! f: k4 n4 U, r- C8 Q& vDisallow: /
$ G* A- t; [' j3如果我们需要某一个搜索引擎的抓取的话，比如百度，禁止百度索引我们的网站的话/ ^" s8 _$ n' h4 Z
robots.txt写法如下：
. O& U/ Q. Z0 K& ?6 IUser-agent: Baiduspider
/ Q$ ~0 }" t1 i! x9 g/ g" t4 r0 TDisallow: /8 o9 e- i% O1 I8 g1 ]5 e
4如果我们禁止Google索引我们的网站的话，其实跟示例3一样，就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot
# u4 k* P) ]$ P- {5 G9 s即可
9 j! P# y$ U! W. E) ?3 }5 Urobots.txt写法如下：
L% a) d' r2 g5 WUser-agent: Googlebot
$ ^3 O, }% L6 Y9 |Disallow: /
5 [' Y, t$ N) Q# C/ {5 a! ?) F5如果我们禁止除Google外的一切搜索引擎索引我们的网站话
; E# K1 O4 h" u8 J' P8 F; ]& wrobots.txt写法如下：: V+ h: L* ~2 b! A: y2 A0 X2 L
User-agent: Googlebot6 a" X N& f, _* G
Disallow:
9 L, l, v [! K0 ]; S4 nUser-agent: *& d7 j. E; ^7 M3 |* P4 J. \
Disallow: /
+ I% o$ Y# `9 [6如果我们禁止除百度外的一切搜索引擎索引我们的网站的话- l/ b) h5 X8 q+ N$ B+ {
robots.txt写法如下：, c: M2 t/ Q- E
User-agent: Baiduspider9 X Q; @: n* f
Disallow:
; w% W; e9 j3 e* ` PUser-agent: *
- a1 P! {3 f! XDisallow: /
* ~4 E+ [6 x# g" l7 E: r7如果我们需要禁止蜘蛛访问某个目录，比如禁止admin、css、images等目录被索引的话
4 z G5 K8 ?% q7 u7 f0 u0 a0 zrobots.txt写法如下：
" R4 @' }' e7 L0 p. _User-agent: *
$ P% b2 ]4 w) g2 q! g5 n+ B' ~Disallow: /css/6 ]! a" u. E% v! E+ r" P7 {
Disallow: /admin/
* p* s/ y0 e3 FDisallow: /images/4 X$ ^# H: I. A, ^7 d* w
8如果我们允许蜘蛛访问全讯网(http://www.ffffm.com/)的某个目录中的某些特定网址的话; h4 b: x) }1 y
robots.txt写法如下：
+ W5 a, d8 ] A, K+ _+ pUser-agent: *
( E0 y, N; ? j9 ]- H r0 X4 [Allow: /css/my) b* b6 t) ?& e( b& k6 I2 C
Allow: /admin/html$ A3 [7 k; }7 q8 ]; L3 i5 L' u
Allow: /images/index
# [; c. ?# V. A8 VDisallow: /css/9 X3 x' ]# i! w0 }
Disallow: /admin/! q: X- D, g, T0 e, [& m
Disallow: /images/
" ~6 D4 v: ]9 a# @( F' `& X% b2 r9我们看某些网站的robots.txt里的Disallow或者Allow里会看很多的符号，比如问号星号什么的，如果使用“*”，主要是限制访问某个后缀的域名，禁止访问/html/目录下的所有以".htm"为后缀的URL(包含子目录)。6 \1 M5 w5 ?* f9 T; n, l# b8 z Q
robots.txt写法如下：% d7 ?6 i- r7 C) S( F' K
User-agent: *3 Z' L3 l; L K0 Q: M
Disallow: /html/*.htm. F" U& d4 C- }& d
2 r4 ]4 n2 d( C9 h/ L+ Y转载请注明：www.52yyji.com1 d3 p; P) ?8 H' J; Y
|
