! F, d+ o8 h0 \7 }' | [+ n/ A1 M/ T, r7 a8 O- \4 B
9 t2 o5 m6 q9 Q; f* y8 i" v
网站robots文本，是放在网站空间根目录下的一个txt文本。, I+ |( c" F1 g9 n7 A6 h; @0 l9 D
9 |! n% U+ |9 A$ L5 W7 _网站robots怎么查看呢？
+ W$ v( J5 D/ ?
! k3 K" G) V1 b$ L你的网站域名/robots.txt ，这样可以查看任何一个网站的robots。
4 p" n9 f [' u2 ~
& B7 \ X! k1 m$ J咱们看一下某宝的robots文本吧。
+ ?% E9 c4 u8 T# J+ Z5 q6 h
) Y0 S+ g' G- C( g n* I) k% W1 X0 r( m, J3 }
, w+ S2 ?# A2 k4 {1 V网站robots.txt文本 2 R6 i! w+ t: b! P# _
- U2 z* ]. L8 r" o1 V' z什么是robots。3 T- N$ R- E1 j, o3 q
* T0 e0 V( i; s1 Q" ]' {, s
是搜索引擎蜘蛛，在抓取网站前，先查看的一个文本，可以告诉蜘蛛，哪些可以抓，哪些不可以抓取。确定抓取范围，如果没有就按链接顺序抓取。
6 F& N. K u4 G
' j2 P4 D4 I- m" T5 Grobots文本的作用是什么, o) e7 Z# a5 I4 T
' u* y% D! X" i E; T( k$ }( e; }告诉搜索机器人不要爬行我们的部分网页，比如：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。4 W. Q" H# M$ f& R1 m
8 V+ Y+ b: E- B/ E1 F& ]1，用robots屏蔽网站重复页
% G. J% M/ R& M, a8 y! g: q8 C/ e$ @6 w1 @ ~) Y. X& V
2，用robots保护网站安全2 ?+ L* K6 r1 E6 U2 ]) ^
9 w, D" R2 [) W% i& J
3，防止盗链( e. c( ? t/ D; q: c+ X$ l+ i4 }# ~3 o
) C5 U# D7 q$ q& s4，提交网站地图$ w4 Z- o0 I. o/ }
+ Q) @- D, A X, w' _
5，禁止某二级域名的抓取
/ s% e A; V- }$ x4 y3 Y
1 C9 ^& |0 ?2 h' k9 O! irobot文件的一个指定用语。" R0 ?# ~0 s4 X# V, M
& b3 A' [5 p" dUser-agent: 控制各个搜索引擎蜘蛛) V4 b3 ~1 v& A( w6 O. H0 f: z
# @- r/ k5 X5 @: |( F+ n! r
Disallow: 不允许抓取莫某% I' F" h. c$ w; `9 b
4 F8 R) L( V+ E. I1 I* aallow: 允许抓取某某9 K {8 w, t1 _8 I; Y4 B
: [& ^8 i$ u0 p$ L1 c F
* 星号代表所有
) {7 ^$ O1 `+ n3 o7 A- h
$ P7 x7 P$ o- q4 @ d编辑：摩昂seo_天津seo博客站长+ x/ S. _( K+ Z3 p
9 c% O! e* ~8 H* k/ E/ @- }$ F2 ?
5 u) h; m! o& R7 V/ T |
