% B; x4 q/ c6 d) x+ ]
8 d2 W: X; M5 h j
8 ^) G! t; W) Q+ F( N: N网站robots文本，是放在网站空间根目录下的一个txt文本。
/ h" b2 }; Y/ k
# ~( {9 P) E* d) ?3 P$ A网站robots怎么查看呢？4 M' v* Q0 D4 F
/ e5 E# A) B% W2 O$ T6 x2 Y你的网站域名/robots.txt ，这样可以查看任何一个网站的robots。
P( |. j5 F4 F0 q/ S2 @: q. b0 N1 K- s# L/ f
咱们看一下某宝的robots文本吧。
: D, P: L! \7 T" y9 i/ l
f% V6 b1 i3 P0 ]+ p( x) p0 }7 A$ N* k
# a3 z. W( r0 k1 Z# v网站robots.txt文本
$ @- ~, E, t' ]' Y- G2 r* J& a3 Z5 X7 }# A4 t! c6 S3 g; @
什么是robots。
# z1 ~/ a: V) `0 Y' \5 n) w& f' M* _2 z$ I: \* [/ n' Z; S1 z
是搜索引擎蜘蛛，在抓取网站前，先查看的一个文本，可以告诉蜘蛛，哪些可以抓，哪些不可以抓取。确定抓取范围，如果没有就按链接顺序抓取。
) K/ B1 v0 G5 }! x
6 [+ J) }/ p; Q5 |. F5 crobots文本的作用是什么
2 C# g4 D7 y7 N" G2 x& t3 }, ^) z" \ P7 E8 u4 ^9 W9 m
告诉搜索机器人不要爬行我们的部分网页，比如：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。
# [5 M. A6 R" @+ C5 Z* e% g& T$ h7 I( B) g J0 r
1，用robots屏蔽网站重复页7 D1 G* G* L' k& J2 o
; G7 `2 O1 s3 x/ G" l- B2，用robots保护网站安全! ~, i7 T5 [, u5 p% D4 U
" h; M* V- D0 i8 U1 ]
3，防止盗链8 I% v1 s+ T/ f0 q* n
! z- n& @; N- Y- u4，提交网站地图& ~$ R4 m; M' ~ j, j' t$ D; V
5 Y( y. X! @$ g0 M5，禁止某二级域名的抓取 i( T4 N* i4 V: j' ~# K8 ~, @
7 f1 ~7 g/ c) v; K( }1 q5 P
robot文件的一个指定用语。2 X+ O6 l* g3 j2 v5 ]* \
# f1 \$ Y0 R1 J) p2 @' w
User-agent: 控制各个搜索引擎蜘蛛
/ D! i g0 l3 x% C8 J+ o w7 M9 K1 D7 D3 |! w. y; M9 x! P
Disallow: 不允许抓取莫某
, i# {4 u" S [( T8 E8 a& U8 A) n5 P5 Z! Z
allow: 允许抓取某某# B/ _6 I7 K* H2 t0 b l* ?' o$ D' k
1 P1 y x& R- ]9 y* 星号代表所有. }2 r/ F2 x2 g2 f6 d. z
: Z2 k+ ^; X A& i编辑：摩昂seo_天津seo博客站长
& k) K! J* [/ d( }3 b3 t4 u" s) ^) G
0 o& Z/ D& C- E8 S+ Y |
