b/ ~6 k) S) P" J/ `( H( R9 C* u0 \* _
6 O1 |5 q+ H1 s* Z* L" x网站robots文本，是放在网站空间根目录下的一个txt文本。
; T0 x* _- y8 z1 |
; v8 ~: @! T" H) W网站robots怎么查看呢？& U/ j. J3 B D) }
3 f; m0 E% W+ D- F7 o
你的网站域名/robots.txt ，这样可以查看任何一个网站的robots。0 d" a" F* z9 F- f$ p" u1 e
% M* K- x2 B, T3 O- d; \
咱们看一下某宝的robots文本吧。' A7 H W6 P7 |. H
" b) W! U- S3 f- E
& @. D1 X9 l! a; B8 }& H0 {2 r7 w1 S% k
网站robots.txt文本 0 N2 f: x, Q2 T- B
' v; r: W" ~. K/ ?
什么是robots。- n1 p% z7 Y7 @/ D% m
9 Z: [! {0 f* S% W是搜索引擎蜘蛛，在抓取网站前，先查看的一个文本，可以告诉蜘蛛，哪些可以抓，哪些不可以抓取。确定抓取范围，如果没有就按链接顺序抓取。; t; N" T: a1 V# Q
& F# |! n9 v( }5 xrobots文本的作用是什么6 _! W; N0 k, j/ {/ T- E
( s8 |& h+ R W. N' z& `* x
告诉搜索机器人不要爬行我们的部分网页，比如：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。% i( A" v9 S4 H
. x* c; W8 x Y0 G2 F# M
1，用robots屏蔽网站重复页5 U0 q5 i) ^! D! Q/ L
- v) }4 A( I9 |4 i/ O2，用robots保护网站安全, X5 ?4 u1 `0 n& f% o7 r
% I# c) R' s/ ]; k# r4 v% A: V! v3，防止盗链
& g- v0 Y/ w- j% i: H% v! N- w% L1 p+ P, R1 M
4，提交网站地图8 u- S% d9 v. d* V: T' K
9 w! L/ [ ~ U5，禁止某二级域名的抓取
9 P8 n1 M9 n2 }$ N8 e7 c1 w' [* W
+ I3 V7 k4 v/ Orobot文件的一个指定用语。
+ C# K) K, b9 s0 R1 ]0 n2 b% Y& o
User-agent: 控制各个搜索引擎蜘蛛4 C5 h/ H/ H, N. Z! R( O. h! H
2 q v f; V* M5 `" H m
Disallow: 不允许抓取莫某
. D: D: l: R8 Z
# y5 s% s( s: p* F9 Oallow: 允许抓取某某
- P$ K* u! W( y# I7 U3 s0 H) q1 H/ P) m0 z: j3 T
* 星号代表所有
* E6 l K+ `$ r0 p$ ]
; D9 I; h! t s* \3 J6 Z编辑：摩昂seo_天津seo博客站长( {2 C1 S2 v' L% L" N9 k) x1 S
# G, M0 z2 [( ]2 ~- T
! }4 i( n1 v5 L8 |; u1 Y; N |
