' h& f4 { Y! K! e4 G* `, h7 G( W! n% F) y( C
h6 {. X! `: P# ]/ J: A
网站robots文本，是放在网站空间根目录下的一个txt文本。7 J: ?; x, t8 ?' O% I* v
% ?9 L1 o h8 a0 U1 C' ]' f
网站robots怎么查看呢？
: c) n: V& R z% Q) b/ O% ]* }' Z, b
你的网站域名/robots.txt ，这样可以查看任何一个网站的robots。" f" i4 o G1 p/ L! N% F3 J* p
: a3 `% o* G0 L8 X
咱们看一下某宝的robots文本吧。; i6 N/ A+ W- v9 u
$ i* q5 @" M% X7 @
7 U2 o8 r1 [0 T( r8 U8 }/ n/ E- K. i
4 D8 U1 F- S1 X7 I4 C- P9 ?. g
网站robots.txt文本
8 Z# j8 m/ g9 ^
$ a4 x, x7 X: T6 T6 n. x' R什么是robots。
; c# t F6 o/ S4 D5 y6 t6 G- E
3 B" e' M- k+ A4 F% c是搜索引擎蜘蛛，在抓取网站前，先查看的一个文本，可以告诉蜘蛛，哪些可以抓，哪些不可以抓取。确定抓取范围，如果没有就按链接顺序抓取。( e2 c# Y s( W) \5 ?! O' Y: }
3 [- e& a* l& K5 Z+ P% w8 trobots文本的作用是什么1 H* }' X3 ~& Q u
6 p. w0 r+ v1 n4 ^, Z4 j0 z: D- ^- B告诉搜索机器人不要爬行我们的部分网页，比如：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。
9 j- F4 b# H+ p4 ?2 X) ` y. F3 J) o7 e1 w
1，用robots屏蔽网站重复页
; `0 ~& X' p% d# A1 C2 D; @$ r6 \& T0 n4 b- _
2，用robots保护网站安全
* h2 `& b: C5 P$ ~% s/ ^1 F# k% y( f! d. t+ i! G! R6 {
3，防止盗链) I. q# r" w2 ]! s
0 i1 t. l7 w$ y' _* }; w* S0 `4，提交网站地图( y: X! K" l, D* J$ m
& k/ x; b/ O J2 J4 i% T5，禁止某二级域名的抓取
+ ], r! f( a4 A8 u4 g `' S9 O( w" L
robot文件的一个指定用语。4 N5 t: _, W0 c, c- J0 `
- L2 [4 t3 T- b( b" g9 ^5 B
User-agent: 控制各个搜索引擎蜘蛛
/ V' e% x5 r3 A3 r+ g% L
9 u# L* \. F# P& ADisallow: 不允许抓取莫某) t! S$ {! _/ U! ]. w
# m$ F; i1 F& r9 I# i* ]- [" ~allow: 允许抓取某某
. B$ v' {8 ]4 z& b( E. H2 g/ Q3 K- M2 ~$ {- S( }" \/ X3 P$ p( c
* 星号代表所有9 d# n0 L; D1 L5 S. n: x
* I0 t8 n! I) m# p' V9 h编辑：摩昂seo_天津seo博客站长
8 W. D S8 C* a4 t' Y. E
0 i: q, t2 f7 q& W7 i4 e2 G' G: ~3 M* H3 _! S- F! d8 b6 j! d
|
