0 X o+ R# t. K" {: C0 `
" D/ z+ m+ Y# D* D
1 Q |0 |# b* U% A
网站robots文本，是放在网站空间根目录下的一个txt文本。% U& D# f G1 [- ?$ {5 }( V
( N" a$ [0 e. E" b5 _- M网站robots怎么查看呢？
& W: w) m, o9 |+ z+ M
# M9 w+ N) Z8 V6 h d, L你的网站域名/robots.txt ，这样可以查看任何一个网站的robots。# [6 U/ w3 `% y$ L$ z
9 L) M# N: [7 w: h- c咱们看一下某宝的robots文本吧。
) L3 z- B% ~% t& k+ M5 W+ ?* P% z
1 H }" n- X. b4 e" g1 J: ^! o/ [9 S7 E' E2 x0 M O
网站robots.txt文本
, `0 y7 W6 Y- ~1 Y5 L1 {3 O7 L8 }
什么是robots。
% F8 O% k, G6 b, d7 D' S- N2 V3 R' h' |' x C6 j& c' o
是搜索引擎蜘蛛，在抓取网站前，先查看的一个文本，可以告诉蜘蛛，哪些可以抓，哪些不可以抓取。确定抓取范围，如果没有就按链接顺序抓取。
' h! e" O, c$ p$ U: u% f/ G7 M9 r |
robots文本的作用是什么
/ W* S2 i! t! @/ I& s8 A4 Y8 w! P) X. _* m- y9 d- o' q: J
告诉搜索机器人不要爬行我们的部分网页，比如：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。3 j: x9 c4 F& Z. X- w
2 ] h U" V, A1，用robots屏蔽网站重复页2 N& }9 m* f, {' H7 p' L
. ?3 e `6 Z& ]0 v# o2，用robots保护网站安全* A% i& m) p$ `& E- t( c0 B
6 a# G" @5 o4 V% }
3，防止盗链2 C6 b8 Z5 r3 P- b! x( H! o
# \# E# p# j, C4，提交网站地图
9 ? R2 T- e3 H- z1 Z, b4 Y2 C; O
, G, b+ Z5 }! J* k8 @5，禁止某二级域名的抓取/ }/ g5 \9 t3 W+ R8 H" F
) P! s$ ~, P: p0 a8 G Q( erobot文件的一个指定用语。" B! L& F* m, {' Z
1 D: \& ^/ T1 YUser-agent: 控制各个搜索引擎蜘蛛
: P& B6 c# {) n" e z4 O, u2 a
7 ~- q4 G4 r4 x0 I" V, uDisallow: 不允许抓取莫某& r# Y* ~/ h( x1 e
4 o7 U" B: c9 |: Qallow: 允许抓取某某
) o! `$ G; }1 [7 V* E v
, J6 J' `! n/ S- t- k2 n" I* 星号代表所有' a1 n6 ^+ Y' J' z
/ k+ C, Y" j# }1 D7 R! C编辑：摩昂seo_天津seo博客站长7 |; ^8 _ S% y8 D! w
# G2 u$ |1 Z1 G6 C, L
! T0 `2 Y: E+ r3 @/ w+ l3 c7 N0 d
|
