; k2 X" y8 i& {' {3 ^- [
/ ^2 t \" k t" j
1 S0 z. Q3 d6 Z5 S网站robots文本，是放在网站空间根目录下的一个txt文本。% u+ c$ F- e1 z% i
$ ]! l3 @8 E7 W( q4 x网站robots怎么查看呢？
& O \- R8 o* x# D3 b& M
9 [: A: B. P$ K. U3 j" {/ s% z你的网站域名/robots.txt ，这样可以查看任何一个网站的robots。+ |% ^" F7 Q$ u4 s8 q
4 f+ H$ z" {4 S* p Z咱们看一下某宝的robots文本吧。; M9 m P% x5 z- r
0 G4 I; h* X+ D) E% H' W
+ v2 N# Z. e8 J" _0 n4 i) i A" m% i% |8 T/ A/ X, w
网站robots.txt文本 - A) y8 Y a$ S4 ~: j8 y2 ]
6 ~ c; d8 W/ U6 j2 F什么是robots。) V$ Z4 q" s1 X% ?. y
5 q- c8 Q7 A! E$ P$ C3 h是搜索引擎蜘蛛，在抓取网站前，先查看的一个文本，可以告诉蜘蛛，哪些可以抓，哪些不可以抓取。确定抓取范围，如果没有就按链接顺序抓取。
8 L }' N2 H1 E
% E0 k0 D% e+ I0 `* L7 Urobots文本的作用是什么- m0 X6 ?- c' x" W% m
3 g4 S5 D$ ` V' m0 Q
告诉搜索机器人不要爬行我们的部分网页，比如：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。3 a0 I+ b& i: s" r; h M
& ~# c# J( r+ C! p2 j6 {1，用robots屏蔽网站重复页9 g; \0 c5 G" m9 p* m
2 n, F* a. ?' G: _1 f
2，用robots保护网站安全
( |1 r: z5 m, A9 ?9 Q0 V0 A8 |4 O4 n* J
3，防止盗链
- h7 |: O) v3 u; g- z, E
5 ?" z. \3 I Q N4，提交网站地图; j f+ l" r; @8 A$ _% N; F" @, z
; r U! d9 x2 A+ a
5，禁止某二级域名的抓取
: X. m. ^; D2 N6 W
2 L* j0 i. V( ]robot文件的一个指定用语。
1 E5 [8 ~. D! l; o0 y* P1 L+ G7 P
User-agent: 控制各个搜索引擎蜘蛛: i# y% P% h7 i( Q% B4 E
1 U/ W, _9 X2 qDisallow: 不允许抓取莫某
, _. P* u2 B3 _& \+ V) i: x1 }
- E4 F) ^7 O4 S% z7 `allow: 允许抓取某某
0 y! [0 a d1 }5 z9 n6 `6 e* `* \2 B: x$ Z1 g/ c' D
* 星号代表所有/ k6 C5 N6 ^5 J8 \! r. N, Z
% K' f; M+ Q( n8 d, X/ d2 R2 [& W编辑：摩昂seo_天津seo博客站长1 D& @# h: D6 @9 O- h: u. Q# J
1 D9 G0 u+ p2 U( j. o1 t, z9 d$ u' c
|
