, {2 e5 J: E* Z8 b
H$ a! B" ~7 B9 L$ x' `2 b( }
+ x; ]/ j$ U( s, h/ K( P, G网站robots文本，是放在网站空间根目录下的一个txt文本。$ ?. c8 }9 m# y; V! g; g m
: V! q* q( V$ q5 }- B! ^2 W网站robots怎么查看呢？
8 a& V9 @/ m7 w2 E5 H
% ]) [5 t1 P8 [( W你的网站域名/robots.txt ，这样可以查看任何一个网站的robots。0 m: A5 E' ]! u$ j# W- M
8 A% @2 R+ g& f% y咱们看一下某宝的robots文本吧。
& [/ m& a$ g L8 x4 d( U+ J/ c
2 b( m/ h. V. `) ?9 e0 t$ z4 A' J/ N8 p, H9 A
8 }6 ?2 |, H) @9 Q6 @9 _网站robots.txt文本
5 G' E3 z8 n a. Y" h) U0 ]$ k! A: g% u6 v- {4 }
什么是robots。9 a; P+ U6 @! ], B8 U* H
- ?5 S# f+ S9 N: j) l; N, ]是搜索引擎蜘蛛，在抓取网站前，先查看的一个文本，可以告诉蜘蛛，哪些可以抓，哪些不可以抓取。确定抓取范围，如果没有就按链接顺序抓取。% q+ |0 C, e1 A
& f: i3 ~. j9 a& R
robots文本的作用是什么9 ~" {* F/ d2 ]/ `: Z
- T0 R! x/ p3 s [+ x$ ]
告诉搜索机器人不要爬行我们的部分网页，比如：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。
* F1 g+ b# m. p% L: a; A
M! B. M5 c- A, s" D1 B* e1，用robots屏蔽网站重复页
( X( W- k0 x/ [4 j% H5 ^- d; f6 [% R6 T. G; P3 i; I3 j& z
2，用robots保护网站安全- W* e% z* y; w$ Y
* y2 E% F6 y. Z: B7 m8 }. o
3，防止盗链/ o% |6 G- C. {/ m7 D
" z) i" n* t- H2 Q: `1 V& ^4，提交网站地图
" E3 e" }. ]7 r5 o( j
3 }2 v6 Q' ?4 n; _) i+ m0 o( \5，禁止某二级域名的抓取
3 [ Q$ f2 _" s. f6 N3 e0 I2 R4 U) G, n- ~/ a& d- C& ~
robot文件的一个指定用语。
0 Z9 P$ r" g0 n$ T$ ?
8 B. ?& p8 [$ r+ t7 E) |* yUser-agent: 控制各个搜索引擎蜘蛛1 U% K! H; ^3 U% L
, J6 L" _ c& _. F# z5 m+ b
Disallow: 不允许抓取莫某
5 L% x) O+ M0 M+ J. R1 [7 S
2 V3 ]4 E; E) l; [allow: 允许抓取某某
' N0 j' u, J h* ^
# }; i. z8 c( d' y" }* 星号代表所有8 N+ X& _. _9 @% Q9 m. C
0 s6 P9 @/ o% R2 b9 h7 W* i# W
编辑：摩昂seo_天津seo博客站长
! D+ [9 N' {/ G+ y8 H* p' P/ Q3 B4 E1 S- r5 g( ]4 q! n
, u$ y" F9 l$ C% n2 u& j
|
