+ K* n3 Y) s1 m! K8 M& O8 Z1 b d
" G- X0 o3 D3 }6 j$ z" T" [* d
1 n# t* t z6 R. P7 g& h
网站robots文本，是放在网站空间根目录下的一个txt文本。; _& y6 T- k& W
9 z& E4 h7 P" Q& j. i+ a5 K
网站robots怎么查看呢？
- V0 D6 z4 P6 B$ T( [8 j2 x/ _: Y0 C: M. P0 t8 T' ?6 L3 U8 F7 ]
你的网站域名/robots.txt ，这样可以查看任何一个网站的robots。
6 s0 u9 B( S1 P7 S( e i3 y1 A& b$ t( D i$ ?
咱们看一下某宝的robots文本吧。
4 g% q" B/ k; |0 |) k) G+ q9 `" s' E
' c( u- H/ U) ~
8 Q! Z6 e+ D8 d. M: a网站robots.txt文本 1 G% H' @0 G4 K
4 r$ t+ p( j* |" s, w3 K3 B
什么是robots。
' ?& L& q( g; H3 l5 V
5 R5 r: ~4 E, r1 d是搜索引擎蜘蛛，在抓取网站前，先查看的一个文本，可以告诉蜘蛛，哪些可以抓，哪些不可以抓取。确定抓取范围，如果没有就按链接顺序抓取。9 Q/ f, L+ r# C- l
$ N! W d( e! `" P/ \* _4 P, g3 n, `robots文本的作用是什么9 ]6 K C% p4 w6 c `
' ?' u: \7 ?0 w3 \% z6 w& n( b. J' p告诉搜索机器人不要爬行我们的部分网页，比如：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。
5 F- R( k7 G, w Z* g- F5 h' d8 T) ^
1，用robots屏蔽网站重复页
3 _9 N2 G. T( K- p5 O# E: A0 {: P- p. g6 o9 o8 _
2，用robots保护网站安全
( t8 s' P" V! f/ m1 {+ _; `% o" ]4 K$ \
3，防止盗链9 a0 u% n8 \# `4 `
& ?1 c0 u4 g: g9 B/ \! o0 j% G
4，提交网站地图
7 B- L! ^& l4 D$ y/ }2 w0 C' Q! M+ H l
5，禁止某二级域名的抓取' R4 m/ r7 U' Q
5 c' [- U* S4 Lrobot文件的一个指定用语。
. }$ h# X3 i- B: p; U# ?3 _6 S* S' \: G$ o7 Z+ \; H& ^
User-agent: 控制各个搜索引擎蜘蛛: K. M- Q# Q0 h* P; r" O+ v
) D2 V, B! B/ M$ EDisallow: 不允许抓取莫某; S7 V. n2 K3 H$ e
5 i F& W! t8 T& w9 Nallow: 允许抓取某某
/ _" B/ S! Q: z7 o: F: n ?6 B6 ^; o8 M7 C
* 星号代表所有
. _" e* j: ^7 c/ h/ e! ^0 X4 a& S7 x. f# y9 H
编辑：摩昂seo_天津seo博客站长
9 o# _% M, i0 S4 d k3 r
$ l/ P2 p: u; ? L7 E$ ~* l- k4 ~
|
