|
|
WordPress博客robots.txt写法使用Wordpress搭建的博客，利用robots.txt文件限制搜索引擎抓取部分目录及文件，归纳大致有以下几种方法。
# n& M0 K3 l! u' N. O
; H4 f" P; k# t" j! A0 }8 y/ k2 a最简单的开放写法
4 S$ Y& d6 o9 N0 y: @3 `( U3 S+ o: q; e3 Z
不作任何限制，Wordpress站内链接结构比较合理，作为一般博客，完全开放就可以了，代码：
2 @$ g1 i9 j, R L1 J. f- e6 H2 k9 M" D- W; ]/ n( p
User-agent: *. m$ t2 Z6 _# m/ X
Disallow:* O) m( Q6 }1 F% i E/ S
+ `# Q8 }# g# K
允许所有蜘蛛访问，允许访问所有内容。Wordpress只要模板中链接设计合理，没有需要限制的特殊内容，推荐使用这种写法。) K: ]7 O( ]3 m# ]
3 F9 C, h9 y! c5 U. q% E
最简单的严格写法4 s' K% a- U s
) O, V3 A5 q& R1 O, U, R, | {# F
User-agent: *
1 T- Z& W3 i; E; {+ ]; XDisallow: /wp-*
6 l% l, r; E2 X#Allow: /wp-content/uploads/8 @5 F) [, M, x) ^
Disallow: /*.php$
6 `! o ] V/ [; Y6 N5 XDisallow: /*.inc$+ j, f9 X5 v& Q5 l1 n
Disallow: /*.js$' l( {+ Z$ h: N& z; f+ \
Disallow: /*.css$
: b: a: T/ ^' f n& y4 k* c J2 cDisallow: /?s=' E; k# ?7 S7 f' k. B- d t
8 y/ t/ V, x9 k3 L! Q" K- S/ t3 y
允许所有蜘蛛访问，限制以“wp-”开头的目录及文件，限制抓取.php文件、.inc文件、.js文件、.css文件，限制抓取搜索结果。
0 H4 ?# d. A1 C- I, Y
" G1 T/ y ?: d8 K* G+ kDisallow: /wp-* 会连同附件目录一起限制抓取，如果想让搜索引擎抓取附件中的内容，将第三行的 # 号注释去掉。Allow 不是所有搜索引擎都支持。7 y- N. d' C9 V( g( J
3 G1 T% _4 _( `1 I0 V; a2 ?
最合理的写法
# D# Q% z; W# z3 ~* q* M `+ L7 p9 o. X& y; J# W! q( F
卖瓜的都说自己瓜甜，我也觉得自己的Robots.txt写的最合理 + M! R: ^1 I1 b9 \- o
" K/ c, `3 P; j, j
User-agent: *
2 g- q' v; G) S3 G1 ?1 }0 k& jDisallow: /wp-admin( U, N+ [/ N4 d0 t
Disallow: /wp-content/plugins/ e; x/ X( y0 S( |2 H2 J, A
Disallow: /wp-content/themes
+ r, L8 O& ]1 i; s) t( ^Disallow: /wp-includes# @$ |9 A( m/ m3 [0 h6 x3 W' I2 B
Disallow: /?s=) p0 ^' E* L; u. h
Sitemap: http://www.lutaigao.com..xml1 E ]. A. @1 `. p( o
: J0 n' J2 D% A! b/ u# a# R
允许所有搜索引擎抓取，逐一列举需要限制的目录，限制抓取搜索结果。+ F* f. M/ ^% N2 u
$ ]4 V" x M- _) f. R& J7 c" \& b
包含sitemap.xml地址（这一项viki中有专门的说明，但Google管理员工具会提示‘检测到无效的 Sitemap 引用’，有效性尚有争议）。
; P( A% |2 S+ {5 i8 m
! A$ ]* @9 v8 S7 k5 F* brobots.txt其他写法* P; D6 {8 L$ k, ~. }6 p! b3 U. f# q
9 Q, g4 D: K/ }/ y, e为避免在搜索引擎中出现重复页面，Wordpress玩家自创了很多robots写法，列举一些常用的，作为参考（适用于伪静态方式的永久链接）：
; s, x! g/ S5 g8 V( C7 T4 k6 o+ M; k5 U
Disallow: /page/4 L- g! e% D r
8 ^( H1 ]: g! M% h# e$ O- O. x4 x
#限制抓取Wordpress分页
6 b6 h0 C: f; F: u0 V$ {2 h& i1 ]* U8 T8 h
Disallow: /category/*/page/*
4 Z5 i- `! W! G- T# `# ?- E& A5 S# z# n, x
#限制抓取分类的分页
0 ]$ k( |. s6 O& J1 J2 d4 s: h) U, @+ B
Disallow: /tag/
2 S- y/ x% [8 Z6 W1 f5 S& | ^% v/ Q9 P8 B
#限制抓取标签页面
, r$ s1 H: r* F, X) x; X; H& ~7 G. Z! H3 |9 L* C; y6 Z$ R
Disallow: */trackback/
' V0 ?$ B6 O1 i) y
, N# f6 q5 U* Y* V2 [* {1 ^* }9 J0 b#限制抓取Trackback内容
3 K+ R2 I5 M2 `2 R7 [$ }5 G8 ]8 C$ Y
Disallow: /category/*) a) M! P2 Z( M' k* W8 `" [5 ?% L
$ l: `& [$ a$ |
#限制抓取所有分类列表' [8 ?# E3 A0 ~$ h' P
" H# T% @2 i# h- p% P
最后，推荐使用 Google管理员工具，登录后访问“工具 -> 分析 robots.txt”，检查文件有效性。 |
|
