|
|
WordPress博客robots.txt写法使用Wordpress搭建的博客，利用robots.txt文件限制搜索引擎抓取部分目录及文件，归纳大致有以下几种方法。
7 A, F& d) }0 j8 [7 |. Q
7 {/ `, m |/ p. O最简单的开放写法
! \5 c! M4 h' A l% s- h$ z( {- T! n- v6 U$ P
不作任何限制，Wordpress站内链接结构比较合理，作为一般博客，完全开放就可以了，代码：
$ t* L3 V: b/ a: S
7 d0 x8 A+ Y9 i. P5 r; }User-agent: *
$ Y+ C6 X" o+ fDisallow:
- N, t# ]( q H8 }! x |8 I6 `! v2 j/ c4 E/ d
允许所有蜘蛛访问，允许访问所有内容。Wordpress只要模板中链接设计合理，没有需要限制的特殊内容，推荐使用这种写法。
# Z. {! b4 V. B5 l& i6 B' q w
0 Y3 ^% |$ h& T) [最简单的严格写法1 D: |0 r+ o# Y3 x q) N; Z
3 M5 u3 \( K/ C* _9 t
User-agent: *
) [+ A# d0 `, j/ _$ PDisallow: /wp-*: F' _. o( r# B' ~- e
#Allow: /wp-content/uploads/
" ^/ K0 v8 p0 V6 l- jDisallow: /*.php$
* x2 v5 V1 J1 g, YDisallow: /*.inc$" ?2 Q* f- A3 E5 P! J: p
Disallow: /*.js$
, M' E* @% ]* T3 i( IDisallow: /*.css$$ A h- Z7 U) m" k5 w
Disallow: /?s=
: ?6 B# W5 x# {8 n" V
2 \: |8 d' W# O, I" r8 x允许所有蜘蛛访问，限制以“wp-”开头的目录及文件，限制抓取.php文件、.inc文件、.js文件、.css文件，限制抓取搜索结果。/ ^7 ~% C7 u' _/ p7 Y
# J& v. P; r h ?9 t) qDisallow: /wp-* 会连同附件目录一起限制抓取，如果想让搜索引擎抓取附件中的内容，将第三行的 # 号注释去掉。Allow 不是所有搜索引擎都支持。
: y, t; b i1 n
- E9 k ~5 Y4 D- O4 ^最合理的写法
& \$ [3 v( c1 m& @- h
" c( r& F* V5 N* A [: |' T卖瓜的都说自己瓜甜，我也觉得自己的Robots.txt写的最合理 ! H/ v& T- Y! ]
/ t( z0 G5 ]' `6 dUser-agent: *
0 G6 l7 P0 W4 C4 O6 fDisallow: /wp-admin$ a2 J- ?6 V- M% _9 Z4 h' x, c
Disallow: /wp-content/plugins
4 H4 ^* w/ ]3 e& h2 f# x6 L! sDisallow: /wp-content/themes
# D c Z2 Z& f f& kDisallow: /wp-includes7 K' q1 @+ ], k' S( r# R
Disallow: /?s=
8 A5 Q- q- A, y5 U4 z n" aSitemap: http://www.lutaigao.com..xml2 B, y$ e4 F% G E6 c- H" P5 u3 C
6 A) z% l v3 T: j- c* o( x
允许所有搜索引擎抓取，逐一列举需要限制的目录，限制抓取搜索结果。5 k& B4 g' R! o' q
. _- @7 ]' r2 p" Q; E" L# U5 M. ]
包含sitemap.xml地址（这一项viki中有专门的说明，但Google管理员工具会提示‘检测到无效的 Sitemap 引用’，有效性尚有争议）。
- o/ @* b2 v* S% y4 H/ r9 {5 g# n& p) y
robots.txt其他写法
5 E4 W$ {) {! B4 ^4 @& D. x k8 {' q3 ?' s( |& U: ^: u
为避免在搜索引擎中出现重复页面，Wordpress玩家自创了很多robots写法，列举一些常用的，作为参考（适用于伪静态方式的永久链接）：, R% \4 d3 Y. W) Z8 B. E
) J/ V/ ?8 `* n5 [2 a6 D
Disallow: /page/
! i3 b& j V0 w- @3 C1 T Z4 Y. L
. u' N+ ~: \ n0 z) ~9 Y" K#限制抓取Wordpress分页" ~, Z8 O' b+ T; W' `* L
) q1 Z& m, ^) r4 L2 a& P8 |Disallow: /category/*/page/*
1 b- D6 T* k$ x6 G$ R( p+ p' {; d. `
#限制抓取分类的分页) Y/ k6 H( o+ U- v5 h
7 r4 T* s, [ g' U6 B" L+ {Disallow: /tag/
, p! A# d7 R' ~
% Y, _# t/ A0 `( L#限制抓取标签页面! B9 l0 X4 r: D, u" ~/ N2 |4 d
) a. r' ?! \: I# h2 l9 N1 o" A
Disallow: */trackback/" V) \1 d N! h3 `" u
; |, L; h# O3 y: X. L/ X
#限制抓取Trackback内容
/ r7 i ]5 \; Y# ?: e
$ l' Y% b- N: ?0 t- g( FDisallow: /category/*
* P! g3 a. G* {* p* L. Q
3 s7 ]7 k [$ @# L% i#限制抓取所有分类列表6 V8 t* L" K, w/ Y) A
# M6 J* A7 @% h# a) i2 j% [4 x最后，推荐使用 Google管理员工具，登录后访问“工具 -> 分析 robots.txt”，检查文件有效性。 |
|
