|
|
WordPress博客robots.txt写法使用Wordpress搭建的博客，利用robots.txt文件限制搜索引擎抓取部分目录及文件，归纳大致有以下几种方法。( d3 L! t4 w m, s% B
0 D; \! G' `8 v
最简单的开放写法
) y8 S6 \/ n& N h0 n( p4 ~. B0 t& _
不作任何限制，Wordpress站内链接结构比较合理，作为一般博客，完全开放就可以了，代码：
, u# S- o! {: O; j, O2 e% ^1 U9 r1 [/ u% A
User-agent: *
/ H8 c( ]* r1 Z4 g. @9 o6 I/ WDisallow:
' t3 n7 h. `. a& l0 `; {8 _# L/ m. x9 P/ e; a; N
允许所有蜘蛛访问，允许访问所有内容。Wordpress只要模板中链接设计合理，没有需要限制的特殊内容，推荐使用这种写法。
, W) E- `6 E8 [. @. f! G9 H8 h7 N
5 d+ V/ ~) o; k9 X# l最简单的严格写法
4 J& f; ^4 {# M; y" ?( p
/ w. A4 F( h3 B9 {. O. TUser-agent: *# w! |3 |* E! [0 s
Disallow: /wp-*
1 k9 L/ [, L# h, c- h# @#Allow: /wp-content/uploads// d2 X/ C- v- ~& E
Disallow: /*.php$) q% e7 j1 J7 D3 Y* V
Disallow: /*.inc$
- ?9 Y v1 L7 i4 }. wDisallow: /*.js$
; Q: ~7 L( O+ T7 X* k) ]) }Disallow: /*.css$
2 c5 Q$ U* v+ h7 oDisallow: /?s=
% k! A2 s5 C3 y% \9 f% n8 I0 r# A$ t# d. v- M3 k0 H
允许所有蜘蛛访问，限制以“wp-”开头的目录及文件，限制抓取.php文件、.inc文件、.js文件、.css文件，限制抓取搜索结果。! T, [+ u# x& l% n, W
; j% p) a6 I" gDisallow: /wp-* 会连同附件目录一起限制抓取，如果想让搜索引擎抓取附件中的内容，将第三行的 # 号注释去掉。Allow 不是所有搜索引擎都支持。$ o9 a! O2 X/ p+ j0 m: s [& X0 k. I
, \- b" ~$ e! [8 ?+ W! G最合理的写法, k# o" A3 k: E; E5 d
( p. @ L9 n5 U; h/ U& d3 V卖瓜的都说自己瓜甜，我也觉得自己的Robots.txt写的最合理 1 s) o- a' _0 T4 H" b; c
" w0 L5 F4 L+ ]" pUser-agent: *; `+ {8 \! p6 I* K, A+ }5 n
Disallow: /wp-admin
x5 m4 Y, t& V% c1 \, S( jDisallow: /wp-content/plugins
3 s" W3 H7 ]/ ~! `Disallow: /wp-content/themes7 A0 z0 p* h) l) }, ]
Disallow: /wp-includes
- k8 r9 y% K! S I6 w. \8 ODisallow: /?s=/ B! p! O+ I2 q" k1 k" h
Sitemap: http://www.lutaigao.com..xml8 e; Z9 j( b, t6 k7 K
5 ?" |: Z" H) Q- j& {允许所有搜索引擎抓取，逐一列举需要限制的目录，限制抓取搜索结果。: K; P3 O+ }1 B) E# g
8 q( ?& h# }2 i% A( A
包含sitemap.xml地址（这一项viki中有专门的说明，但Google管理员工具会提示‘检测到无效的 Sitemap 引用’，有效性尚有争议）。
9 P: a1 i# T: ]' t! @, V. h6 |) U4 V$ N
robots.txt其他写法' N+ F8 N4 y9 f6 } ?
0 u% O, }9 K$ G! f为避免在搜索引擎中出现重复页面，Wordpress玩家自创了很多robots写法，列举一些常用的，作为参考（适用于伪静态方式的永久链接）：* F5 P3 w! v1 b2 g! _
, _: |4 @0 E. Q8 h2 b3 J
Disallow: /page/
8 `# S+ k( q& B3 f5 e- ~7 b: r) f! C3 j
#限制抓取Wordpress分页 e# B5 M8 s& i# A1 C
2 ?6 x: g, l" K. o3 ]
Disallow: /category/*/page/*
8 X6 j$ M/ u( Z2 F
; t/ M3 x$ W! M4 m2 ]#限制抓取分类的分页- u6 p. K$ K7 G; P- I# K* Z6 f
) e. q3 i% Y6 B! l- I; S. M: Q
Disallow: /tag/
7 D( Q7 `1 s, z( D
: Y; o% r( `+ ?" I, @9 l#限制抓取标签页面
$ D8 d/ T; _5 n) E1 W5 B- ?% I5 t* C- H" K3 l0 p* T
Disallow: */trackback/" ]$ |8 j5 m# P4 c6 ?5 o' _
6 J& S7 q4 s; t& Z#限制抓取Trackback内容
& U' C# N5 `# f
( I4 U& I) Z6 t; kDisallow: /category/*
: K& f5 Q8 K2 ^9 G% }% \
' l7 l3 K" t0 r4 m+ r#限制抓取所有分类列表
7 G1 k2 C2 K) F% L) ~7 S0 @
5 ]* v# G" j6 S# m最后，推荐使用 Google管理员工具，登录后访问“工具 -> 分析 robots.txt”，检查文件有效性。 |
|
