|
|
WordPress博客robots.txt写法使用Wordpress搭建的博客，利用robots.txt文件限制搜索引擎抓取部分目录及文件，归纳大致有以下几种方法。
% V3 d+ ]/ ?0 i* j0 {5 @
' G v/ t E) q) @最简单的开放写法
2 j4 p) Q5 p2 z! q- s! Q
! _5 C" k- v( v5 G [; O' I8 k' V不作任何限制，Wordpress站内链接结构比较合理，作为一般博客，完全开放就可以了，代码：, p9 j# k6 e# Y, M+ \+ N2 w
0 r% f" O2 E& d ?1 Z5 gUser-agent: *) V6 x, V ?. i7 I' n2 F
Disallow:
* {8 O& V$ e4 d" v- Z$ C
% O) }; p9 F5 Y3 ?. Y) e3 Q' y允许所有蜘蛛访问，允许访问所有内容。Wordpress只要模板中链接设计合理，没有需要限制的特殊内容，推荐使用这种写法。* ?7 ?- k+ c& }+ S% R2 n- j' W
. a% D, B/ Z" I. i- \1 z& A8 D8 D
最简单的严格写法
% V: p0 J- r# n( q5 Z0 w0 d* h! c
& A# x0 I0 b8 Z7 dUser-agent: *
P u0 n. F" k% J! ~2 P6 w9 W% cDisallow: /wp-*
0 o1 ?- v: ]/ w0 m" b" Y; T# u#Allow: /wp-content/uploads/0 O! H4 J2 O4 J. n! y- d" }
Disallow: /*.php$9 f) [( _; x# T/ p/ l
Disallow: /*.inc$
8 i, j# x; x- i0 KDisallow: /*.js$7 j7 V& o: i6 D. h) E3 `
Disallow: /*.css$- R* N# T4 @; D1 g# }! Q2 P+ l
Disallow: /?s=- j0 `0 l; m4 U# Y
( Z# A# N q0 r T/ H) H8 e! t允许所有蜘蛛访问，限制以“wp-”开头的目录及文件，限制抓取.php文件、.inc文件、.js文件、.css文件，限制抓取搜索结果。
1 g5 Q" l4 w- g' s8 x8 r1 u; n1 z* r$ ^2 p& Y# s
Disallow: /wp-* 会连同附件目录一起限制抓取，如果想让搜索引擎抓取附件中的内容，将第三行的 # 号注释去掉。Allow 不是所有搜索引擎都支持。0 B0 M1 W- ~; `9 Y" M2 W
. N3 I0 p1 c4 Q$ V/ @
最合理的写法; g: c! G6 ~& M+ k$ r% n' b/ {
$ i, [' K K0 U- K% ~( c
卖瓜的都说自己瓜甜，我也觉得自己的Robots.txt写的最合理 ' { O, Q0 \; [$ U% |
+ [0 k, s$ c9 cUser-agent: *2 J% k$ Q( o5 V/ m4 A& x2 x) r. D
Disallow: /wp-admin
: T' ~% B/ G2 Q7 ]" i8 G4 B J. VDisallow: /wp-content/plugins
/ ?( J7 @1 ?4 k% ]- _+ d( s9 `5 mDisallow: /wp-content/themes
3 v" I- y* S* u+ l: a: S2 q# W! JDisallow: /wp-includes: _. V c2 i4 i, X- h4 \1 [2 T
Disallow: /?s=
' B% d @8 a- ZSitemap: http://www.lutaigao.com..xml
J: {- L6 s8 n3 g4 Y% u4 l
1 W( s, y! b. L5 P" ~允许所有搜索引擎抓取，逐一列举需要限制的目录，限制抓取搜索结果。
8 P! j6 s& y- d8 y2 G/ `2 |
( {' H9 N, @! o* t' i, F包含sitemap.xml地址（这一项viki中有专门的说明，但Google管理员工具会提示‘检测到无效的 Sitemap 引用’，有效性尚有争议）。7 i0 w4 { w4 ]) c3 _: M
6 K* {& R0 F& W5 _/ w( a3 P6 P8 J$ u) A- Mrobots.txt其他写法/ O" O' B1 E# [9 P/ ~
% X) [" R4 J( V W) V为避免在搜索引擎中出现重复页面，Wordpress玩家自创了很多robots写法，列举一些常用的，作为参考（适用于伪静态方式的永久链接）：) C+ e7 w9 ]: D3 a
+ \" i" p! ~# Z I: t4 a1 GDisallow: /page/$ b0 x) s5 d+ C! P
/ @0 m( E6 l& O7 `$ z#限制抓取Wordpress分页
- e9 V7 N* ?7 `9 l i- @4 u2 O: P- _1 K
Disallow: /category/*/page/*
+ F' a. P. R1 F0 }* C+ R7 ]& i" V. l4 A. p t; P! v) J
#限制抓取分类的分页- W* P( I9 P+ c+ V D% m" y1 B1 Q
- s3 |. U1 q' u2 z/ o5 ~2 B+ W
Disallow: /tag/) V# p. n1 U' M) w/ `4 C$ }/ j
' J% [# _7 H' J. a" l" _4 \6 M2 j$ B
#限制抓取标签页面% P1 `- b' X' W8 j/ n) ~: n
$ V3 I2 Q: F4 TDisallow: */trackback/
2 a' k( n1 y, L/ U& \
- }! U! P3 o& L' J: B" V8 P9 Y#限制抓取Trackback内容
/ o0 `2 N2 Z- j. ?- n7 S+ S$ T/ G- Z+ f% Q: Z( E" M! R; N% F% C- @
Disallow: /category/*3 ~2 N9 @5 h, k; W, p4 j% d
& p) V8 [% q# G. ]6 k8 o% _% h0 }#限制抓取所有分类列表
3 t1 t2 X) S6 z2 X; { {1 y1 p! i0 [" A
最后，推荐使用 Google管理员工具，登录后访问“工具 -> 分析 robots.txt”，检查文件有效性。 |
|
