|
|
WordPress博客robots.txt写法使用Wordpress搭建的博客，利用robots.txt文件限制搜索引擎抓取部分目录及文件，归纳大致有以下几种方法。2 j2 `8 @4 a2 A0 w4 M/ @8 ?
7 \3 L# n9 D8 n; U. ^
最简单的开放写法
~ P8 d5 E& r y( X3 j6 F3 A. d
不作任何限制，Wordpress站内链接结构比较合理，作为一般博客，完全开放就可以了，代码：
; ~! w9 F0 w3 L3 C' x. \# h* ^3 h( B& O/ i
User-agent: *
" T4 ~9 P! i; S1 Z+ j7 pDisallow:
/ ?4 F' z+ D1 M( `% h8 C7 s$ |" Y$ ^9 _5 h
允许所有蜘蛛访问，允许访问所有内容。Wordpress只要模板中链接设计合理，没有需要限制的特殊内容，推荐使用这种写法。/ J+ d" @1 G# p$ R
' D8 `, H$ j* Q! I L0 U8 q. L- L最简单的严格写法
$ \: C% o" [/ j% |: b x9 z/ E, n6 U
' e! c8 C7 W" z" `7 W4 RUser-agent: *" w& ]; c& u f0 G6 V* [
Disallow: /wp-*
; ]# p2 V2 C1 |9 r) y#Allow: /wp-content/uploads/
3 K) z/ N+ t6 @6 S1 KDisallow: /*.php$
& z' ~. F2 I; `# b- dDisallow: /*.inc$9 h) `4 N% O: |: H8 {2 y
Disallow: /*.js$
8 _8 u' y U) u6 n' M# I$ q& xDisallow: /*.css$
- M8 P- Z1 F3 O- J# aDisallow: /?s=
* D3 N, L7 D0 O7 S/ n
" |* u& r8 ]( k( ]. F8 y" w' k允许所有蜘蛛访问，限制以“wp-”开头的目录及文件，限制抓取.php文件、.inc文件、.js文件、.css文件，限制抓取搜索结果。
& N4 M+ w4 I6 ^: p2 O& k7 F/ D' x6 J/ c$ V/ L
Disallow: /wp-* 会连同附件目录一起限制抓取，如果想让搜索引擎抓取附件中的内容，将第三行的 # 号注释去掉。Allow 不是所有搜索引擎都支持。: }8 q8 i1 W# @( f
$ K* v! }, S! i% ^1 `! c$ q9 O
最合理的写法$ h% d# @ c9 h
6 s5 u7 p5 L8 r0 s# @/ D
卖瓜的都说自己瓜甜，我也觉得自己的Robots.txt写的最合理 # S4 W% b% v7 b" c" B0 G- j, V* e
3 Q2 {! }" {! M1 iUser-agent: *
' Y& w2 y/ C; o+ G7 Q- @Disallow: /wp-admin
- R6 G0 u9 t4 a9 W/ T) E% T, @Disallow: /wp-content/plugins; A. M) o2 |5 t- Q9 f
Disallow: /wp-content/themes0 |& |/ N6 {" G9 g/ X5 Z* x& u( T
Disallow: /wp-includes
/ I I; S& z( Q& e& b1 YDisallow: /?s=7 @& s/ q4 @5 X, j+ _- h
Sitemap: http://www.lutaigao.com..xml
6 M8 H# t% | {" j) E1 _ g. a
3 v m2 d- _, |, k, A( T允许所有搜索引擎抓取，逐一列举需要限制的目录，限制抓取搜索结果。 `* X, c# C) N$ t' ~7 T7 G
! C C7 k3 [. G4 [% H; C' Z. Z包含sitemap.xml地址（这一项viki中有专门的说明，但Google管理员工具会提示‘检测到无效的 Sitemap 引用’，有效性尚有争议）。
' C* ]; P; B: t7 Q; y& W
2 Y9 Y" N* s- probots.txt其他写法/ j2 V3 o/ w6 Q9 n `1 k" T
( y& V# S) L) U4 i$ {3 Q& |为避免在搜索引擎中出现重复页面，Wordpress玩家自创了很多robots写法，列举一些常用的，作为参考（适用于伪静态方式的永久链接）：6 X( H/ k) d4 g4 e" ^$ b0 m4 j
% i! e: M8 X$ ^/ T
Disallow: /page/3 U. C; l+ }; U$ |& |1 ^; a
/ _' R) \6 v) `# g) u#限制抓取Wordpress分页5 n0 H) p: L; `6 w! V2 d* G
0 G8 W- N2 M. W4 `' sDisallow: /category/*/page/*
6 r& y4 l9 W2 v/ B$ z4 r) Y, a! Z
* `3 ?( s: ]6 u3 a7 ?+ [% Y8 s#限制抓取分类的分页% i& H/ H6 ~) J/ C5 w1 `1 i
% \ F) U0 v* @, Y4 rDisallow: /tag/
, \" x, A# l1 o* D% k4 E4 t! B& e2 E5 G# K/ P& A l. d
#限制抓取标签页面
" o" z9 N% B% S, ~. i, b
. Z0 r u9 K0 U7 [* SDisallow: */trackback/+ f! M/ B) L' }: ?1 T5 a9 ]$ K
, l2 I( v9 A; Z5 g9 P7 X#限制抓取Trackback内容
5 [3 z- b/ [! v8 u4 l" l5 {0 r. p R* i) R) G- R
Disallow: /category/*
3 j% Q B' J. i2 N; N- V3 z7 k8 g7 l
#限制抓取所有分类列表% u5 |0 S" H% H3 G4 @7 V" g1 ^
& {) V3 \1 @6 T2 |% \. v
最后，推荐使用 Google管理员工具，登录后访问“工具 -> 分析 robots.txt”，检查文件有效性。 |
|
