|
|
WordPress博客robots.txt写法使用Wordpress搭建的博客，利用robots.txt文件限制搜索引擎抓取部分目录及文件，归纳大致有以下几种方法。
$ B8 @2 Z0 a m i( g) W- | R: k0 r8 M9 H' ]+ x) d3 t
最简单的开放写法7 p) w1 |$ u9 ]$ {
) N( \' g$ J$ ?- m. @0 t不作任何限制，Wordpress站内链接结构比较合理，作为一般博客，完全开放就可以了，代码：$ n" j8 a4 v$ N& P
/ m* I% x8 I* M1 ?
User-agent: *
# T8 v2 f* }4 D( g/ \6 wDisallow:
9 x/ ?( y1 X9 M9 D
; I, m& S; a. L允许所有蜘蛛访问，允许访问所有内容。Wordpress只要模板中链接设计合理，没有需要限制的特殊内容，推荐使用这种写法。3 G8 w, Y: H+ N+ K3 H1 e% Z
' n( G) B7 w- `6 w最简单的严格写法# g& ?* s6 X% d p3 O5 Q
: l: I# z$ O6 }+ E* U& v- J6 j" J) h
User-agent: *
2 t) V9 e) a0 }4 a' z; ]Disallow: /wp-*
: A. r/ q5 ]; U. O- C#Allow: /wp-content/uploads/, ~+ {7 O {3 T. t9 @$ r# ?7 z
Disallow: /*.php$
1 Y0 d' w4 Z; k s* u* \ G0 u" ?Disallow: /*.inc$: X6 F/ S- r, \, Y
Disallow: /*.js$, |3 @2 H# S: r: Z) }+ D
Disallow: /*.css$
@& P* g R8 w) c) j9 w8 W# hDisallow: /?s=6 Y, o" K& [' T; A F$ Q
; v; T% ~# S* F+ n1 ^允许所有蜘蛛访问，限制以“wp-”开头的目录及文件，限制抓取.php文件、.inc文件、.js文件、.css文件，限制抓取搜索结果。6 k. Q+ k% p/ ]. M/ M
0 u: X! N6 P4 C$ `& Y# m
Disallow: /wp-* 会连同附件目录一起限制抓取，如果想让搜索引擎抓取附件中的内容，将第三行的 # 号注释去掉。Allow 不是所有搜索引擎都支持。, {" \* E" S& L% X$ Z+ [3 s: F
- k$ B- j( I3 i1 ~
最合理的写法' G4 @! g) R8 u% L, a
# o9 C# [" o6 u1 D3 j% ~, q5 f1 ?卖瓜的都说自己瓜甜，我也觉得自己的Robots.txt写的最合理
7 E; T2 u8 B( F* |7 S+ }, M7 Q. D2 l6 T/ n* [8 ^0 P
User-agent: *
1 X1 W+ l0 k6 n1 _Disallow: /wp-admin% a' ?: q4 \; y; F
Disallow: /wp-content/plugins
/ S% v+ B: h8 w h: @8 iDisallow: /wp-content/themes5 s7 X( f# I; {
Disallow: /wp-includes' s# K7 d; H- w
Disallow: /?s=) Y3 b" g7 H- |
Sitemap: http://www.lutaigao.com..xml9 U& ^: L/ g5 g7 k$ u
! V G! C+ e H) G允许所有搜索引擎抓取，逐一列举需要限制的目录，限制抓取搜索结果。
2 l$ k3 g# J2 w h. v) S. D+ G7 x2 ?/ E: h* T1 H
包含sitemap.xml地址（这一项viki中有专门的说明，但Google管理员工具会提示‘检测到无效的 Sitemap 引用’，有效性尚有争议）。
8 q" }: g- Z% Q; `
5 h5 l. ^# k/ y( x( D. Trobots.txt其他写法
! K& t: E/ w5 b1 p
F1 z4 L) c8 w' |* w n为避免在搜索引擎中出现重复页面，Wordpress玩家自创了很多robots写法，列举一些常用的，作为参考（适用于伪静态方式的永久链接）：
3 ?+ X& Y4 x( h8 b& j W8 ~/ m" Z8 Z3 u& y7 {, \) R$ \
Disallow: /page/" s# O. w; ]9 x) x3 r
' F9 T9 u) t' U6 {, m9 Z, N5 A
#限制抓取Wordpress分页
# U! {) @9 B2 M) _/ ^/ ?! m" @- w( {4 y0 O/ N& w
Disallow: /category/*/page/*1 P4 h# N: x! X0 X6 R/ Q! z+ r7 a
: k2 V% X- o7 s* `5 A
#限制抓取分类的分页3 L3 e+ @% O0 \3 |% Y
) ]: p4 n( F( {4 f% ~8 _Disallow: /tag/
4 c; D- f0 r8 n: a. E3 V+ D y& ~2 C; M. L
#限制抓取标签页面
$ |* C1 A5 f, ?$ y3 l. ] d: `5 W: J) y
Disallow: */trackback/
?$ |$ P: z* s; W0 O! K/ v% ?- t- _/ O0 m
#限制抓取Trackback内容
( u6 \, p: |5 `1 ^+ I2 T
6 J. f; E* T' g3 nDisallow: /category/*
. R/ t' O9 b2 B8 Y; _+ `, ^5 v# q3 B0 M8 m; p& b: d2 P
#限制抓取所有分类列表
' n. s+ R- ]) a2 q" g+ Q3 n" Z
4 A+ Z, X) }' Z8 h5 l& V- |最后，推荐使用 Google管理员工具，登录后访问“工具 -> 分析 robots.txt”，检查文件有效性。 |
|
