|
|
WordPress博客robots.txt写法使用Wordpress搭建的博客，利用robots.txt文件限制搜索引擎抓取部分目录及文件，归纳大致有以下几种方法。
: H4 |$ @. ^8 K
8 w s; s# |2 @最简单的开放写法% ?, P1 l2 P7 |; I' {/ K1 M, a) d
' f- V5 I' }! o. d( ]! p* K3 _
不作任何限制，Wordpress站内链接结构比较合理，作为一般博客，完全开放就可以了，代码：
) L$ l0 x* g, H
: F0 b) c% N/ H6 z! jUser-agent: */ s: D# }3 M- g- h+ [
Disallow:
0 g! d9 ]6 y. E j* E/ r+ |# w/ o0 w- R7 o' c
允许所有蜘蛛访问，允许访问所有内容。Wordpress只要模板中链接设计合理，没有需要限制的特殊内容，推荐使用这种写法。
8 w2 H! r/ z# B% G: t6 O7 Z( l
3 Y% @! A$ w$ a7 n最简单的严格写法, ?" C: @9 I8 {: N! p% ?- |6 L
3 ~' W6 V& z. t
User-agent: *9 z/ X, h5 [& ~2 k. z; u0 j! V+ {/ i
Disallow: /wp-*$ d( {4 ?$ u8 |$ X8 y4 `
#Allow: /wp-content/uploads/
+ `2 z0 g/ o# H3 y y' vDisallow: /*.php$
+ |, [" Z. X; V, Q+ P& kDisallow: /*.inc$) o: N& I: \, `
Disallow: /*.js$
7 Y7 ~* }$ ?$ i' a! f# {Disallow: /*.css$' H& X6 X/ m# Q. S9 L2 r
Disallow: /?s=
) u0 q- d& Z7 d4 J3 v5 X
" M) ], T) i7 I) M" w允许所有蜘蛛访问，限制以“wp-”开头的目录及文件，限制抓取.php文件、.inc文件、.js文件、.css文件，限制抓取搜索结果。
: I# }" s6 `, ?+ ?5 Y7 n1 M% q+ |# [, K% X0 l6 r
Disallow: /wp-* 会连同附件目录一起限制抓取，如果想让搜索引擎抓取附件中的内容，将第三行的 # 号注释去掉。Allow 不是所有搜索引擎都支持。5 K: x$ c* a- B/ v- c) H* v
& s5 _* d, T4 a! R! V最合理的写法
6 S$ L: T4 P( B& ?- p" q; \4 F9 P& z% n
卖瓜的都说自己瓜甜，我也觉得自己的Robots.txt写的最合理 , E) Y* a: e2 C) I6 o
( w3 [% w1 {9 i2 ~* F G
User-agent: * g" c" l) B% h; ~% |0 y: \
Disallow: /wp-admin5 _% x. t1 k1 j/ o* N6 o5 h4 @
Disallow: /wp-content/plugins. L4 U( Q' g) k
Disallow: /wp-content/themes
2 }8 |7 R) W4 d u$ g0 v; H3 xDisallow: /wp-includes0 b6 g5 l1 L, K# w1 \) }
Disallow: /?s=
5 C8 e/ A: u8 F; [" h- ^! u) ZSitemap: http://www.lutaigao.com..xml- Q2 r! E" s& k# Z% G6 Q2 F- y
6 W1 k( n" _/ B% U
允许所有搜索引擎抓取，逐一列举需要限制的目录，限制抓取搜索结果。# w7 C2 r% b, L- F- l+ b
8 N0 I5 L. r/ V; w. g% S包含sitemap.xml地址（这一项viki中有专门的说明，但Google管理员工具会提示‘检测到无效的 Sitemap 引用’，有效性尚有争议）。4 i: W4 |0 r0 a9 E6 y
4 \0 l5 L. l1 w: L* e! U1 z
robots.txt其他写法
3 F; S3 N, s; T5 f& `; v6 d- T7 v' x: J( Y2 F6 d, x
为避免在搜索引擎中出现重复页面，Wordpress玩家自创了很多robots写法，列举一些常用的，作为参考（适用于伪静态方式的永久链接）：) q6 y8 S9 ]( v+ Y3 p# K: R; h* C
0 X$ q7 l% _: C1 u" x
Disallow: /page/
3 }2 M Q( J' H
6 m+ c! h/ \9 k* ^. G#限制抓取Wordpress分页
2 h3 s- s+ z/ o; \1 p+ ?, r' d$ ~1 N' x; |9 b- P
Disallow: /category/*/page/*
H" N1 t% H0 ?# B( J* I) X7 S8 G k4 m0 B- k
#限制抓取分类的分页
3 o4 V$ A& c* s1 M9 [
# v5 N) w D/ l0 P, @3 ZDisallow: /tag/
! X4 N* L( h+ b( W: O$ N
& F# A1 o3 Z8 J+ N+ W0 w; q+ W2 j#限制抓取标签页面
! {( q! O7 E6 s& M! g( l+ u+ |' f! C
& ^$ c1 O6 F/ X' V* uDisallow: */trackback/
, w- [1 r, C5 A) Y$ H! a1 U& r1 u6 Y% f
#限制抓取Trackback内容
0 j3 I7 B% p& _* u( g; C4 o. \) k! w/ w2 f, y) m, S: w4 f
Disallow: /category/*
& p9 ^( q' |7 A4 M" n0 Y$ K) a! v1 S+ K) @6 y- _
#限制抓取所有分类列表% T& a0 G' m% y2 e2 W! V
/ K. P. j4 y0 T1 X, r" _最后，推荐使用 Google管理员工具，登录后访问“工具 -> 分析 robots.txt”，检查文件有效性。 |
|
