找回密码
 加入怎通
查看: 1312|回复: 6

[站长八卦] robots文件禁止收录使页面质量更高

[复制链接]
TONY 发表于 2012-07-16 09:46:15 | 显示全部楼层 |阅读模式
  robots文件主要是为了防止搜索引擎收录和索引特定的页面。减小复制内容的出现。如seohu.net,同时具有动态URL和静态URL,它们同时指向相同的页面。如果搜索引擎同时收录就会造成复制页面。" O8 {) t! h/ N6 }8 {! G+ I' T

1 O& ?! o) K$ C5 q* u& |  1.robots文件放在哪里- J0 ~4 H2 o9 E1 W4 D' I$ L

0 V9 l0 V" l. i5 e* u% T- Y' ^  robots文件放在网站根目录下,搜索引擎进入网站查看的第一个文件就是 robots文件。 robots文件是规定搜索引擎抓取范围的文件。如果我们希望网站某些页面不被抓取,只需要创建一个 robot.txt,写入禁止收录的页面并上传到网站根目录下。. B0 \7 _  R/ p% W8 Q  o
( \" \1 H, p* W- I( y$ L! b# N
  2.robots文件怎么写
; q% p8 i/ g# }' E5 _5 n2 o3 d1 E0 W- c! b% p) m8 q  O2 I! f
  robots文件由记录组成,记录之间以空行分开,记录格式为:<域>可选空格><域值><可选空格>! P; V% g# W; {6 P5 K' g
' S$ [$ I$ s4 P
  如: User-agent
2 E& w! k( @' s) |2 g0 x' Y4 ^
  Disallow:/
9 v6 r3 I' ?/ Q2 ^# ^! d8 n, s' p! o( y6 D3 u
  这面的这个robots文件代表禁止任何搜索引擎抓取网站任何页面。只针对百度蜘蛛则用:$ ]4 W% m  Z7 d6 ]# K; `3 _
9 D& Z9 R2 p6 b* ^9 f& o: }
  User-agent:Baiduspider
' m$ V6 d( [8 r: O
' X3 V4 P# o* q* m+ {! Y1 P2 A  针对谷歌则用:
8 O3 q+ x0 {* G# b2 D+ D5 Y; I
  W2 m+ ^! z5 J  u  User-agentooglebot: G1 |* V% [0 c( I& Z! O0 e

" E  ~) T2 {" X& p( {  如下面的robots代表禁止百度抓取动态URL和文件夹temp下的文件
2 b7 k6 z3 E- g, U8 ?: g
6 b# x7 ^$ n- _$ z: G4 @  User-agent:Baiduspider
4 [; D. e0 q, |
5 G4 X! N; ]1 S: C' V! k, y) f  Disallow?*6 }$ j! S1 Z6 V# D. y. T' h
9 N2 M4 i& z6 E& s
  Disallow:/temp/0 E0 E$ U6 e4 o! }$ ?7 E* N$ u$ O

2 K4 h+ ~" T6 d" @/ O  其中*为通配符,可以代表任何一段代码。详细匹配可以看:8 c  S* v/ Q; b; ^3 @" R
4 C8 L0 n3 R+ D
  Seohu:主流搜索引擎都支持robots文件禁止收录机制。但如果有外部链接指向禁止收录的页面,这个页面还是可能出现在搜索结果中。其表现形式一般为导入链接的锚文字显示为标题和描述。本文写的很简单,如果还想深入了解,请在后面回帖留言。我会给大家解答。
回复

使用道具 举报

﹃錯愛 发表于 2012-07-16 10:23:20 | 显示全部楼层
很不错,感谢楼主的分享
回复 支持 反对

使用道具 举报

 楼主| TONY 发表于 2012-07-16 10:28:04 | 显示全部楼层
﹃錯愛 发表于 2012-7-16 10:23
. j9 |* ^- A, E- M, @很不错,感谢楼主的分享
: z: R: u3 x# }1 m# M
有必要的好东西 大家一起分享  比如本站就屏蔽了动态的URL 因为最近才屏蔽 所以收录一时间停止了 不过有大家的支持,我相信,很快就会回来的哦!2 X$ n$ D, ]+ |
回复 支持 反对

使用道具 举报

畅速-阳仔 发表于 2026-02-08 01:34:12 | 显示全部楼层
学习到了,之前一直没注意过这个点,受教了
回复 支持 反对

使用道具 举报

关不住的心 发表于 2026-04-28 07:00:45 | 显示全部楼层
说得很实在,没有夸大其词,这种真实分享太难得了
回复 支持 反对

使用道具 举报

缘来是你 发表于 2026-05-24 17:49:39 | 显示全部楼层
分析得很透彻,很多细节都说到点子上了~
回复 支持 反对

使用道具 举报

王学子 发表于 2026-06-11 14:41:35 | 显示全部楼层
刚好遇到类似问题,看完这个帖子心里有底了
回复 支持 反对

使用道具 举报

    您需要登录后才可以回帖 登录 | 加入怎通

    本版积分规则

    QQ|手机版|小黑屋|网站地图|真牛社区 ( 苏ICP备2023040716号-2 )

    GMT+8, 2026-6-12 18:04 , Processed in 0.203346 second(s), 52 queries , Gzip On.

    免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系420897364#qq.com(把#换成@)删除。

    Powered by Discuz! X3.5

    快速回复 返回顶部 返回列表