找回密码
 加入怎通
查看: 1291|回复: 3

[站长八卦] robots文件禁止收录使页面质量更高

[复制链接]
TONY 发表于 2012-07-16 09:46:15 | 显示全部楼层 |阅读模式
  robots文件主要是为了防止搜索引擎收录和索引特定的页面。减小复制内容的出现。如seohu.net,同时具有动态URL和静态URL,它们同时指向相同的页面。如果搜索引擎同时收录就会造成复制页面。
5 a/ }& [/ n: S/ ?0 i: d( k- O7 e
( H1 \. _% `6 K5 m1 x5 V& s  1.robots文件放在哪里
! A. S$ s5 h$ H* B  U* O3 I& Q  N8 }6 W1 p. @
  robots文件放在网站根目录下,搜索引擎进入网站查看的第一个文件就是 robots文件。 robots文件是规定搜索引擎抓取范围的文件。如果我们希望网站某些页面不被抓取,只需要创建一个 robot.txt,写入禁止收录的页面并上传到网站根目录下。; I8 S9 n+ ^1 j) V1 I, D# A. T

3 M# a% K; J: K* }5 S6 A/ ]  2.robots文件怎么写
- O; y7 Q3 x. o- v- O$ w" |1 u* F) x8 S% a# W. l0 v
  robots文件由记录组成,记录之间以空行分开,记录格式为:<域>可选空格><域值><可选空格>' o5 w+ Z$ G; B' G

4 D" V$ ^! }3 E  如: User-agent
  W) S6 h6 v! v! _
) \1 Q! J. R7 z: p  Disallow:/
; ]3 n* u) y) p  q
" d( B: t$ c1 h' z8 t  这面的这个robots文件代表禁止任何搜索引擎抓取网站任何页面。只针对百度蜘蛛则用:
1 z6 j6 _2 d" {6 g
7 p7 Z/ w- `; q& L+ ?0 P( j  User-agent:Baiduspider6 }# q+ h, c  f; ]8 @! B: F- u
2 e& I( J- V8 j" L6 c
  针对谷歌则用:- Y" E% c; l# i: B( t% z5 M

9 Z: z; C% ?, o& L4 u  User-agentooglebot
/ }* r, r! b/ r" {5 C( y# ]+ u/ \& t8 s/ @8 l1 A1 G, J4 {
  如下面的robots代表禁止百度抓取动态URL和文件夹temp下的文件4 ^1 j' K% ?4 L* a% Y

) z* P. N# ]- B8 ?; W# Z  User-agent:Baiduspider4 L+ G0 o2 u$ S5 s& ]
) J! u' ?4 G& M. Y6 m: y$ p
  Disallow?*
: N# ^! p. H% W$ I6 ?' B1 C  l3 m# i3 c
  Disallow:/temp/; F" w% M  q$ r1 Y( C+ E
2 }4 O1 K7 i& M, {8 ~) d: i$ B( d
  其中*为通配符,可以代表任何一段代码。详细匹配可以看:
$ g" `% z# g+ Y$ V" G+ r
; q% g' f2 i. V* W  Seohu:主流搜索引擎都支持robots文件禁止收录机制。但如果有外部链接指向禁止收录的页面,这个页面还是可能出现在搜索结果中。其表现形式一般为导入链接的锚文字显示为标题和描述。本文写的很简单,如果还想深入了解,请在后面回帖留言。我会给大家解答。
回复

使用道具 举报

﹃錯愛 发表于 2012-07-16 10:23:20 | 显示全部楼层
很不错,感谢楼主的分享
回复 支持 反对

使用道具 举报

 楼主| TONY 发表于 2012-07-16 10:28:04 | 显示全部楼层
﹃錯愛 发表于 2012-7-16 10:23 2 H+ V6 o( a7 \6 v6 C* J3 S
很不错,感谢楼主的分享

9 W0 F1 _: w+ |. B" P# u* X2 s有必要的好东西 大家一起分享  比如本站就屏蔽了动态的URL 因为最近才屏蔽 所以收录一时间停止了 不过有大家的支持,我相信,很快就会回来的哦!
& y1 b, k' X9 s4 ~# f
回复 支持 反对

使用道具 举报

畅速-阳仔 发表于 2026-02-08 01:34:12 | 显示全部楼层
学习到了,之前一直没注意过这个点,受教了
回复 支持 反对

使用道具 举报

    您需要登录后才可以回帖 登录 | 加入怎通

    本版积分规则

    QQ|手机版|小黑屋|网站地图|真牛社区 ( 苏ICP备2023040716号-2 )

    GMT+8, 2026-4-28 07:00 , Processed in 1.069987 second(s), 54 queries , Gzip On.

    免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系420897364#qq.com(把#换成@)删除。

    Powered by Discuz! X3.5

    快速回复 返回顶部 返回列表