找回密码
 加入怎通
查看: 1293|回复: 4

[站长八卦] robots文件禁止收录使页面质量更高

[复制链接]
TONY 发表于 2012-07-16 09:46:15 | 显示全部楼层 |阅读模式
  robots文件主要是为了防止搜索引擎收录和索引特定的页面。减小复制内容的出现。如seohu.net,同时具有动态URL和静态URL,它们同时指向相同的页面。如果搜索引擎同时收录就会造成复制页面。  D7 F$ M; _  _( R1 [1 U

3 k7 d7 F8 H. }& p  1.robots文件放在哪里
6 T* D- [+ y( u; d, e2 M
* _' n9 f1 [2 Q& \  robots文件放在网站根目录下,搜索引擎进入网站查看的第一个文件就是 robots文件。 robots文件是规定搜索引擎抓取范围的文件。如果我们希望网站某些页面不被抓取,只需要创建一个 robot.txt,写入禁止收录的页面并上传到网站根目录下。
; d/ _" t- E5 V! X, W/ k: `/ |5 R" Q0 c# V0 h* `, _
  2.robots文件怎么写' T- l0 ?" [- \7 g" I0 H. k7 G1 G

; W$ X' h+ O. d6 {0 h6 B* L  robots文件由记录组成,记录之间以空行分开,记录格式为:<域>可选空格><域值><可选空格>
- }. m0 S# X+ T7 \
$ R. _4 N' p, b  如: User-agent
1 L, E( N# }2 O4 t( x* R0 E; T6 p  q/ o( J
  Disallow:/
% W$ I: B& z/ b, `5 Q) D( Z5 U" ~3 x3 A. e4 b
  这面的这个robots文件代表禁止任何搜索引擎抓取网站任何页面。只针对百度蜘蛛则用:7 Y8 i# ]" Q3 X0 l8 n% J* X( l

  |" h4 f7 {7 \  User-agent:Baiduspider' p+ Q" r2 @# N7 Z, K3 `; H: a

% t+ P& u+ q! y) z/ V; u+ w  针对谷歌则用:- x/ ~# E+ Z% W' z( A6 n0 X
7 a. `/ }; e. V# l
  User-agentooglebot
  n+ m# F$ z6 R3 j8 C7 E% j% r. y2 J4 J7 o
  如下面的robots代表禁止百度抓取动态URL和文件夹temp下的文件
3 S8 L" u* A. W4 \/ q, m
; K) J( k4 I* C& }  User-agent:Baiduspider
& |' a  o8 Q) [% ~# ]
9 K# ~* ~2 G" _" Q% I' D" o  Disallow?*1 o) Z/ w! m/ I6 r" B  a7 D& n- g

$ h, G% [/ ?6 q+ B" @' Y( P; m  Disallow:/temp/
' E* v8 ~2 p4 i, S& s+ q; c# f
' v4 K( ^2 r3 w6 j5 {6 o+ a' ~  其中*为通配符,可以代表任何一段代码。详细匹配可以看:
$ |& V6 B+ D0 R3 @$ j9 G8 J
/ g: }  K9 N$ I' y& w( c  Seohu:主流搜索引擎都支持robots文件禁止收录机制。但如果有外部链接指向禁止收录的页面,这个页面还是可能出现在搜索结果中。其表现形式一般为导入链接的锚文字显示为标题和描述。本文写的很简单,如果还想深入了解,请在后面回帖留言。我会给大家解答。
回复

使用道具 举报

﹃錯愛 发表于 2012-07-16 10:23:20 | 显示全部楼层
很不错,感谢楼主的分享
回复 支持 反对

使用道具 举报

 楼主| TONY 发表于 2012-07-16 10:28:04 | 显示全部楼层
﹃錯愛 发表于 2012-7-16 10:23
2 M9 J3 }/ R7 p/ W很不错,感谢楼主的分享

; ~  \( e! i" ]9 Q2 m有必要的好东西 大家一起分享  比如本站就屏蔽了动态的URL 因为最近才屏蔽 所以收录一时间停止了 不过有大家的支持,我相信,很快就会回来的哦!# |; M: E5 ?% @
回复 支持 反对

使用道具 举报

畅速-阳仔 发表于 2026-02-08 01:34:12 | 显示全部楼层
学习到了,之前一直没注意过这个点,受教了
回复 支持 反对

使用道具 举报

关不住的心 发表于 2026-04-28 07:00:45 | 显示全部楼层
说得很实在,没有夸大其词,这种真实分享太难得了
回复 支持 反对

使用道具 举报

    您需要登录后才可以回帖 登录 | 加入怎通

    本版积分规则

    QQ|手机版|小黑屋|网站地图|真牛社区 ( 苏ICP备2023040716号-2 )

    GMT+8, 2026-4-28 08:39 , Processed in 0.633617 second(s), 28 queries , Gzip On.

    免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系420897364#qq.com(把#换成@)删除。

    Powered by Discuz! X3.5

    快速回复 返回顶部 返回列表