找回密码
 加入怎通
查看: 1311|回复: 6

[站长八卦] robots文件禁止收录使页面质量更高

[复制链接]
TONY 发表于 2012-07-16 09:46:15 | 显示全部楼层 |阅读模式
  robots文件主要是为了防止搜索引擎收录和索引特定的页面。减小复制内容的出现。如seohu.net,同时具有动态URL和静态URL,它们同时指向相同的页面。如果搜索引擎同时收录就会造成复制页面。
1 R; d6 G" ~: X/ |! b" S& g$ d! w9 J, z' C7 B
  1.robots文件放在哪里
" y6 g. z, t/ f- r9 r  z
; F) o3 U0 s' ^  robots文件放在网站根目录下,搜索引擎进入网站查看的第一个文件就是 robots文件。 robots文件是规定搜索引擎抓取范围的文件。如果我们希望网站某些页面不被抓取,只需要创建一个 robot.txt,写入禁止收录的页面并上传到网站根目录下。" V3 M, b' a3 I; w
) S# X2 i6 }0 j4 L, x: z+ u" h  b
  2.robots文件怎么写; H/ q% n5 U; F2 w/ v
3 d: S: O) r& e% H; T1 y& a
  robots文件由记录组成,记录之间以空行分开,记录格式为:<域>可选空格><域值><可选空格>
2 z" `0 s0 X* V* I4 e
* V- F7 I( ^* Z" m: k( J2 N; s  如: User-agent  Z" o4 u3 F2 h# {- ~9 u' J

5 m/ |- O8 t% |) D- m  Disallow:/5 b) Z9 L' S2 s; q! A; w/ S8 Z
; V0 y& f) T: u- j
  这面的这个robots文件代表禁止任何搜索引擎抓取网站任何页面。只针对百度蜘蛛则用:% d2 x0 g/ B, C7 j

+ Z/ g! ]4 ?9 d; ?- m  User-agent:Baiduspider+ W# g( i' x' h
; w- ^1 D( b+ R% s8 Y! a% V! Q. G
  针对谷歌则用:
' x) c- G3 o" Y7 ?
  }' K8 K! @& H( p/ R  User-agentooglebot% k* C9 x8 e7 k; I' J# d8 Z

9 U' I; b/ i( _% z0 X9 y  如下面的robots代表禁止百度抓取动态URL和文件夹temp下的文件
* A. d: O9 c8 h# z. t
4 {- C6 L% ?8 O3 P1 e  User-agent:Baiduspider
+ E* X; D# e, p3 n* H2 T, u7 Z' W! Z7 \; u$ F: K- B: `
  Disallow?*$ o, Z8 M2 B5 \" J+ p) n

& b. l' Y8 q( d" }  Disallow:/temp/
3 I* K: L- Q8 H  E- S/ |; B6 B/ ^! ?* u. J, R, @; |
  其中*为通配符,可以代表任何一段代码。详细匹配可以看:8 W& T' ?/ g; x# b
' n3 ~3 O5 x" w+ r  h( e
  Seohu:主流搜索引擎都支持robots文件禁止收录机制。但如果有外部链接指向禁止收录的页面,这个页面还是可能出现在搜索结果中。其表现形式一般为导入链接的锚文字显示为标题和描述。本文写的很简单,如果还想深入了解,请在后面回帖留言。我会给大家解答。
回复

使用道具 举报

﹃錯愛 发表于 2012-07-16 10:23:20 | 显示全部楼层
很不错,感谢楼主的分享
回复 支持 反对

使用道具 举报

 楼主| TONY 发表于 2012-07-16 10:28:04 | 显示全部楼层
﹃錯愛 发表于 2012-7-16 10:23 4 M) b8 q1 `( e. r/ w. Y/ s$ O
很不错,感谢楼主的分享
6 o$ U' Q3 ^: r6 P! |: M
有必要的好东西 大家一起分享  比如本站就屏蔽了动态的URL 因为最近才屏蔽 所以收录一时间停止了 不过有大家的支持,我相信,很快就会回来的哦!  d2 @) }* C! H, T1 }! }2 M
回复 支持 反对

使用道具 举报

畅速-阳仔 发表于 2026-02-08 01:34:12 | 显示全部楼层
学习到了,之前一直没注意过这个点,受教了
回复 支持 反对

使用道具 举报

关不住的心 发表于 2026-04-28 07:00:45 | 显示全部楼层
说得很实在,没有夸大其词,这种真实分享太难得了
回复 支持 反对

使用道具 举报

缘来是你 发表于 2026-05-24 17:49:39 | 显示全部楼层
分析得很透彻,很多细节都说到点子上了~
回复 支持 反对

使用道具 举报

王学子 发表于 2026-06-11 14:41:35 | 显示全部楼层
刚好遇到类似问题,看完这个帖子心里有底了
回复 支持 反对

使用道具 举报

    您需要登录后才可以回帖 登录 | 加入怎通

    本版积分规则

    QQ|手机版|小黑屋|网站地图|真牛社区 ( 苏ICP备2023040716号-2 )

    GMT+8, 2026-6-12 17:25 , Processed in 0.139884 second(s), 28 queries , Gzip On.

    免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系420897364#qq.com(把#换成@)删除。

    Powered by Discuz! X3.5

    快速回复 返回顶部 返回列表