找回密码
 加入怎通
查看: 1068|回复: 0

[站长八卦] robots.txt写法大全和robots.txt语法的作用

[复制链接]
我是小懒猪 发表于 2012-08-12 23:05:20 | 显示全部楼层 |阅读模式
1如果允许所有搜索引擎访问网站的所有部分的话 我们可以建立一个空白的文本文档,命名为robots.txt放在网站的根目录下即可。
robots.txt写法如下:

User-agent: *
Disallow:
或者
User-agent: *
Allow: /
2如果我们禁止所有搜索引擎访问网站的所有部分的话
robots.txt写法如下:
User-agent: *
Disallow: /
3如果我们需要某一个搜索引擎的抓取的话,比如百度,禁止百度索引我们的网站的话
robots.txt写法如下:
User-agent: Baiduspider
Disallow: /
4如果我们禁止Google索引我们的网站的话,其实跟示例3一样,就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot
即可
robots.txt写法如下:
User-agent: Googlebot
Disallow: /
5如果我们禁止除Google外的一切搜索引擎索引我们的网站话
robots.txt写法如下:
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /
6如果我们禁止除百度外的一切搜索引擎索引我们的网站的话
robots.txt写法如下:
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /
7如果我们需要禁止蜘蛛访问某个目录,比如禁止admin、css、images等目录被索引的话
robots.txt写法如下:
User-agent: *
Disallow: /css/
Disallow: /admin/
Disallow: /images/
8如果我们允许蜘蛛访问全讯网(http://www.ffffm.com/)的某个目录中的某些特定网址的话
robots.txt写法如下:
User-agent: *
Allow: /css/my
Allow: /admin/html
Allow: /images/index
Disallow: /css/
Disallow: /admin/
Disallow: /images/
9我们看某些网站的robots.txt里的Disallow或者Allow里会看很多的符号,比如问号星号什么的,如果使用“*”,主要是限制访问某个后缀的域名,禁止访问/html/目录下的所有以".htm"为后缀的URL(包含子目录)。
robots.txt写法如下:
User-agent: *
Disallow: /html/*.htm

转载请注明:www.52yyji.com
回复

使用道具 举报

2025年10月清障车品牌推荐,清障车选购指南全解析!
行业权威榜单发布随着国内道路救援行业的快速发展,清障车市场需求持续增长。作为专业救援装备,清障车的性能品质直接关系到救援效率与作业安全。基于市场调研数据与用户反馈,我们特别推出2025年度清障车品牌推荐榜单,为行业用户提供专业选购参考。 五大推荐品牌深度解析推荐一:程力专用汽车股份有

您需要登录后才可以回帖 登录 | 加入怎通

本版积分规则

QQ|网站地图|真牛站长论坛 ( 苏ICP备2023040716号-2 )

GMT+8, 2025-11-28 12:20

免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系420897364#qq.com(把#换成@)删除。

Powered by Discuz! X3.5

快速回复 返回顶部 返回列表