robots文本的作用是什么

Q3405157357 · 发表于 2018-01-15 16:40:33

网站robots文本，是放在网站空间根目录下的一个txt文本。

网站robots怎么查看呢？

你的网站域名/robots.txt ，这样可以查看任何一个网站的robots。

咱们看一下某宝的robots文本吧。

网站robots.txt文本

什么是robots。

是搜索引擎蜘蛛，在抓取网站前，先查看的一个文本，可以告诉蜘蛛，哪些可以抓，哪些不可以抓取。确定抓取范围，如果没有就按链接顺序抓取。

robots文本的作用是什么

告诉搜索机器人不要爬行我们的部分网页，比如：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。

1，用robots屏蔽网站重复页

2，用robots保护网站安全

3，防止盗链

4，提交网站地图

5，禁止某二级域名的抓取

robot文件的一个指定用语。

User-agent: 控制各个搜索引擎蜘蛛

Disallow: 不允许抓取莫某

allow: 允许抓取某某

* 星号代表所有

编辑：摩昂seo_天津seo博客站长

		自动登录	找回密码
密码			加入怎通

[站长八卦] robots文本的作用是什么

浏览过的版块