浅谈网站robots.txt的七大点
第一：可以将robots文件当作一个蜘蛛抓取网站权限的指引文件（也就是robots的作用，设定那些页面给不给搜索引擎抓取，给那些搜索引擎抓取）第二：蜘蛛爬行网站的第一件事就是抓取robots文件
第三：蜘蛛会通过robots的指引去索引页面
第四：robots的常规写法：
User-agent: 定义搜索引擎的类型，通常用“*”代替，意思是允许所有搜索引擎抓取
Disallow: 定义禁止搜索引擎收录的地址，通常就是“/admin”，意思是不允许蜘蛛抓取admin下的文件
常规只写这两条，其他的在下面附上，基本上robots也就是这样，不需要太繁杂的东西，robots中的可以写的语法很多
第五：robots中还可以写进地图，写法很简单，如下：
Sitemap: http://网站地址/sitemap.xml
第六：一个问题，如果允许所有搜索引擎抓取所有页面，那么robots还有没有必要？
这个问题很简单，直接看第二条
第七：一个思考，robots是否有必要禁止抓取某些诸如后台页面的地址？ 楼主辛苦了，整理这么多内容，必须点赞收藏 这个思路很新颖，打开了新世界的大门，谢谢分享
页:
[1]