SEO教程之robots文件相关

本文要介绍的是关于robots文件的一些信息。
　　robots.txt是一个纯文本形式的文件，例如我们的记事本，当每个搜索引擎蜘蛛访问我们的站点时，蜘蛛首先要检查的就是所在站点是否存在robots.txt文件，如果该文件存在，那么蜘蛛就会按照robots里的协议进行爬取。如果robots.txt不存在那么蜘蛛就会按照链接去爬取各个页面。如果没有配置robots.txt的站点，蜘蛛将被转到，如果没有设置404错误页面这是对搜索引擎不友好的。而robots文件必须是txt完全小写格式，必须放在网站的根目录下。
3 j# _5 i! d( g7 \6 a$ ]; |" C. d　　我们可以理解为，robots.txt是一个互联网协议，如果robots里禁止蜘蛛爬取那么蜘蛛就会遵循这个旨意。robots起到引导保护自己不想被蜘蛛爬取的页面。比如说私密文件。
　　那么其重要用途是什么呢?　　我们可以合理利用蜘蛛这个特性，来有效的引导蜘蛛的爬行路径，减少蜘蛛的爬行深层页面的压力，从而叫蜘蛛搜索更大的信息，提高网站收录。而在进行网站优化的时候，很多站长都会使用robots来禁止蜘蛛爬取不相关，不利于网站优化的页面。如大量图片，后台，在线购物，在线支付等等。这样就可以提高蜘蛛的爬行能力，这也是网站优化的一个重要细节。
　　上面我们了解了，robots.txt能给搜索引擎蜘蛛减压，有效的利用robots.txt可以引导蜘蛛爬行路线，爬取更多的页面，提高收录。那么如何制作robots.txt呢。　　指令表示搜索robots可以沿着该页面上的链接继续爬取下去。　　那么如何设置网站中不想被爬取的部分呢?
　　首先创建一个纯文本文件 robots.txt，在这个文件中声明该网站中不想被robot访问的部分。该文件必须放在网站根目录下。
　　robots.txt文件包含一条或更多的记录，这些记录通过空行分开(以cr、cr / nr、或nl作为结束符)，每一条记录格式为：　　":"　　在该文件中可以使用#进行注解。
: [3 s8 j: r6 {  V6 ~　　robots.txt文件用法举例
  E; |' S5 ?  V0 t1 x4 n3 B! ]　　1.禁止所有搜索引擎访问网站的任何部分。
　　User-agent:*
* A$ e# p" Q& k0 ]& ]) {, b" X" {　　Disallow:/
- c5 w" r, F4 T. b- i7 S6 U8 p　　2.禁止某个搜索引擎的访问。
　　User-agent:　　BadBot
* d$ d. `3 I. r6 _　　Disallow:/
5 n0 N3 @+ [3 g$ q　　3.允许某搜索引擎的访问
; _% d8 B* j* P0 S5 b. W( E　　User-agent:　　baiduspider
9 C8 a2 l3 B% ?; ^/ c　　Disallow:
　　User-agent:*
( o4 S2 t3 ?5 K  E' o9 a) n, T7 |　　Disallow:/
* _% M. a: \& f/ I" ~　　4.一个简单的例子
- ^& y8 ?6 W& N4 G& b% p/ d　　改网站又3个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这3个目录。
　　User-agent:*
# c) }6 i' B0 Z  o　　Disallow:　　/cgi-bin/
　　Disallow:/tmp/
　　Disallow:/admin/
　　需要注意的是对每一个目录需要分开声明。

那么如何设置网站中不想被爬取的部分呢?

楼主辛苦了，整理这么多内容，必须点赞收藏

学习到了，之前一直没注意过这个点，受教了

完全赞同，我也是这么认为的，英雄所见略同～

说得很实在，没有夸大其词，这种真实分享太难得了

刚好遇到类似问题，看完这个帖子心里有底了

蹲了这么久，终于看到有价值的讨论，支持一下！