一、认识robots文件$ c; ]2 X* I( s6 L8 I- s$ q
我们知道，robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的，什么是不可以被查看的，蜘蛛知道了这些以后，就可以将所有的精力放在被我们允许访问的页面上面，从而将有限的权重集中起来。
3 r% U, t6 C8 K同时，我们还不能互略最重要的一点就是，robots.txt是搜索引擎访问网站要查看的第一个文件。明白了这一点，我们就有必要，也可能针对这一条做一些文章。
+ |' p! S1 Y, c9 I' A二、将sitemap.xml写入robots文件
, C! h$ A5 E6 O& _前面提到了，robots.txt文件是搜索引擎中访问网站要查看的第一个文件，那么，如果我们将sitemap.xml（网站地图）文件地址写入robots.txt文件里面，自然而然会被搜索引擎蜘蛛在第一时间发现，也增大了网站页面被快速抓取和收录的可能性。此种做法，对于新站作用明显，对于大站更具有积极和现实的作用。
- [8 G3 O L# e7 L+ Z/ N/ _具体写法示例如下：7 _& o5 p' E# ]4 ?/ Q
所以，无论是新站还是老站，为了使得更多的页面被搜索引擎抓取，有必要将sitemap.xml写入robots.txt文件中。' j( H- ^+ F0 R- r& @- h1 ?" l( U
三、Sitemap.xml文件的获取9 v& L6 y" d. w% Z5 v0 Q: r/ Q
前面讲了那么多，可能很多人还不是很明白，sitemap.xml文件究竟如何攻取呢？
% Z! w2 f' P+ N7 b, T给大家提供一个工具，也是谷歌官方推荐的sitemap.xml在线生成工具，http://www.xml-sitemaps.com/，大家可以根据里面的选项选择适合自己网站的sitemap.xml生成样式。生成sitemap.xml后，一般需要将该文件放置在根目录下面即可。
/ c: v8 R8 u" g( k( F, O& i6 G' A, a综上，把sitemap.xml地址写入robots.txt文件，从而提升页面抓取率的方式是可行的，也是具有可操作性的。希望可以与更多的朋友就网站推广和优化进行探讨。本文原创宝宝早教http://www.iucbaby.com。欢迎转载，请保留出处。 |
