网站建设之robots文件设置须知

众所周知SEO优化中robots文件是用来管理机器人抓取网站内容的，而robots点txt文件则是放在我们网站根目录下面的一个文本文件，用来规定什么蜘蛛(机器人)可以抓取什么文件，不可以抓取什么文件。我们通常用robots来告诉搜索引擎，这个目录你可以进，那个目录你不可以进;这个文件你可以访问，那个文件你不能访问。但是有些时候，robots文件，我们还是要谨慎使用的好。 5 D) u6 q3 S2 n 0 H" i0 Z! p5 p　　事情还得从年初开始。武汉百胜杰科技的网站维护员负责的一个网站因为网站刚建好，内容还没填充完整，大家的观点不都是没建好的网站不要给搜索引擎抓取嘛。我用robots点txt文件把网站根目录屏蔽所有搜索引擎抓取，等到一个月之后，填充得已经差不多了，我就开放蜘蛛抓取。我不仅有提交首页网址给百度，提交网址诊断，而且还发了不少外链，但一天一天过去，在百度上面SITE网站就是一个收录都没有。我就纳闷了，是不是我什么地方设置错误了呢?结果在谷歌上面site了一下已经有上百个收录了，306，搜狗上面也有少则几个多则十几个收录了。于是我不得不认为是robots屏蔽，百度长时间未反应过来导致的。 　　前两个月，我又有一个新站重新建好开始填充内容，也是把网站屏蔽着，结果到现在都两个月过去了，可是还是不收录，首页还是提示“由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述。”而谷哥收录了120条，搜狗收录了2条，360收录了25条。这次我这次彻底对度娘的robots文件反应速度是无语了。 , w. H. w% o3 h, M/ P6 f6 D+ C" z; Y　　前两天在群里与伙伴们讨论，一位叫乌鸦的大神说自己之前也遇到过几次这样的情况。 2 o" @8 E% C$ k　　在此慎重的提醒各位朋友，新建的网站，千万不要先把网站文件上传到空间后加个robots.txt，然后填充信息，填充好了才开放抓取。如果可以在本地把网站建设建立好，填充好内容再上传最好，否则上传到空间加robots禁止抓取，等开放抓取的时候，百度蜘蛛很可能又会几个月时间都反应不过来。几个月后网站才被收录，对网站优化的周期影响无疑是巨大的。因此建议大家多多注意robots的设置。 原文地址：www点bsjzx点com/jzzs/99点html

) O$ ~5 _) q7 @, q1 ~' ~# S

把沙发带走。

楼主太厉害了，整理得这么详细，必须支持

内容很干货，没有多余的废话，值得反复看

学习到了，之前一直没注意过这个点，受教了

刚好遇到类似问题，看完这个帖子心里有底了