SEO新手应警惕使用robots.txt
去年年底开始接触SEO，说来还是个新手，最近天天扒在各大站长论坛及百度知道等地方学习各大站长及SEO牛人的经验，今天刚好在百度知道上碰到个SEO新人朋友发表的问题：我的网站 为什么这么久了还不收录啊 外链已经有5百多了 但网站页面根本没有结果 为什么不收录。看了这位朋友的描述我查看了下这位朋友的网站及通过站长工具查看了下网站的基本情况，发现网站页面上也做了一定的页面优化，外链收入很正常；但是发现这个网站的google收录也为1；而后我查看了下这个网站的robot.txt，在这我发现了问题的根源User-agent: *Disallow: /
，这两行代码的意思是禁止所有的搜索引擎搜索该站点下的所有文件。
robots.txt文件的写法
User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有的动态页面
Disallow: /jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html文件。
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片
希望此次的分享能给大家带来帮助。
本文由易瑞沙资讯网(www.yiruisha1.com)原创，转载请以链接形式注明出处。
蹲了这么久，终于看到有价值的讨论，支持一下！ 楼主辛苦了，整理这么多内容，必须点赞收藏
页:
[1]