seo基础之robots.txt

方式鸟你 · 发表于 2013-07-07 14:44:49

<新站疾速录入的办法之二>里边有提过新站录入有必要要做的其间一步即是编撰robots.txt,那究竟robots.txt是怎样写的呢?有啥需求呢?而rbots.txt其实又是啥呢?那在SEO中起到啥效果呢?这都会在下面逐个为我们介绍的.
我个人认为首要的效果是通知蜘蛛啥是站长情愿被搜索引擎录入的,啥是站长不情愿被搜索引擎录入的。蜘蛛匍匐网站时第一时间即是去匍匐robots.txt，若是你没有此文件，蜘蛛就会沿着连接抓取，若是存在，蜘蛛就会依照该文件中所规则的拜访规模来拜访和抓取。
robots.txt是有几种言语，usrer-agent、disallow、allow。我自个写robots.txt仅仅通知蜘蛛啥不要去抓取和匍匐，所以我的robots.txt里边只需 Disallow: 要阻拦的网页，还有一种是通知啥搜索引擎的蜘蛛能来匍匐的useer-agent，这种我主张就不必写了，由于不写就默许一切蜘蛛都能够匍匐。最终一种即是通知蜘蛛啥能够匍匐的allow，前面有说到，你只需通知蜘蛛啥不能匍匐，相反只需不能匍匐的不爬，其他都是能够的。
下面我就为我们演示一下写法：
User-agent: * 里边的*是代表悉数搜索引擎品种，*它其实是个通配符
Disallow: /admin/ 意思即是制止匍匐admin目录下面的一切目录
Disallow: /jpg$ 意思即是制止蜘蛛抓取你网站里一切的.jpg格局的图像
Disallow: /*?* 意思即是制止蜘蛛拜访你网站里一切的动态页面
暂时就介绍这几种写法，我们能够触类旁通，其实写robots.txt不难，如今有许多CMS体系都会主动的；只需你自个改一改就OK了。
robots.txt能够我写得不是极好，由于我写的也不多，经验不足，如有不足之处敬请原谅。这种搜索引擎优化根底期望我们能快点把握吧,对优化有协助的.

本文源自新葡京 Y-L-Chttp//www.mbtmake.com/更多精彩内容，可以点击此链接进入，转载请注说明！

bhccn · 发表于 2026-02-02 04:09:55

分析得很透彻，很多细节都说到点子上了～

泰国朱拉 · 发表于 2026-03-15 08:47:54

这个分享太实用了，刚好能用到，感谢楼主！

wylren · 发表于 2026-05-17 18:38:44

学习到了，之前一直没注意过这个点，受教了

		自动登录	找回密码
密码			加入怎通

[站长八卦] seo基础之robots.txt