浅谈robots.txt机器人协议的使用小技巧

　　空话不多说，咱们开始进入正题。robots.txt呆板人协议各人都晓得是为了范例蜘蛛爬行而设定的，各人一样平常会在此中通例性的克制蜘蛛爬行data、tmp这些目次，也会克制其爬行会员、订单、库存等等模块。但除了这些通例用法之外，robots.txt呆板人协议对我们优化事变实在，尚有很多小本领可以共同利用，让我们的网站优化事变动好举行。
8 `; {) P8 E  D1 s1 Q. S6 `/ |$ a

robots.txt

　　一、通过克制爬举措态页或某些页面，淘汰重复收录起首就是很多人都晓得的克制蜘蛛爬举措态页，淘汰整个网站的重复收录标题。利益就是利于整个网站内容页面的权重会合，不容易由于重复收录导致内容页面权重疏散等等。这是这个本领对与通例网站的一样平常意义，但是敷衍商城站、资讯站、问答站等大型网站，这种范例意义却黑白常大的。
　　1、商城、B2B等大型网站条件过滤页
　　在商城、B2B等大型网站中，经常会涉及到条件过滤的标题，即通过删选产物的规格、品牌等会出现大量相似页面。假如这个标题不能有效管理就会造成网站大量相似内容被重复收录等等，一样平常而言这种标题可以通过运用应针对行的举行一些URL屏蔽事变，大概思量接纳ajax情势。但结果而言，没有直接利用robots.txt呆板人协议结果好，保举还是在URL静态化规矩做好的基础上通过robots.txt克制抓取动态页面来举行处置惩罚。
　　2、资讯站批评页面
! U* |! V0 A: u9 h7 @6 S　　资讯站页面批评跟条件过滤页相似，也必要通过robots.txt共同URL规矩设置屏蔽掉动态页面，防备重复收录等标题。
" x3 o6 l" A' e) k" z/ K　　3、其他雷怜悯况
1 w' F4 f& P! q  H" y　　在B2B、雇用、威客网站当中也会有类似的标题，这些情况都可以利用robots.txt来有效的范例蜘蛛爬行，从而规避重复收录等等。
　　二、诱导蜘蛛爬行紧急页面，进步蜘蛛爬行服从这个小本领重要是共同网站舆图和聚合页标签利用，为的是给这些紧急页面**更多入口方便蜘蛛爬行。网站舆图、聚合页标签伪装的列表页等等是蜘蛛爬行最为快捷方便的地方，通过robots.txt协议中Allow下令的利用，让蜘蛛优先爬行这些页面，自然收录情况也就更好。
　　三、调解网站权重分派
　　通过robots.txt协议可以有效的调解网站的团体权重，共同nofflow标签等利用将权重导向网站的重点栏目大概重点页面，到达公道分派整站权重的作用。
　　四、擦边球做法
. s' V- C1 l0 W) x. l5 U3 K( E　　在进步网站干系度的一种首发中，就是利用robots.txt协议。其在根目次中防置大量的TXT文档，在TXT文档中嵌入大批量的关键字，然后通过robots.txt诱导蜘蛛去爬行这些目次。固然这里不是让各人也这么做，毕竟黑帽本领不长期，咱们说的是宁静的小本领。
% ]  T6 v/ M) A+ m& v+ m　　这里不晓得有没有站长的网站被挂马过，特殊是被寄生虫肆虐过的站长更是很悲愤吧。不外咱们换个思绪看，寄生虫这种要领，也未尝不是我们做网页收录的一个好步伐。即通过计划一些页面模版，然后通过步调批量天生大量页面，将这些页面凭据规矩安排到对应的新目次中，通过robots.txt诱导蜘蛛爬行，收录结果也很不错。固然，这种本领做的话，页面模版必须做的很良好才可以，否则将会很大的影响用户体验，渴望站长们注意。
( v* t+ t: \! c& J

有一种回帖叫做抢沙发

内容很干货，没有多余的废话，值得反复看

这个思路很新颖，打开了新世界的大门，谢谢分享