% t& k k* e! i; U8 d8 a, ^正规搜索引擎蜘蛛都会遵循互联网抓取规则，也就是国际互联网界通行的道德规范——Robots协议。 蜘蛛在抓取网站内容之前，需要先解读根目录的Robots协议，以确定自己是否有权限抓取站内资源，否则很容易为自己惹上侵权纠纷，因为Robots是互联网公认遵守的规则，以保护用户隐私及网络安全，规则一旦被打破，将会为互联网带来不可估量灾难风险，所以蜘蛛访问网站的第一个文件是Robots.txt，其他流氓蜘蛛除外，如之前的360搜索引擎蜘蛛，详细资料可阅读“Robots协议”。 - r `2 o5 K1 v, o3 L% g
本文由南京家装拆除二手房拆除公司提供，转载请注明来自南京友联拆除www.njylcc.com- \' [' e: d! @! i
| 
