|
f6 x8 \9 }- W0 f# W) U 前几天的时候泰州网站优化介绍了如何屏蔽AhrefsBot蜘蛛，那个是国外网络营销网站的抓取蜘蛛，其实这样的蜘蛛很多的，大家查询网站日志就可以看到了，今天我们就来看看另外一家网络公司的蜘蛛——MJ12bot。 ) \- o; ~# {# G1 V% F
MJ12bot是什么蜘蛛？MJ12bot是一个来自英国网络营销公司的搜索引擎蜘蛛，这个搜索引擎名称叫做：Majestic这家公司的搜索引擎主要是用来绘制互联网地图的，然后用这个互联网地图数据来为企业提供互联网营销数据服务。 * ~. ^$ U+ O) ]$ \3 e3 [
目前，这家公司提供了13种语言的网站服务  ! B4 O& i0 g. R/ i: [9 G9 j
用户可以在Majestic上了解到自己网站的一些数据总的来说，如果你的网站业务主要是在国内的话，那么MJ12bot蜘蛛对于你来说就没有多大的作用MJ12bot蜘蛛对网站有什么影响？这个蜘蛛程序同样会轻微的增加服务器的负担，有的时候如果它的抓取量比较大的话，影响也会比较明显，但是一般情况下不会有太大的影响。 6 X6 J9 }' E2 U$ V1 h; `
如果你不想在日志中看到它，可以将它在robots.txt中屏蔽掉，这个蜘蛛是遵循robots规则的如何屏蔽MJ12bot蜘蛛？因为MJ12bot蜘蛛会遵循robots协议，所以我们可以直接在robots.txt中将它屏蔽掉，具体代码如下：
# q. R* d$ _1 y! k User-agent: MJ12bot
! u9 h F$ F# T+ r2 B' w Disallow: /MJ12bot是什么蜘蛛？怎么屏蔽禁止它抓取网页www.51yh.cc/mj12bot-zhizhu/  6 v7 D! H; c3 v2 v: g6 K3 R; t# a: H
' r4 |7 [9 ^. y; |% X" O! x
( u4 S) J4 Z& v7 T! n$ T; p9 d9 M7 j B& k# b: I& B' G$ j
9 P/ X6 \1 G9 Q( d. y
| 
