|
0 c+ F1 Z3 o- q P& w) C, ^9 i* K
几个重点关键词好不容易优化到谷歌首页了，突然发现GA里多了一些国内IP，这些IP停留时间不短，跳出率也不高，但是绝对不会产生订单，并且偶尔可能还会有几个中文的注册或邮件，当然都是来测试的，上面这些还没什么问题，但是过段时间你会发现自己联系的独门外链和广告，竞争对手也上了，再一看他们的外链布局，要是不看时间不看网址，没准你还以为这就是几个月前自己网站的外链呢。
4 W( h) p, H) @6 N3 F* n3 u 所以，当排名做上之后，屏蔽ahrefs、semrush、majestic、moz等外链（关键词）分析工具是非常有必要的，当竞争对手无法在这些分析工具获得我们网站信息的时候，相对来说，我们的排名安全了很多。
: P% _- L% M! j0 M" V8 m3 u （当然，我相信很多人也是照搬曾经排在我们之前的竞争对手外链把排名做起来的，所以换位思考，这种无可厚非） 如何屏蔽ahrefs、semrush、majestic等外链分析工具呢？其实很简单，只需要在robots文件里加一些语句 9 z6 Y0 r0 f% S' H' G+ \
就可以了 因为这些工具也跟谷歌一样，是靠爬虫爬取互联网上各个网站的信息，这些工具的爬虫爬到了我们网站，工具里就能看到我们网站的信息，如果我们不允许这些工具的爬虫爬取，那自然就看不到了 好在互联网上所有的爬虫都遵循robots规则，所以只要我们在robots文件里将需要禁止的爬虫列出来并禁止他们爬取我们的网站，这样基本就搞定了。
5 }9 c7 o- D! \$ P) L 如果你不懂robots，可以查看这篇文章《详细robots.txt规则大全和禁止目录及指定页面收录》（简单详细且枯燥）当你感觉差不多懂了，把下面的语句加到robots文件即可：User-agent: Rogerbot
) ]8 s9 ~" g4 x6 L0 v User-agent: ExabotUser-agent: MJ12botUser-agent: DotbotUser-agent: GigabotUser-agent: AhrefsBotUser-agent: BlackWidow 9 R0 ]9 d/ f, ^5 q8 t
User-agent: ChinaClawUser-agent: CustoUser-agent: DISCoUser-agent: Download\ DemonUser-agent: eCatchUser-agent: EirGrabber . n8 s7 v- D* H1 M& G3 R% j
User-agent: EmailSiphonUser-agent: EmailWolfUser-agent: Express\ WebPicturesUser-agent: ExtractorProUser-agent: EyeNetIE
7 G7 C% O! c# U& y! W6 U. M User-agent: FlashGetUser-agent: GetRightUser-agent: GetWeb!User-agent: Go!ZillaUser-agent: Go-Ahead-Got-It
0 k+ O1 L3 b( d4 R4 b: T9 q User-agent: GrabNetUser-agent: GrafulaUser-agent: HMViewUser-agent: HTTrackUser-agent: Image\ Stripper # _$ x0 c E3 H$ S# `, K
User-agent: Image\ SuckerUser-agent: Indy\ LibraryUser-agent: InterGETUser-agent: Internet\ NinjaUser-agent: JetCar / w1 P7 _; b8 y( j; @: K& n; D- f* l" D
User-agent: JOC\ Web\ SpiderUser-agent: larbinUser-agent: LeechFTPUser-agent: Mass\ DownloaderUser-agent: MIDown\ tool
; y& _) X$ Y2 f+ D1 y, y) W; W User-agent: Mister\ PiXUser-agent: NavroadUser-agent: NearSiteUser-agent: NetAntsUser-agent: NetSpider $ v, p9 m; f& f, U) O, X; O
User-agent: Net\ VampireUser-agent: NetZIPUser-agent: OctopusUser-agent: Offline\ ExplorerUser-agent: Offline\ Navigator " _" | m% v3 I2 E
User-agent: PageGrabberUser-agent: Papa\ FotoUser-agent: pavukUser-agent: pcBrowserUser-agent: RealDownload
" M, r% X8 V& V2 G1 y' |% ?3 _( i" _ User-agent: ReGetUser-agent: SiteSnaggerUser-agent: SmartDownloadUser-agent: SuperBotUser-agent: SuperHTTP 6 a( p6 b" V2 Q5 _9 H% b2 {
User-agent: SurfbotUser-agent: tAkeOutUser-agent: Teleport\ ProUser-agent: VoidEYEUser-agent: Web\ Image\ Collector " [' ~2 Q' n5 n: M; y
User-agent: Web\ SuckerUser-agent: WebAutoUser-agent: WebCopierUser-agent: WebFetchUser-agent: WebGo\ IS C1 ]2 H9 C# _
User-agent: WebLeacherUser-agent: WebReaperUser-agent: WebSaugerUser-agent: Website\ eXtractorUser-agent: Website\ Quester / A4 s5 A) i1 a0 b3 Z6 |
User-agent: WebStripperUser-agent: WebWhackerUser-agent: WebZIPUser-agent: WgetUser-agent: WidowUser-agent: WWWOFFLE
7 o# s4 C' k. D( ]' k8 K User-agent: Xaldon\ WebSpiderUser-agent: ZeusDisallow: /基本上很多常用分析工具的爬虫都屏蔽了当然，除了robots屏蔽之外，我们还可以通过.htaccess文件来屏蔽爬虫。
, q7 |( I$ o+ v ，具体的写法如下：SetEnvIfNoCase User-Agent .*rogerbot.* bad_botSetEnvIfNoCase User-Agent .*exabot.* bad_botSetEnvIfNoCase User-Agent .*mj12bot.* bad_bot
( Z/ ^& K5 c; p7 ]2 y" l SetEnvIfNoCase User-Agent .*dotbot.* bad_botSetEnvIfNoCase User-Agent .*gigabot.* bad_botSetEnvIfNoCase User-Agent .*ahrefsbot.* bad_bot 0 @9 q; c" L( I, q5 v* n; U
SetEnvIfNoCase User-Agent .*sitebot.* bad_botOrder Allow,DenyAllow from allDeny from env=bad_bot ! l8 d( \7 {# I
直接加到.htaccess文件即可应该是只有Apache服务器支持.htaccess，如果是nighx服务器，可能需要转一下 如果你实在不懂robots和.htaccess，没关系，随便去淘宝找个服务器运营店主，把要加的东西给他，最多几十块钱给你搞定。 $ v) S1 S5 l, g8 y$ p0 q( F
（上述两种方法不一定可以完全屏蔽掉分析工具的爬虫，因为他们其实可以不遵循规则硬是爬取你的网站，所以你还可以通过服务器屏蔽这些分析工具的IP，这个操作性也有难点，这里就不展开了，因为一般情况下，robots和.htaccess就够了。 $ ~! s# @' y6 i( Q
） 当然除了屏蔽分析工具之外，其实屏蔽竞争对手访问也是有必要的，因为你不知道什么时候，竞争对手就看了你写的文章和布局的TDK，然后比你做的更好，并超过你 如何屏蔽呢，通常这么几种方法，第一屏蔽中国IP。 0 n9 _& q- V$ Q4 y; l
，这种方法简单，但是一般没啥用，国内IP屏蔽了，**不一样看吗？第二种，屏蔽中文浏览器，浏览器语言是中文的一律不能访问，操作方式也比较简单，把下面一段代码加到网站所有页面头部就可以了： 0 S$ L; H1 z$ w3 e4 g$ K! l$ G9 K
if (navigator.language)var language = navigator.language;elsevar language = navigator.browserLanguage;
! Q% Z- e) d% P/ I: x& u) E if(language.indexOf(‘zh’) > -1)document.location.href = ‘https://www.baidu.com’; 加上之后，如果访客使用的是中文浏览器，页面会直接跳转百度，修改后面地址，可以设置跳转到其他你想要的页面。
7 E" p# E% |7 R 除了这两种方法，你还可以屏蔽中文操作系统，这样基本就杜绝一切国内竞争对手了，具体代码参考《外贸网站屏蔽中文操作系统代码》（是否正确有效，未检查） （还是那个问题，你如果觉得不懂代码，不懂服务器，没关系，淘宝找人，给他代码或者让他自己找，帮你搞定，也就几十块钱。 9 b; d$ ]1 O/ a
）
* c# s3 z5 |9 e
+ X& J S1 F' m3 X% p; }$ \+ o
B/ |3 \- K; w3 }& l) B6 C% q5 H, u8 Z' i# G7 c" ~
4 d9 i: Q' ^) q1 H- ]3 H: e% R( h
| 
