|
: `2 v: o% V& U# A" g5 x5 F/ [& E
很多SEO从业人员在刚刚接触这个行业的时候,经常会问——百度蜘蛛是什么?我们可以理解为百度蜘蛛就是用来抓取网站链接的IP,小编经常会听到百度蜘蛛来的太频繁,服务器要被抓爆了,如果你无法识别百度蜘蛛,你怎么知道是百度蜘蛛抓爆的呢?也有出现百度蜘蛛都不来了的情况,还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但无法识别百度IP。 ) _, j& ~. L0 [- u$ O0 I
那怎么才能识别正确的百度蜘蛛呢?来来来,只需做着两点,就能正确识别百度蜘蛛一、查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; + $ E. C% v, C6 b2 b
http://www.baidu.com/search/spider.html)PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider % z' c! d3 y( K# a7 E
.html)新增渲染UA:移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; + 9 [7 V; D; E, p3 g
http://www.baidu.com/search/spider.html)PC UA:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www. & G+ \% i/ r$ B. F
baidu.com/search/spider.html)二、反查IP站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:。
# l) q6 }% U4 m6 ^ 正确识别百度蜘蛛(1)、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取Baiduspider的hostname以 *.http://baidu.com。
1 f1 P+ J; `) Z. u 或 *.http://baidu.jp 的格式命名,非 *.http://baidu.com 或 *.http://baidu.jp 即为冒充(2)、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。
7 ?: B7 p, Q' M1 M* I0 ~6 R4 x 打开命令处理器 输入nslookup http://xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.
7 a3 Y. J4 N6 q; Z5 }; Q1 K http://baidu.com 或*.http://baidu.jp 的格式命名,非 *.http://baidu.com 或 *.http://baidu.jp 即为冒充(3)、 在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。
- x. z) R( q& R 打开命令处理器 输入dig http://xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.http:// # B, T, E+ F9 z3 L/ B
baidu.com 或*.http://baidu.jp 的格式命名,非 *.http://baidu.com 或 *.http://baidu.jp 即为冒充。 0 L! z, g R3 N" \* w) y
$ N4 h6 G; M+ l' {* F3 z* D
- _- E$ G& H7 y6 o
* Z7 g+ I! [# M. L$ v; C; @
" {8 i- X7 t! f |