|
|
对付真假百度蜘蛛，信赖SEO及站长们已经有明白的本领去鉴别了。百度也在官方告示了怎样去鉴别伪装成百度蜘蛛的抓取。+ A) V- w: H% u- W
/ u" B# s6 ~5 G2 d6 P 假蜘蛛对我们网站的危害是巨大的，详细有：
s# B% k# y. ?3 Q# I! { 占用网站带宽，导致网站流量上升，增长分外开销，在有限带宽的条件下，拦阻了正常蜘蛛的抓取，误导了我们在对网站开展SEO事情时的思绪，部门伪装成假蜘蛛的收罗东西抄袭了我们的事情，我们看到，网上有许多人在分享怎样“捉住”假蜘蛛的文章，但这些文章只是千篇同等的形貌了“捉住”假蜘蛛的历程及操纵方法。却没有分享从怎样真正的鉴别蜘蛛的真伪。" h8 b- Z6 E& R0 N0 i
作者本人近来在对一个电商网站举行SEO优化时，就遇到了如许一个案例，险些导致将真蜘蛛错当假蜘蛛来处置处罚。$ X" p/ ]# G X- m2 A, I: a
一、发明“假蜘蛛”
% p5 A: d# F: _ S. H* V* v SEO优化要依赖大量的阐发和数据来实现，此中日记阐发是重中之重，在日记中我们可以看到许多平常统计东西无法看到的数据和究竟。
. @ J1 `' O) K% b 每周三我都要对该电子商务网站举行周日记的阐发，以便来统计上一周的优化结果，在本周举行对网站日记举行阐发检察时，我发明了几个不属于了解中的“蜘蛛IP”，如图：
/ I7 @1 g; B, s0 ~; ?6 C
& M" P' d- Y3 y# e 我们知道，百度蜘蛛一样平常来自于202.181.108.* 和123.125.71.* 这两个IP段(趁便科普一下，这两个IP段的百度蜘蛛没有所谓高权重和降权之分)。显然这三个IP在“知识”中，不属于百度蜘蛛所属的IP段。为了确保不误杀百度蜘蛛，笔者用nslookup ip下令反解了此IP，得到以下信息：
. v/ f% u, A+ h7 p0 L 6 I& o$ X1 b7 W7 b7 \
这个时间，根本已经可以确定该IP不属于百度蜘蛛的IP段，是一个“假蜘蛛”，我们必要屏蔽该IP开释那些被占用的带宽。
1 D3 m( e: x, y$ J8 O 二，误会“假蜘蛛”3 ~6 F3 S6 V, u- } y/ |1 R
就在要对以上提到的三个IP举行屏蔽的时间，笔者忽然想到，这个电商网站在上周关照我他们要利用宁静宝办事，必要将DNS剖析到宁静宝的办事器上，而宁静宝则会凭据用户的访问环境，选择间隔近来的一个节点举行CDN加快。
* V. j, K$ D# O9 t$ n" f0 b8 N 在我之前的例行SEO查抄中，发明网站IP被剖析到了陕西的一个IP上，而这个网站IP和这次我从网站日记中发明的三个“假蜘蛛”IP属于统一IP段。为了验证这个推测，我又重新细致检察了网站日记，发明谷歌蜘蛛和搜狗蜘蛛也来自于之前三个IP(之前对网站日记举行了拆分，只检察百度的环境，由于网站是针对百度做SEO的)。 g& y. z4 B# A! I0 g% N! t& o
这下子总算明白了，这些所属IP的蜘蛛不是假蜘蛛，而是货真价实的百度蜘蛛、谷歌蜘蛛和其他搜刮引擎的蜘蛛。只不外由于他们通过了一次CDN节点，以是造成了他们的泉源IP是同等的。) K/ t3 Q: }. W% T* W) \: g4 y
三，假造主机怎样孕育发生“假蜘蛛”
. ~ x1 R; Y9 ^; G3 \' _) q' ^ 由此笔者忽然想到，之前在阅读相干文章的时间，常常会看到有站长诉苦发明假蜘蛛，来自XX机房(就那么一两家机房)。
0 X: r* n1 ?, H$ p 这是一件很稀罕的事变，难道收罗东西和假蜘蛛都产自这个机房?究竟天然不是那样的，而是：
* V4 r+ n! ~# p' t5 q, L 很大一部门发明假蜘蛛的站长，所利用的是某主机提供商提供的集群主机，或雷同性子的假造主机集群性子的假造主机，同CDN的原理是雷同的，即将客户的空间和站点资料同步到统一个群组的全部办事器上蜘蛛的泉源差别，一些是直接访问站点的，另一些是通过一些外链访问站点的。而这些通过外链访问站点的蜘蛛，会就近通过CDN节点访问CDN节点每家公司都纷歧样，但大抵分为地区大区(不是省)和电信、网通如许的方法分别那些通过CDN节点访问网站的蜘蛛，泉源IP天然不是从北京总部出发时的IP
4 u+ l- q7 B0 Z, s# h& H- w 终极事变得到了很好的办理，该电商网站自优化以来结果不停精良，固然接纳了CDN，但究竟证明CDN对搜刮引擎而言没有任何停滞，反而有利于网站速率和进步用户体验。5 K) k3 h0 I* \6 ~. _ j: T
|
|
