对,baiduspider就是我们SEOer口中经常说的百度蜘蛛,有些朋友可能发现baiduspider不止一个,是的。它有很多种,还有冒充的哦,所以我们在查看这些信息的时候不得不注意了,而今天我不仅要介绍百度的多种spider,还会说到如何查看冒充的baiduspider等等……; t$ b7 k+ R( b; U1 a( {
3 d+ `8 m6 Y: ?. \6 d+ w5 E Baiduspider都有哪些(图)?9 N. t$ T) P4 J3 k9 c
5 `) ~5 s2 Y# Y- I& F
- w) l+ @' g$ c+ Z& S
! j& d9 Q2 I' q5 F/ P" ?- y2 [- J 几种baiduspider的介绍
0 F. f# C! \) i! f( e* g& d; O: h
, ]* ], V2 _0 s; [4 o6 L 这里我们要说的就是最后一个百度spider,这个相信每一位seo朋友都很熟悉,因为这个是我们经常遇到的baiduspider,也就是网页搜索的spider,遇到其他的也不要慌张,因为上面我已经做了介绍,大家可以参照去自己的IIS日志里进行查看。
0 ^3 w9 _2 |& c
4 J; a: I4 G# }0 V Baiduspider的真假判断
0 k) P( i" @% n8 d1 @" F! ?# j3 s& L g4 s
判断spider的真假我就不多太复杂的技术方法了,给大家提供一个工具进行辨别,这个SEO工具不仅简单方便,还大大节省了我们的时间,它就是Chinaz的IP地址查询工具(地址:http://ip.chinaz.com/),在你的IIS日志看到了Baiduspider,前面会有IP地址,这样进行查询,就简单方便多了!0 U3 g9 d; }" i" N
" _# V! B5 }) m! f! a' {
如何禁止Baiduspider抓取我的网站?* T5 v& _3 I5 d, H- V A# u# [
( W( ~" v8 G# Y; p. B 如果你想禁止百度蜘蛛抓取你的网站的那请在robots协议注明,协议一般是这样:
$ z1 X" V5 f0 _% V% `
4 K5 H( J( ?/ [) t6 E+ u8 h3 j" f User-agent: Baiduspider
$ L) T- W+ L8 ~8 C
, [, q) a+ _' _8 f* y, l, R2 } Disallow: /
/ O$ V# A/ B, t, u, c8 y8 z5 H1 I- I2 U- i- |3 F0 G
为了表示的更准确些我调用一张图片为大家进行描述:( `" p9 Z4 y' C
) N; _8 a" T" B Z2 R; s7 s4 t# d
1 r, x! w4 j, }- D. p
( v' T# q, f; _ 设置robots的说明
) \, _: {2 E) |! ^6 d8 p+ _7 @$ `+ `. T1 K1 a
好了,关于百度蜘蛛的常见问题基本就这些,希望能够帮到你,如果你对关于百度spider有其他的问题欢迎你评论给我,我会第一时间给与回复!
! e4 q* N# N4 B, w, b% E2 c+ M0 c7 Q; p" K" y* g4 s9 r" K% O/ F
刚刚就在我写文章的时候有朋友和我提到:“你的SEO博客最近怎么总是发布SEO技术基础的东西呢?”终于有人给我提意见了,太谢谢了,我明天会给一些我实践过的SEO技术,敬请期待!本文来源地址:www.dyd21cn.com % I9 S2 Y5 v, m; k- P8 P$ r
# x$ N% ~8 D. s+ d, i+ i* v |