网站抓取量怎么提升; F) O4 C; c6 Q S
6 B O$ I) N% k7 G
网站抓取量是影响网站收录的重要因素,因此把控好网站的抓取量很重要,那么怎么来提升网站的抓取量呢?( p/ K t5 a0 W, t
网站抓取量=网站的总抓取时间/网站单个页面的抓取时间: n& J' L: f! ?0 o3 ~2 b
那么自然我们可以从二个维度来提升网站的抓取量:
2 ?4 F& W- g* ~! S: E0 e$ N9 E& I1 X$ N
+ K8 r; R' K/ Q: V! u) j% H
一、降低网站单个页面的抓取时间
7 M. F$ l0 a. O' ]- n' t对于网站单个页面的抓取时间,主要是提高网站的性能,主要包括服务器空间以及网站代码,JS、图片压缩、视频等优化,促使网站会有很快的打开速度,使得搜索引擎程序抓取下载单页面" N1 x7 s# M1 y! E z% b
9 z. [# L7 W* W7 L时间变短,从而访问更多的页面,增加抓取量。+ F2 f. D! S, z* h9 [! c% |1 X
! B7 o4 g) {) z7 q二、增加网站的总抓取时间
9 s7 ]" R R( v2 o0 s @; W+ T网站的总抓取时间又可以细分,可以分为搜索程序的主动抓取以及被动抓取
8 w+ y$ x( o" Q2 g$ ~# v$ m+ h0 B7 S1 y+ g( B, e
对于主动抓取,就是蜘蛛沿着站内的某个链接不断爬去,那么怎么来控制主动抓取时间呢?
+ n) y6 o: W* c+ n0 v
9 t. g& _8 Y5 v7 R% a- h首先许多链接要可抓取,不要让蜘蛛程序无法识别或者无权限,比如JS跳转什么的,注册才能访问之类,然后就是网站的物理层级以及逻辑层级要简短,物理层级我们可以把一些重要的页面. o/ g! y1 ?1 J" q" o( {
# i7 n" o3 p& h9 N
放在首页,缩短物理距离;逻辑层级方面网站的层级关系要简洁,比如常见的树状结构,首页-栏目页-内容页;最后就是内链的设置,把网站相关的内容尽量的串联成网状,使得蜘蛛程序可0 z+ `; W' I. c8 h
4 L- _# e9 d4 g7 B7 F以方便爬取。* _+ ^ G7 |! f/ p4 m; |! E
! ]0 F7 L9 a: y3 ?5 h' g/ a
至于被动抓取嘛,更多是从站外链接的角度去理解的。
4 N4 G! y, |9 x7 c8 n# N- P, J. l m i \& {- d
我们可以在站外建立外部链接来吸引蜘蛛来到我们网站,增加网站的抓取频次以及抓取时间,不过对于外链不要随便的去做,尽量去分享价值,就像百度的工程师LEE说的,有推荐价值的外链2 F G$ W. K9 K+ @: K- m
( J! g; R6 P b- F' T. T9 u才是有用的,要不然只是起到吸引蜘蛛作用,我们外链的效用就大打折扣了,说的有点跑题了,当然对于有些人来说聊胜于无嘛。7 L) l) q7 K' t* |
( z& ]! J7 l& ^+ L* v7 C
还有一点要引起大家的注意,就是要允许蜘蛛程序的爬取,这里就涉及到了robots文件的设置,其次不少网站会有反采集系统,有的服务器的防火墙,还有日志的HTTP状态码,这些都会影响( z! n3 H6 C( }2 O9 \! ?0 |$ Z
- M w6 S& h( W8 X/ g0 q
到蜘蛛对于网页的抓取,从而影响收录以及流量。# V0 A8 ]9 }1 t6 m; P ?
4 I/ {- c; F5 f3 H6 @) M
从上面的算式大家其实也基本可以看出大概的方式了,网站抓取量怎么提升?无非是减小分母增大分子,无痕在这里只是简单的陈述下自己的一些见解吧,更多的知识大家可以去看看国平前
, ]4 ? `; r. j o! A5 ?+ x9 T) q" a- G) E3 L ^% K1 b
辈相关的分享,谢谢。
2 I2 H; Y2 |0 c( W* }5 A; N/ y. J3 j
8 Q6 f J8 Y% a) K& n: q网站抓取量怎么提升 笔趣阁 www .ebiquge.com整理( M/ H( K3 u9 u7 F$ M
6 E. `: k$ E) x. _
: R' J2 ~+ q' m, a9 B
|