网站抓取量怎么提升' {% B: F8 ?- _
k* y: ?* {* E* e+ y1 R2 j* e+ ]
网站抓取量是影响网站收录的重要因素,因此把控好网站的抓取量很重要,那么怎么来提升网站的抓取量呢?* @# @% S* m8 }+ G$ C
网站抓取量=网站的总抓取时间/网站单个页面的抓取时间
6 J& o& Q- [& B' x3 N那么自然我们可以从二个维度来提升网站的抓取量:: o" i- ]1 o: w! U3 b* ^7 K
' K6 X& Y2 N+ ?% [4 g# ~& O$ x2 J, [( r) X: c7 ?
一、降低网站单个页面的抓取时间
8 u3 d. e8 i0 G" c. ~- p5 O对于网站单个页面的抓取时间,主要是提高网站的性能,主要包括服务器空间以及网站代码,JS、图片压缩、视频等优化,促使网站会有很快的打开速度,使得搜索引擎程序抓取下载单页面
! H2 \$ T u; p! E0 X* D9 y: H9 W/ Q5 [
时间变短,从而访问更多的页面,增加抓取量。1 ?5 y! T- F8 H/ F
/ n5 E6 z2 Z" b! _* V二、增加网站的总抓取时间
% s3 c8 I2 Q3 S+ ^4 B& H网站的总抓取时间又可以细分,可以分为搜索程序的主动抓取以及被动抓取
5 ^1 j# Y2 a* o* u7 m+ G6 l, A8 R' K
' F# z0 I7 s" k- G: |3 Z& W1 K对于主动抓取,就是蜘蛛沿着站内的某个链接不断爬去,那么怎么来控制主动抓取时间呢?
& H7 |/ \: N+ J [- G- l/ h; d! z
首先许多链接要可抓取,不要让蜘蛛程序无法识别或者无权限,比如JS跳转什么的,注册才能访问之类,然后就是网站的物理层级以及逻辑层级要简短,物理层级我们可以把一些重要的页面% |& x! t% F) U* @7 G# R; W
4 a# J3 i. a; O# S2 j4 c K+ a
放在首页,缩短物理距离;逻辑层级方面网站的层级关系要简洁,比如常见的树状结构,首页-栏目页-内容页;最后就是内链的设置,把网站相关的内容尽量的串联成网状,使得蜘蛛程序可
5 h. b) c3 L% r0 F6 P2 a/ T& ^1 ?# X. D
以方便爬取。' |4 M" l; S% R
* o; [" H% j+ O- J. U
至于被动抓取嘛,更多是从站外链接的角度去理解的。
7 M4 }* n% G3 O* m1 P" c
6 N2 U3 j( M3 g R( v我们可以在站外建立外部链接来吸引蜘蛛来到我们网站,增加网站的抓取频次以及抓取时间,不过对于外链不要随便的去做,尽量去分享价值,就像百度的工程师LEE说的,有推荐价值的外链
2 d% d& m" ~. R/ u! d3 ?3 _+ e6 D# F- I. T/ W
才是有用的,要不然只是起到吸引蜘蛛作用,我们外链的效用就大打折扣了,说的有点跑题了,当然对于有些人来说聊胜于无嘛。
' P* r0 D- [! D
. n u9 }% h1 n6 E0 M还有一点要引起大家的注意,就是要允许蜘蛛程序的爬取,这里就涉及到了robots文件的设置,其次不少网站会有反采集系统,有的服务器的防火墙,还有日志的HTTP状态码,这些都会影响* Q' l8 T& E. p; W5 j1 w4 c* S
2 U7 _* ?: @( v; h1 f6 _$ b( |到蜘蛛对于网页的抓取,从而影响收录以及流量。
7 |7 D( W. R1 ?( ?' `
! U! j, ~+ W# p& G从上面的算式大家其实也基本可以看出大概的方式了,网站抓取量怎么提升?无非是减小分母增大分子,无痕在这里只是简单的陈述下自己的一些见解吧,更多的知识大家可以去看看国平前3 ~4 y$ ]3 n- f' J
9 Y( p% `( I0 ?4 z' b" G
辈相关的分享,谢谢。
: o, m4 r' _5 }0 X# Z& h a
. o4 r" l& _! [: d2 Y, p! t0 \8 B; E网站抓取量怎么提升 笔趣阁 www .ebiquge.com整理, q4 H" A) c4 c& w" D% I' s
3 Q- m8 w8 p/ k
. j _ L1 G9 o. g |