网站抓取量怎么提升
& K4 c6 F1 k4 a; ]) g
# B [" | I+ h; i! l. g' O网站抓取量是影响网站收录的重要因素,因此把控好网站的抓取量很重要,那么怎么来提升网站的抓取量呢?4 o! O& S- k8 n1 a2 E
网站抓取量=网站的总抓取时间/网站单个页面的抓取时间* { O7 }5 J0 Q
那么自然我们可以从二个维度来提升网站的抓取量:, [/ w" I* a( [
* C5 N' U: _& D, [0 @* Y' s D' @6 t; k7 K. E! D' q# w, t
一、降低网站单个页面的抓取时间
( o+ y2 A. U' i _# ~/ w4 w- ~6 x对于网站单个页面的抓取时间,主要是提高网站的性能,主要包括服务器空间以及网站代码,JS、图片压缩、视频等优化,促使网站会有很快的打开速度,使得搜索引擎程序抓取下载单页面
" F: l/ A" S, W. J5 N$ z" B- y' c d5 V" W+ q: L
时间变短,从而访问更多的页面,增加抓取量。
2 G6 C+ a" ]- w5 x6 X
6 v2 H2 `6 d# _& v0 F7 N% D二、增加网站的总抓取时间
2 E$ f* ]+ E/ S! e$ x" E# \. Q网站的总抓取时间又可以细分,可以分为搜索程序的主动抓取以及被动抓取
5 K5 h: k% {& @. E) s- `. n* y
+ q; l0 H' r2 E+ O* o对于主动抓取,就是蜘蛛沿着站内的某个链接不断爬去,那么怎么来控制主动抓取时间呢? f2 |7 g {8 C$ f- N
% ]; _# T5 k h7 U2 y: u首先许多链接要可抓取,不要让蜘蛛程序无法识别或者无权限,比如JS跳转什么的,注册才能访问之类,然后就是网站的物理层级以及逻辑层级要简短,物理层级我们可以把一些重要的页面 z1 l1 a3 x6 i" H, [
6 J. y+ `) Z1 a$ I$ w放在首页,缩短物理距离;逻辑层级方面网站的层级关系要简洁,比如常见的树状结构,首页-栏目页-内容页;最后就是内链的设置,把网站相关的内容尽量的串联成网状,使得蜘蛛程序可
8 q' g+ U- `5 N8 e, j2 f5 d5 h& |# Z7 c8 I& d" d9 @, {
以方便爬取。
9 y. ?, m& y% ]8 K/ ]( r: v' J/ V/ f& }+ {
至于被动抓取嘛,更多是从站外链接的角度去理解的。
8 I @* q! K; W+ v8 d) {
- q5 B4 p/ |( V8 x我们可以在站外建立外部链接来吸引蜘蛛来到我们网站,增加网站的抓取频次以及抓取时间,不过对于外链不要随便的去做,尽量去分享价值,就像百度的工程师LEE说的,有推荐价值的外链
! s* Z0 o, V+ j& g: L! s# w$ O/ p: W+ X; ?+ m( r& V
才是有用的,要不然只是起到吸引蜘蛛作用,我们外链的效用就大打折扣了,说的有点跑题了,当然对于有些人来说聊胜于无嘛。
1 q6 Y" _6 \3 A# i4 H9 n4 Y% g; b5 e! J
还有一点要引起大家的注意,就是要允许蜘蛛程序的爬取,这里就涉及到了robots文件的设置,其次不少网站会有反采集系统,有的服务器的防火墙,还有日志的HTTP状态码,这些都会影响3 k: s+ }1 G# d0 N# r4 L
7 j- \4 _# i2 s% g
到蜘蛛对于网页的抓取,从而影响收录以及流量。
4 i/ ^5 L2 \1 f% m1 W
9 G+ C% K' h( B从上面的算式大家其实也基本可以看出大概的方式了,网站抓取量怎么提升?无非是减小分母增大分子,无痕在这里只是简单的陈述下自己的一些见解吧,更多的知识大家可以去看看国平前( m' {- O% M! G M0 M" g
. D9 H* B4 b: @# ~& b: w辈相关的分享,谢谢。+ s/ R0 ]/ S$ z- G1 C( N: {; J
/ \, F+ p8 A$ B; d0 l# l网站抓取量怎么提升 笔趣阁 www .ebiquge.com整理: z3 \" C% a4 j( m$ z/ p
( c: n5 K/ o4 J" F8 m) G% T
3 W% K6 W3 @8 L9 \8 X: |) H
|