网站抓取量怎么提升
3 @1 i( {% o [2 j8 K
- Y- e2 `5 \3 @网站抓取量是影响网站收录的重要因素,因此把控好网站的抓取量很重要,那么怎么来提升网站的抓取量呢?
8 i) D# t7 e/ }) s9 k网站抓取量=网站的总抓取时间/网站单个页面的抓取时间
& ]- }" [. N9 _那么自然我们可以从二个维度来提升网站的抓取量:6 J. C e; `" T. r$ O( X2 b) z
5 y: X& a2 B7 }" O
$ ^% g. J* V% G7 Z, L
一、降低网站单个页面的抓取时间
+ B0 m% @# [& N0 ^' p+ j0 ?, N对于网站单个页面的抓取时间,主要是提高网站的性能,主要包括服务器空间以及网站代码,JS、图片压缩、视频等优化,促使网站会有很快的打开速度,使得搜索引擎程序抓取下载单页面: k$ O/ v- g# m, N K6 \8 K0 M
0 N6 }5 G% l4 e }; y% u/ n% w/ U
时间变短,从而访问更多的页面,增加抓取量。' B, A# Y9 v0 L$ z1 _
. P* K! i) J K" U/ z# P% v
二、增加网站的总抓取时间3 d. [/ w9 x0 ]$ }" C
网站的总抓取时间又可以细分,可以分为搜索程序的主动抓取以及被动抓取( B2 m* _/ k( X" ?0 ~2 x
; D1 d- L) S, G$ Q' Z: W对于主动抓取,就是蜘蛛沿着站内的某个链接不断爬去,那么怎么来控制主动抓取时间呢?
# C" w7 l& O' ~3 S
W& Q- n2 w0 ]( q8 X/ f) l* U首先许多链接要可抓取,不要让蜘蛛程序无法识别或者无权限,比如JS跳转什么的,注册才能访问之类,然后就是网站的物理层级以及逻辑层级要简短,物理层级我们可以把一些重要的页面3 \9 a6 K0 F1 E0 M2 v7 g4 j
$ X0 g$ ~$ s/ Z! p8 Q
放在首页,缩短物理距离;逻辑层级方面网站的层级关系要简洁,比如常见的树状结构,首页-栏目页-内容页;最后就是内链的设置,把网站相关的内容尽量的串联成网状,使得蜘蛛程序可! W" ~( d& P' q% w9 n
# d8 z* ]( k7 J
以方便爬取。
) u! X U9 h4 C0 V$ E
2 C5 a& H5 W8 B8 m$ X8 a至于被动抓取嘛,更多是从站外链接的角度去理解的。
; m8 c* ^' h n# a) } p
7 ?# A. V4 T0 w4 j X7 J! n7 F我们可以在站外建立外部链接来吸引蜘蛛来到我们网站,增加网站的抓取频次以及抓取时间,不过对于外链不要随便的去做,尽量去分享价值,就像百度的工程师LEE说的,有推荐价值的外链
* f0 y1 L# U' n J, l4 L
* T3 `0 V! e# ^0 W! i9 g才是有用的,要不然只是起到吸引蜘蛛作用,我们外链的效用就大打折扣了,说的有点跑题了,当然对于有些人来说聊胜于无嘛。
) _6 Y+ `; P% p2 O' _9 n3 R) w0 G+ j, U$ a& j A i! t
还有一点要引起大家的注意,就是要允许蜘蛛程序的爬取,这里就涉及到了robots文件的设置,其次不少网站会有反采集系统,有的服务器的防火墙,还有日志的HTTP状态码,这些都会影响+ E+ G6 o9 h- t. Z& P/ Y% n
N3 v l, s; E' s5 U, z" m到蜘蛛对于网页的抓取,从而影响收录以及流量。
1 X- _" ]2 m! ^- c A$ b) Z
% D: ^4 ?+ \$ g5 K$ |从上面的算式大家其实也基本可以看出大概的方式了,网站抓取量怎么提升?无非是减小分母增大分子,无痕在这里只是简单的陈述下自己的一些见解吧,更多的知识大家可以去看看国平前# V+ i' i! r# l) t# D9 [- {2 H
7 J$ H! R8 `2 C( ?
辈相关的分享,谢谢。
. x, P8 z& [) E. N
7 b, L! H$ e$ y6 e; C2 I网站抓取量怎么提升 笔趣阁 www .ebiquge.com整理6 j( f. S3 F1 c# Y* }5 E
2 ]0 \, z3 ` V
" i d4 o' P6 s" P9 P3 n+ t D7 t
|