找回密码
 加入怎通
查看: 400|回复: 2

[其他] 浅谈网页收录的四个阶段,你知道吗

[复制链接]
大信古风 发表于 2013-07-26 17:23:21 | 显示全部楼层 |阅读模式
  随着各大搜索引擎对互联网垃圾网站的清理,做一个有排名的网站无疑是越来越难了,特别是一些个人网站,想要在互联网这个平台分一杯羹的难度要大大的增加,那么对于个人网站如何生存这个话题无疑是很多站长思考的,所以今天小编整理出我觉得最重要的五点,希望对各位有所帮助。
5 ]/ |+ {9 Z5 D5 O% j" [# S' W' e- Q2 N2 f/ I8 N
  浅谈网页收录的四个阶段,你晓得吗
) Z- C, `& ]% X1 M1 B2 n6 K
& g6 \3 `, p( B' ^7 z' n; Q  网页收录第一阶段:体积通吃) N; w" E. L; J: E

( `" a" K# F* {4 ~  搜引得擎的网页抓取都是采取「体积通吃」的策略,也就是把网页中能发现的链接挨个介入到待抓取URL中,机械性的将新抓取的网页中的URL提抽取来,这种形式虽然比较古老,但效果美好,这就是为何众多站长反响蜘蛛来过访了,但没有收录的端由,这仅只是第一阶段。0 [' e  o6 P+ A- j3 l+ ]
+ ^+ D$ B5 n: L9 H
  网页收录第二阶段:网页评级
3 w8 D& z* {, S1 V) i; ~+ P6 G( K2 \, [4 y( I
  而第二阶段则是对网页的关紧性施行评级,PageRank是一种闻名的链接剖析算法,可以用来权衡网页的关紧性,很洒脱的,站长可以用PageRank的思路来对URL施行排序,这就是各位热衷的「发外链」,据一位朋友理解,在中国「发外链」这个市场每年有上亿元的规模。
* L$ O2 c/ g2 m- k' Y8 o. P( {% f
# v# ]5 x- f) s6 Z( R  爬行动物的目标就是去下载网页,但PageRank是个全局性算法,也就是当所有网页有下载完成后,其计算结果才是靠得住的。对于中小网站来讲,假如质量不良,假如在抓取过程中,只看见局部内容,在抓取段是无法得到靠得住的PageRank得分。
( S/ r) o5 J- o1 h/ l2 v3 |' T. M5 L
; s( H) w6 J$ O! o: s. f  网页收录第三阶段:OCIP策略% K- Q9 _- o( g

0 d" J" S; y' `8 e9 u  OCIP策略更像是PageRank算法的改进。在算法起始之前,每个网页都赋予相同的「现金」,每当下载某个页面A后,A将自个儿的「现金」均等分给页面中包含的链接页面,把自个儿的「现金」清空。这就是为何导出的链接越少,权重会越高的端由之一。8 u/ W- B9 o0 W0 _3 \2 |
1 V# l( l  A! i4 [, c$ o0 U- \
  而对于待抓取的网页,会依据手边拥有的现金若干排序,优先下载现金最充裕的网页,OCIP大概与PageRank思路相符,差别在于:PageRank每每要迭代计算,而OCIP则不必,所以计算速度远远快于PageRank,适应实时计算使役。这可能就是为何众多网页会出现「秒收」的情况了。$ r5 [4 Z8 K, p; d, |

/ h: w. C4 g: E% Q  网页收录第四阶段:大站优先策略0 P: ?6 S* ~1 j! l0 E: K6 b9 s
* G# u+ V" C$ m& ?
  大站优先的思路笔直接,以网站为单位来权衡网页的关紧性,对于待抓取的URL队列中的网页,依据所述网站归类,假如哪个网站等待下载的页面最多,则优先下载这些链接。实则质思想是「倾向于优先下载大型网站URL」。因为大型网站往往包含更多的页面。鉴于大型网站往往是名站,其网页质量普通较高,所以这个思路虽然简单,但有一定依据。
% B! u0 o/ a: m
% m2 U: S' t6 U. A  实验表明这个算法虽然简单蛮横,但却能收录高质量网页,很管用果。这也是为何好些网站的内容被转载后,大站却能排到你面前的最关紧端由之一。
, l: P: b1 `: ^& A; {+ n4 t+ e1 l. n7 \1 v' ~& [# r
  也许建站经历坎坷,但是人生在世难免撞南墙,难免碰一鼻子灰。无论怎样,该出手时就出手,风风火火闯九州。风雨之后见彩虹。以上内容与君共勉。希望对新手有帮助。对于老手来讲,就当看个笑话了。不要鄙视我就好。本文由杜云生演讲视频全集 http://www.778011.com/收集整理欢迎转载请注明,谢谢合作
' L8 P# U5 y2 Y2 H6 S' H% C5 c! l- Y; a/ h: ?6 R3 k( H

暂时无法加载帖子列表

回复

使用道具 举报

1589333208 发表于 2026-01-14 02:25:29 | 显示全部楼层
蹲了这么久,终于看到有价值的讨论,支持一下!
回复

使用道具 举报

小米 发表于 2026-10-22 21:26:51 | 显示全部楼层
说得很实在,没有夸大其词,这种真实分享太难得了
回复

使用道具 举报

    您需要登录后才可以回帖 登录 | 加入怎通

    本版积分规则

    QQ|手机版|小黑屋|网站地图|真牛社区 ( 苏ICP备2023040716号-2 )

    GMT+8, 2026-10-30 08:56 , Processed in 0.036146 second(s), 26 queries , Gzip On.

    免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系420897364#qq.com(把#换成@)删除。

    Powered by Discuz! X3.5

    快速回复 返回顶部 返回列表