找回密码
 加入怎通
查看: 246|回复: 0

GPT家族进化史_gsx家族

[复制链接]
我来看看 发表于 2023-03-24 09:51:53 | 显示全部楼层 |阅读模式
% t' c- x1 R! \+ u1 B

原标题:GPT家族进化史文|MetaPost传播学之父威尔伯·施拉姆曾说过:“这一天的前23个小时,人类传播史上几乎全都是空白,一切重大的发展都集中在这一天的最后7分钟正是这最后7分钟,谱写了人类历史的黄金时期,而午夜前的最后3秒却翻开了人类迈进信息化社会的新篇章。

7 h- J; {9 c6 ^# {% G$ L" i

”这句话用来形容技术进化也很合适人类绝大多数时间都处在“科技大停滞”的状态,而科技大爆炸来的时候常常是“一句招呼都不打”近期,人工智能(AI)技术的发展,就让大家切实感受到了科技的“暴力美学”在ChatGPT出现前,有人悲观地认为,AI领域已经形成巨大泡沫。

7 M5 G4 l, G( E3 P

但眼下,AI呈现出全新的价值,让行业重现百家争鸣的热闹景象3月15日凌晨,OpenAI发布大型多模式模型GPT-4,GPT-4不仅能够处理图像内容,且回复的准确性亦有所提高,在官方演示中,GPT-4只花了10秒,就识别了手绘网站图片,并根据要求实时生成了网页代码制作出了几乎与手绘版一样的网站,堪称“王炸级”产品。

8 j- Y) P" L* k, V6 R# ?% J! d# [

图 | OpenAI3月16日,提前一个月宣传造势,备受关注的百度文心一言揭开神秘面纱虽然发布会一开始,百度股价便出现断崖式下跌,李彦宏也坦言产品没有完全准备好,但这并不影响市场的庞大需求发布会后1小时内,排队申请文心一言企业版API调用服务测试的企业用户已达3万多家,申请产品测试网页多次被挤爆。

- c7 {0 Q( f! S

3月17日,在“用AI重塑生产力”活动上,美国科技巨头微软宣布为其Microsoft 365应用和服务推出一款新的AI驱动的产品Copilot,由OpenAI本周发布的GPT-4提供技术支持,旨在像助手一样,用AI帮助用户生成文档、表格、电子邮件、PPT等。

# Z: C) z' [# W+ Q& \: _0 N

这意味着,超12亿人(微软官方数据)将会解放双手,获得AI带来的生产力提升对于天天码字的小编来说,只有一个词——想拥有!时至今日,已经没有人会怀疑AI以及大语言模型的重要性了更大、更快、更强,又意味着什么呢?有人说,ChatGPT的出现,终于让人类的一只脚迈进了元宇宙。

' q$ ]" q8 ?' @9 j" O2 S& E

任何指数增长的曲线初期,拉近了看都不过是一个平淡的缓坡,但只有回顾整个历史的时候,我们才会知道这条曲线最终会加速到怎样的高度今天我们就来回顾一下GPT家族的进化史,看看它是如何一步步让全世界科技大厂黯然失色的。

' O/ k0 s( ?# `4 `' z: M: E

01、GPT的升级之路 过去十年间,谷歌、脸书、亚马逊、苹果和微软等科技巨头纷纷开启AI军备竞赛,先后成立专门的AI实验室,而业界公认的顶级AI实验室只有三家:背靠谷歌的DeepMind、背靠微软的OpenAI和背靠脸书的FAIR。

% ?. a; a: c. E9 ^5 c

其中,被谷歌收购的DeepMind因拥有AlphaGo(阿尔法狗)最为家喻户晓2015年12月,特斯拉汽车创始人埃隆·马斯克,格雷格·布罗克曼(OpenAI联合创始人兼总裁)、山姆·阿尔特曼(OpenAI首席执行官)、彼得泰尔(Paypal创始人)以及伊利亚·苏特斯科夫(师从神经网络之父杰弗里·辛顿,OpenAI首席科学家)等数位硅谷大佬拿出了10亿美元,在旧金山创立了OpenAI Inc.。

* ]- z) k* Q, T

OpenAI Inc.设立之时就是一家非盈利组织,他的目标就是研发通用且开放的的人工智能来对抗谷歌的DeepMind“霸权”2016年,微软Azure云服务为OpenAI提供了算力条件,使得日后的ChatGPT要进行大规模深度学习、神经网络渲染等都成为可能。

" Y' G4 [/ C) v/ h1 D) ~/ A7 @* \

2017年,Google团队首次提出基于自我注意力机制的Transformer模型,并将其应用于自然语言处理OpenAI应用了这项技术,2018年发布了最早的一代大型模型GPT-1(GPT是Generative Pre-trained Transformer的简称,中文为生成型预训练变换模型)。

4 j" j; C, Q, e5 M' @5 b- X

最初的GPT-1,运用几十亿文本档案的语言资料库进行训练,模型的参数量为1.17亿个,据说效果一般;2019年,GPT-2发布,模型参数量提高到15亿个,效果仍然很一般;可OpenAI坚持“大力出奇迹”的想法,继续扩大它的参数量,得益于更高的数据质量和更大的数据规模,GPT-2有了惊人的生成能力。

0 U, x; y5 o8 F' }3 C9 t+ l2 N

2020年,GPT-3诞生,参数量达到了创纪录的1750亿个,其训练参数是GPT-2的10倍以上,技术路线上则去掉了初代GPT的微调步骤,直接输入自然语言当作指示,给GPT训练读过文字和句子后可接续问题的能力,同时包含了更为广泛的主题。

! m5 ]" i1 x, ]4 B9 G4 A7 @

这一次,结果终于不同,大家发现它的对话功能一下子达到了相当高的水平,2022年12月首次公布的ChatGPT(能够对话的GPT版本)就是在GPT-3基础上的3.5版本02、让人工智能出圈的ChatGPT 。

Q; S0 W b3 O$ l9 X6 A1 Q

ChatGPT之所以受到如此广泛的关注和喜爱,是因为它具备了GPT-3所缺乏的关键功能:对话设计对于许多人来说,评估一个人工智能模型的好坏,往往看它是否能够在一次来回的对话中听懂使用者的问题,并给出令人满意的答案。

$ G$ P4 P' e& B9 n2 M" c4 o

相比于背后的知识量,人们更关注AI模型的“沟通能力”这些模型能够以比人类快上10倍甚至20倍以上的速度生成文本,并且生成的文本质量还不错,令人印象深刻简单来说,GPT-3的架构就是通过喂入大量的范本,学习拆解这些模板并重新组合出新的结果。

; R* O% W4 E3 ^# C, g% |+ J7 O

引擎设计者所喂入的资料越多,GPT-3获得的知识就越丰富例如,OpenAI在GPT-3的预训练过程中喂入了超过570GB的文本资料当GPT-3获得足够丰富的知识库时,其生成的结果也变得越来越精确使用者只需要将自己的工作通过语意拆分成多个小任务,让GPT-3分别完成,再将结果组装起来,就能像有了10倍超能力的工作者一样高效地完成工作。

8 W: b$ R9 R* p' w! E

03、GPT-4功能强过ChatGPT,能玩梗图还能做网页 鉴于ChatGPT给人工智能产业带来的变革,市场自然对其升级版GPT-4赋予了诸多想象3月15日凌晨,OpenAI正式推出GPT-4,产品具备诸多亮点。

* `1 M* Y7 n& }$ x( ^3 F$ v* i

据OpenAI介绍,在平常的聊天过程中,可能感受不到GPT-3.5和GPT-4之间的区别,但是当任务的复杂性达到足够的阈值时,两者之间的区别就显现出来了GPT-4比GPT-3.5更可靠、更有创造力,能够处理更细微的指令。

0 A7 A+ q/ O* t+ O

相比ChatGPT仅能在文字领域施展特长,GPT-4的一个关键升级就是多模态,也就是支持图像和文本输入,拥有强大的识图能力值得一提的是,GPT-4已经能看懂一些图梗了,不再仅仅是对话助手用户提问:解释下图的笑点是什么,并对图片中的每部分进行描述。

3 P# r& A$ p0 D' x: p- D

GPT-4的回答如图所示:

' q6 G1 g7 o. |

图 | OpenAI据OpenAI介绍,虽然目前GPT-4在现实场景中的能力可能不如人类,但在各种专业和学术考试上都表现出明显超越人类水平的能力虽然GPT-4的训练语料库还停留在2021年9月之前,但对科学、医学、法律等特定领域进行了知识面的扩充,不仅能在美国统一律师资格考试中取得前列成绩,在奥赛、GRE等考试均取得了很高的分数,甚至SAT成绩(可以理解为美国高考成绩)——已经超过了90%的考生,跨过哈佛、斯坦福等名校的门槛。

8 X4 I- `, T0 Q+ [' v

图 | OpenAI:GPT3.5和4的部分考试成绩据外媒最新消息,OpenAI总裁格雷格·布罗克曼称,公司正在测试GPT-4高级版本,是普通GPT-4储存内容能力的5倍04、成就GPT的股权新玩法 OpenAI带来的革新不仅体现在产品和技术层面,其独特的股权投资方式也在很大程度上造就了GPT的成功。

' ]3 C5 k h5 x: N3 @! b- I

随着GPT的技术以指数级速度增长,其算力的烧钱速度也呈现出指数级的上升巧妇难为无米之炊,OpenAI需要不断地输血才能保持运转,但显然全世界没有一个投资者想当慈善家,唯一的解决办法就是对外引进财务投资2019年担任OpenAI首席执行官的阿尔特曼说:为了成功完成我们的使命,我们需要海量资金,数额远超出我最初的设想。

, ?1 K& U0 F% \1 ]2 l; o

为了彻底解决资金问题,OpenAI调整了结构,一分为二:非营利部门(OpenAI Nonprofit)从事开发技术,营利部门(OpenAI LP)负责商业化,但OpenAI给不同时期进入的投资人设置了各自的盈利天花板。

) E) T* V& n% k* n$ `) v$ P& {. z6 ^& o3 A

天花板之上,所有的盈利将属于非营利部门

( Q2 g# h+ Y8 o9 E$ d

图:创业邦2019年,改制后的OpenAI正式开启融资之旅据创业邦数据显示,包括最早期投资(比种子轮更早的Pre-种子轮),OpenAI一共进行了8轮融资,涉及9家知名机构和企业,融资总金额约110亿美元。

+ q7 L0 s8 F% A! V' N* b3 r

图 | 创业邦根据OpenAI的发展,简单概括为以下4个阶段:阶段一:2015年OpenAI首席执行官阿尔特曼,与埃隆·马斯克等人宣布出资10亿美元,创立了非营利性研究机构OpenAI阶段二:2019年OpenAI的架构进行了调整,调整后变身为两家机构——营利性机构OpenAI LP和最初的非营利机构OpenAI, Inc。

3 u* a$ i- J1 a1 h7 F6 ~. q3 z$ j

目前我们提到OpenAI,通常指的是被称为OpenAI LP的一家有限合伙企业,在组织形态上采用的是有限合伙,这是一家盈利公司非营利机构OpenAI, Inc是其负责投资管理的普通合伙人(GP),这是一家在美国特拉华州注册的有限责任公司。

( _9 h8 G9 L D9 j- W, G

也就是说,OpenAI LP由OpenAI, Inc控制阶段三:从2019年开始,微软与OpenAI建立了战略合作伙伴关系,不少于三次投资,共投入130亿美元,成为OpenAI最大的有限合伙人OpenAI LP从成立之初参与投资的VC们,也成为了有限合伙人。

G& q; E' j6 M/ h9 e0 j1 Z

阶段四:在OpenAI未来盈利后,与一般企业通过上市让投资人获得回报的做法不同,OpenAI选择了一种新的股权投资协议模式——以投资回报速度代替投资回报水平盈利后的OpenAI将分节奏,逐步回报投资人:。

- V+ }' i5 \ s+ d2 ]7 D0 `+ f5 ?: h

1、优先保证OpenAI的首批投资者收回初始资本;2、微软投资完成、OpenAI LP首批投资人收回初始投资后,微软有权获得OpenAI LP 75%利润;3、微软收回130亿美元投资、从OpenAI LP获得920亿美元利润后,它分享利润的比例从75%降到49%;

0 e& L9 w; b0 ]9 O2 `' Q

4、OpenAI LP产生的利润达到1500亿美元后,微软和其他风险投资者的股份将无偿转让给OpenAI LP的普通合伙人——非营利机构OpenAI, Inc从以上四个阶段可以看出,本质上OpenAI是在把公司借给微软,而借多久,取决于OpenAI赚钱的速度。

% f ?( R' _+ |

直接以投资回报速度代替投资回报水平,这种做法是建立在OpenAI最终回归公益的愿景必然实现的强烈信念,以及管理团队能够驾驭OpenAI走向成功的充分信任基础上在这样的信念之下,OpenAI吸引了很多顶尖的AI研究人员,承诺绝对有竞争力的薪水和绝对的商业自由。

* P- l, f" k+ P

他们毅然离开原来的科技公司和学术机构,加入OpenAI,希望专心思考人类的终极问题当然,OpenAI LP的股权结构尚存在一些不足相比之下,拥有较好的创始团队激励、较好的股权流动性、无上限的投资回报收益等优点的传统股权投资体系,在现阶段仍然是不可被替代的。

6 Y: I9 L) P( u( L* \- F) p

OpenAI LP的新路能否最终通向罗马,尚需时间的检验。返回搜狐,查看更多责任编辑:

" q& _; Q& m( B6 x' M9 I, G # M* U p C% ]- ` ; [: T# Q0 W+ A: W 9 R0 r5 c0 x2 p: ^ : x z0 [. c8 C6 J
回复

使用道具 举报

    您需要登录后才可以回帖 登录 | 加入怎通

    本版积分规则

    QQ|手机版|小黑屋|网站地图|真牛社区 ( 苏ICP备2023040716号-2 )

    GMT+8, 2026-7-7 10:12 , Processed in 0.046066 second(s), 24 queries , Gzip On.

    免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系420897364#qq.com(把#换成@)删除。

    Powered by Discuz! X3.5

    快速回复 返回顶部 返回列表