Aschenbrenner 的前两类主要集中在我所谓的“让模型变得更智能”的改进上。从 GPT2 到 GPT4，每提高一个数量级都让 LLM 回答的准确性和智能性有所提高。相比之下，他对“解除束缚”的看法则不一样，他写道：
% f* R% [4 J3 e4 j/ j% @6 [2 y6 v# y5 `/ r! v
5 k1 I& ]( r6 T$ @3 {- s
“stable diffusion配置要求至关重要的是，不要只是想象一个非常聪明的 ChatGPT：接触束缚的收益应该意味着它看起来更像是一个远程办公的不速之客，一个非常聪明的智能体，可以推理、计划和纠正错误，了解你和你的公司的一切，并且可以连续数周独立解决问题。”
, Z8 ^8 j/ K( I6 \9 y) J' `6 f+ w8 u& i& K
2 V' ?% K) d9 L( D2 b$ T# J. h% ~
这些能力与让模型变得更大、更有效的能力有着根本的不同。许多人工智能研究人员认为，规划是算法设计的结果，而不仅仅是让模型变得更大。模型规模变大并没有让LLM获得着眼长远的能力。你得用不同的方式去构建模型，而不仅仅是让它们变得更大，这需要一种新型的科学突破——而且没有定量的方法可以衡量什么时候会出现这种突破。关于规划能力的时间表，人们有着各种各样的意见，很多都来自学术头衔比我多的人。不过，科学家之间的这种分歧正是我的观点。Aschenbrenner关于让 GPU 变得更大的说法可能行得通，但这应该是一个重大假设，而不是明确事实。& c8 y7 t" P: z& }
7 M# N6 c3 y1 b4 f
8 L' h; H/ T% _6 ~2 g+ u 此外，“了解关于你的一切”并不是模型扩展的结果！这个要由模型可以访问到的操作系统，以及模型收集有关你的信息的能力来决定。所以我才会对苹果在 iPhone 上部署 LLM 的进展感到兴奋。芯片或算法效率多提升一两个数量级对模型是否能了解你的一切不会产生影响。' }' v. a. V6 r( k! M+ [; I
A6 R! j, _3 e9 {/ v
8 v8 Y, g6 M" r* f' l: t+ A0 N, k; U
“了解你的一切”也会引出数据所有权的问题。基于我对企业软件的深刻了解，阻碍LLM“了解你的一切”的，不在于科学，而在于企业采购流程。是，你是可以拥有全世界最神奇的软件，但如果它需要完全访问公司的数据仓库，等着跟 IT 经理争论至少 2-3 年吧。1 U5 @" C9 N. H: @( E8 C
0 z/ R" f% G7 f% ^0 G0 S
+ B# S0 K# r! a 从微软首席技术官凯文·斯科特到我访谈过的无数人工智能研究人员，每个人都坚信更大的模型会解决很多让当前一代模型显得很蠢的问题。不过，要让它们能够独立进行人工智能研究，需要的科学进步已经超出当前LLM的范式范围。我的意思不是说不可能，而且甚至可能比《情境感知》提出的时间表更快，但我认为挑战性比大多数人工智能研究界所认为的都要大。# a- _$ ~+ B1 d# z7 p1 @' S
9 a# _" N1 n8 U+ o
. X, C& m2 a9 N6 w( u% @
我们还把自己的 GPT 模型的每一个后续版本都说成“更智能”，这其实也是一种伤害。看看图表右侧的标签，是将 GPT 模型与儿童和青少年的智力进行的对比。
( I) v& h+ I- ^+ _6 X# \0 z$ Y! ]$ p s/ h# r* P# N/ f, P6 J: \
|
