数字版权
& Z: ^, _7 W+ D* {; q; x# N经历半个多世纪的发展，AI技术逐步在典型的行业场景中开始落地，其中自然语言、机器视觉相关技术率先得到广泛应用，但同时也面临着场景单一、开发难度大、无法规模复制等问题，制约了AI的全面普及。
6 `3 C+ ~; t! b. x
+ s, R$ ?% g, S, u3 d) Z- d9 r基于大模型的生成式AI异军突起，给整个AI产业带来了蓬勃生机，众多企业、研究机构和开发者蜂拥而至。仅2023年，中国已发布的10亿参数规模以上的大模型就达到79个，根据相关预测，到2025年全球生成式AI市场规模将达到100亿美元以上。而相比消费级大模型市场的炙手可热，我们认为企业级大模型更有可能后发先至，成为未来大模型最大的应用领域。事实上，越来越多的企业开始接入大模型，或是开发基于大模型的应用，也有一些企业致力于通过充裕且经济的AI算力供给，推动“百模千态”的发展。7 d- y$ v, I9 z) c
1 i1 t1 ^5 H; R# J+ q
AI大模型产业，忽如一夜春风来，千树万树梨花开！
$ S, O0 T/ ^2 J( e( U/ E" o/ M, J& k$ b* h+ R
企业需要“更懂行、更安全”的大模型9 e5 M; ^0 q& T( r: i4 {
a( H" k& l9 |. |4 I% K+ {源于长期的行业积累，大型企业拥有丰富的私有数据资源，这些数据对企业的运营具有极为重要的价值，也要求大模型的提供者提供联邦学习、机密计算等多层次的措施，保障数据安全和隐私合规。除了这些技术上的措施，对于很多大型企业而言，他们更倾向于将数据留在本地，确保“数据不出域”。
( {1 w; [% |& Y& o s; L# q
" `* D/ i( l0 A% X6 I9 v, B另一方面，每个行业、每个企业的业务特点都不尽相同，因此差异化的大模型能力供给至关重要。我们知道，大模型的训练需要海量的高质量数据，在公共和开放数据集的基础上，还必须要企业的私有数据参与训练过程，通过增量训练和微调，让大模型更懂行业、懂企业。$ E& \2 F! K! E1 ]" o7 s' I+ I% j
5 i0 ]" B0 ]5 _0 z9 n6 y企业需要在保证数据安全的基础上，让私有数据参与大模型的训练。我们认为，本地化部署的企业专属大模型可以很好地平衡“安全”与“懂行”之间的矛盾，将成为未来行业大模型的重要部署形态，既满足业务创新诉求，也缓解企业对数据安全和隐私的担忧。
6 T2 C4 }' H: p8 c/ a( _# H7 @ d1 c: ]5 ^1 s" A
专属大模型建设的选择与挑战
6 _# S. C+ F$ n. M+ D* K
7 S6 q9 n# y P4 c! M% f未来，每个企业都会用到大模型，但并非每个企业都需要从零开始打造一个基础大模型，这既不必要，也不现实。首先，高昂的资金投入是最显而易见的挑战，基础大模型的训练需要消耗大量的算力，单次训练可能就需要成百上千万的资金投入，还需要耗费大量时间准备高质量的算料，此外还有人才培养成本等诸多因素。因此，站在巨人肩上也许才是最好的选择，甚至可能事半功倍。
1 k; q4 f x$ ? ~4 e7 u7 i' J- L) r. E4 o# ]2 Y
开源将一如既往对大模型产业发展产生巨大推动作用。目前，业界已经有LLaMA 2、PaLM 2、Claude等众多优秀的开源预训练大模型，也吸引了众多企业的积极响应，他们结合自身的场景和私有数据进行本地化训练，让大模型在具备通用能力的基础上，叠加行业知识，形成专属大模型。! {* e! `1 ]% |2 f* l0 O4 J$ p
% V1 ~, Y! R G- _0 f p# l/ O4 @但基于开源构建专属大模型也充满挑战。首先，是企业所选择的大模型从参数规模、准确率到泛化性是否能满足业务场景需求；其次，用户需要自主选择AI算力、框架和部署模式，如果缺乏必要的软硬结合的调优能力，将难以充分发挥算力潜能；第三，大模型的开发部署是一个系统工程，开源大模型往往缺乏完善的工具链支撑，企业对模型进行二次开发和精调将非常复杂。3 g# ~5 U& I& Q C1 L1 ?7 ?) k
, m* a0 T) s, n2 `3 k* o7 l0 K企业亟需商业化的专属大模型，并能通过一站式的部署，降低建设和使用门槛。- S b. p7 ~ G( N( i/ ?0 v
5 Y: K4 Y6 t* A _# N
基于混合云的专属大模型最优解
) X" t1 k+ [4 d- d: Y! ]
$ ^1 |: ?6 M3 t7月，华为云面向业界发布了盘古大模型3.0，提供L0基础大模型、L1行业大模型和L2场景模型三层能力，用户可以基于华为公有云快速获取。今天，我们将大模型能力叠加到混合云上，并发布华为云Stack 8.3版本，让用户在本地数据中心，也能一站式建设自己的专属大模型。* q% [& g. Z) n: F8 y3 Q
+ h( Y' \: ?8 R0 a# }1 ~首先，基于华为公有云强大算力打造了预训练基础大模型，可直接部署到混合云上，企业不必重复造轮子；同时，基于混合云提供从硬件到模型开发的一站式建设方案，企业无需东拼西凑，仅关注如何在基础大模型的基础上，结合行业数据和私有数据训练生成行业专属大模型。1 l) [3 d+ T$ n2 Z5 S3 d @# T) D
- z- T0 R: W. o4 h, g: X; l( {
华为云Stack 8.3支持业界最完整的AI生产链，包括多元算力、CANN异构计算架构、MindSpore AI框架、AI开发生产线ModelArts以及工程套件，结合行业实践经验提供丰富的模型开发与辅助运营专业服务，降低大模型的建设门槛。通过算子融合与混合精度的优化实现软硬协同，单卡环境性能相比开源框架提升45%，多卡环境性能提升28%，让算力潜能得以充分发挥。新版本将首先落地盘古视觉大模型（CV大模型）和盘古自然语言大模型（NLP大模型），提供基础版和高级版及不同原子能力，企业可按需选择，后续我们还会持续迭代更新其他基础大模型。; V6 g" a1 A' o* I, w" S" N0 f( w
* s. U# q' S# W, d' m3 w我们坚持AI for industries的理念，不仅读万卷书，更要行万里路、做最难的事，让大模型在千行万业的生根发芽。当前，我们已经联合10多个客户探索行业大模型，沉淀了丰富的经验。例如，山东能源集团携手华为，基于中心训练、边缘推理的云边架构，部署了全球首个矿山大模型，支撑9大专业21个场景的智能应用。在焦化配煤场景，将焦炭质量预测准确率提升到95%，同时降低预测耗时；在防冲泄压场景，从隔天审核变为实时告警，大幅提升了监管的及时性。
9 }6 d, @+ S( f# d( t5 T, ]. g- J% Z% f' p" O: d
此外，在金融坐席场景，大模型将坐席问答搜索从5次降至1次，效率大幅提升；在铁路列车故障检测场景，实现从“人看”到“AI看”的改变，覆盖100%的故障场景；在电力巡检场景，通过大模型进行线路异常自动识别，仅1个大模型就能覆盖全部缺陷。! c9 r3 u+ e. d9 D; L. Z, a' R
- e- ?9 b. d& A g9 V大模型不应是少数企业的专利，我们希望基于华为云Stack和盘古大模型的强大能力与经验，让AI产业百花齐放，让每个企业都拥有自己的专属大模型。
: y: g% Z& c, G7 [6 M( m$ H: @8 D8 w% P
: j3 B: k; z/ }. I7 x' t% u2 {
|
