在当今信息时代，大语言模型（LLM）因其卓越的自然语言处理能力而备受瞩目。然而，随着AI计算需求的日益增长，如何在多层云边架构中高效部署这些模型，成为了一个亟待解决的技术难题。已进入IPO冲刺阶段的特斯联旗下首席科学家杨旸博士及其团队针对这一挑战，发布论文《Multi-TierMulti-NodeSchedulingofLLMforCollaborativeAIComputing》，提出了一种创新的两阶段多层多节点LLM调度算法，该研究成果已在国际通信领域权威会议INFOCOM（（CCF-A））上发表。+ a/ h7 M. z7 f; p5 X* G
6 X* P! i, \8 E
用于优化AI和LLM部署的综合多层网络框架
* I2 L$ R1 R9 G* D H 1 |3 N. @; D0 X0 b1 B ?7 ? 据了解，特斯联是中国公域AIoT领域中的龙头企业，其高素质研发团队占员工总数的50%以上。特斯联高素质研发团队占员工总数的50%以上，其中，首席技术官华先胜博士、首席科学家邵岭博士、杨旸博士均入选斯坦福大学发布的全球前2%顶尖科学家榜单的终身科学影响力排行榜和年度科学影响力排行榜双榜。* B3 a+ Q) [8 A% |/ V: f
* y+ H3 @, b) Q D& T: S. J1 n 在传统的调度方法在面对多层网络的复杂性和LLM的计算密集性时显得力不从心。为了克服这些限制，特斯联首席科学家杨旸博士团队设计了一种两阶段的调度框架。首先，层间LLM自动解耦和分割阶段采用整数线性规划来有效地分配模型大小和计算需求。随后，层内LLM任务调度算法利用图神经网络（GNN）评估资源利用率和网络条件，从而确定每个层内的最佳调度节点。3 V- _8 F; l! } F5 Z N$ M
' t% Z2 A. R- S- I, |9 j- n 实验数据表明，与传统调度方法相比，这种新型调度算法能够将吞吐量提高9.1%至26.3%。这一显著的性能提升，不仅证明了该算法在多层网络中实现LLM高效部署的能力，还标志着系统性能的一次重大飞跃。' V2 e9 m& K1 e# ^- t0 z9 a
. Z2 K* h; r4 K) C- J; r+ `' X
随着大语言模型规模的不断扩大，单节点计算已经无法满足其需求，分布式计算成为必然趋势。杨旸博士团队提出的多层级多节点调度框架为高效利用分布式资源提供了理论基础和技术支持。 & i$ n! ~( e* r% o5 \# n- N( G' b9 M8 e2 ]7 `8 `+ m
通过动态资源管理和智能调度策略，用于优化人工智能（AI）和大语言模型（LLM）部署的综合多层网络框架能够通过分布式计算来满足现代AI应用的需求，尤其是由LLM驱动的应用，有效解决了资源利用率低和通信开销大的问题，为更大规模、更复杂的AI模型部署和更低时延的协作式AI计算奠定了基础。 4 `) f( ]5 I+ n( J. P& w+ [& e8 J/ c
可以说，特斯联的这项研究不仅为大语言模型在多层云边网络中的高效部署提供了切实可行的解决方案，也推动了AI计算领域的技术进步。随着技术的不断发展和应用，相信未来的AI计算将更加高效、智能，为人类社会带来更多的可能性。: e# M6 ?6 n+ k
