2024年,当大模型迈入新的发展阶段,AI全领域迎来更为迅猛的量变积累。
一方面,模型已突破模态的隔离,文本、语音、视觉等多种形式得以丰富结合,极大地增强了模态的多样性;另一方面,大模型的应用落地领域得到广泛拓展,企业对算力的需求持续增加,对算力的依赖性显著提升。
目前,业内的共识是,大模型的Scaling Law依旧有效,因此产业界对大模型能力的追求必将导致对大算力需求的持续增加。更重要的是,随着AI大模型在企业应用中的深度嵌入,算力不仅仅是技术基础设施,更成为影响企业竞争力的重要因素。
从算力层面看,行业目前仍呈现出“需求大、能耗高、效率低”的发展态势。以2020年发布的GPT-3与最新发布的LLaMA3-405B进行对比为例,尽管模型规模仅增大2.3倍,但所需算力却增长了116倍。
这种指数级的算力消耗增长,使得传统的单一算力架构已经难以为继,行业亟需更加高效、多元的算力解决方案。
因此,算法的创新将驱动算力需求的持续高增长,同时,算法结构的创新也带来了MoE(混合专家模型)、模型量化、定制算子等更加复杂的计算需求。这不仅对企业的技术积累提出了更高的要求,也对整个算力生态的协同发展形成了巨大挑战。
在此背景下,构建一个多元化的算力系统生态显得尤为重要。
12月25日下午,浪潮信息与智源研究院达成战略合作协议,双方将共建大模型多元算力开源创新生态,提升大模型创新研发的算力效率,降低大模型应用开发的算力门槛。
这次合作不仅是技术层面的互补,更是产业生态的一次重要整合。目前,智源的开源大模型通用算子库FlagGems已接入浪潮信息的元脑企智EPAI企业大模型开发平台,可帮助企业实现多元算力的适配与使用。
事实上,许多企业都已意识到多元多模的重要性,但是,由于不同硬件架构、指令集的差异以及算子库的独立实现,整个生态系统往往处于碎片化状态,难以形成合力,这种割裂的生态现状不仅抬高了大模型应用的技术门槛,也让企业在实际部署中面临重重困难。
尤其对于那些技术力量薄弱的传统企业用户来说,不仅在多元的芯片、模型中难以选择,而且即使部署成功,也存在软件框架多、易用性差等问题。这种局面导致企业在后期开发和使用中举步维艰。
而此次合作,通过将智源的开源大模型通用算子库FlagGems与浪潮信息的元脑企智EPAI企业大模型开发平台进行深度融合,让大模型应用开发能够使用跨硬件、多框架兼容的算子集合,进而满足了企业多种开发框架的需求,真正实现了大模型在跨算力平台上的无缝开发与迁移。
资料显示,FlagGems于今年6月推出,截至12月,已提供超过130个大模型算子,是目前提供算子数量最多、覆盖广度最大的开源算子库。现在,借助元脑企智EPAI大模型开发平台,企业不仅能够在多种算力平台上进行高效的AI算法开发,还能够灵活应对不同硬件架构带来的技术差异。
浪潮信息高级副总裁刘军向21世纪经济报道记者表示,“在多元多模的产业格局下,AI的产业化落地本质上就是推动人工智能与百行千业的深度融合。过去,硬件架构、指令集的差异及算子库的独立实现,让算力产业形成了生态藩篱,这次合作的目的就是要化解这些高门槛问题,为AI应用创新注入更强大、多元的算力支持”。
此外,开源开放是创新活力的源泉。未来,随着更多企业与开发者的加入,大模型多元算力生态有望逐渐成熟,并成为推动AI技术全面落地的关键引擎。