自ChatGPT及其背后的GPT系列大语言模型发布以来,人工智能大模型热潮持续蔓延。
除了提供云端大模型应用程序编程接口(API)的商业模式外,销售“软硬件结合”的大模型训推一体机是另一条备受关注的商业化路径,在中国市场上热度较高,甚至被称作AI“魔盒”。
大模型的训练和部署往往需要大量的计算资源。然而,当前国内在大模型训练上存在算力不够、缺少高端芯片等问题,导致大模型训练进展缓慢。
业内人士认为,在AI时代,既需要算力的强大性能,也需要考虑灵活性、普惠性和易获得性。
在此背景下,大模型训推一体机应运而生。训推一体机是指集成了大模型训练和推理功能的“全栈式”人工智能设备,通常包含中央处理器(CPU)、图形处理器(GPU)、存储器、操作系统、深度学习模型等软硬组件,能通过大规模数据训练掌握数据处理和预测等能力。
“训推一体机的出现,通过集成硬件设备、基础软件以及AI开发平台,降低了开发门槛,使得更多的企业和开发者能够参与到AI大模型的研发和应用中来。”一位机构分析师对记者指出。
目前,多家厂商都发布了基于华为昇腾AI基础软硬件平台的训推一体机产品。但从市场情况来看,仍处于商业化前期阶段。
灵活的AI“魔盒”
与OpenAI、谷歌等公司采取的提供云端大模型应用程序编程接口(API)的模式不同,训推一体机采取的是“软硬件结合”的模式。通过软硬件协同,优化了性能,降低部署成本。
“训推一体机可根据企业的特定业务需求提供‘开箱即用’的定制化大模型解决方案,企业将模型放到机器里,边进行推理边进行训练,相当于把大模型私有化,先让客户用起来,边用边训练,然后不断完善模型。”有业内资深人士对21世纪经济报道记者表示。
除了能够解决大模型的训练问题,训推一体机还可以提供本地化部署的解决方案,满足企业对数据安全的需求。随着数据安全和隐私保护意识的不断提高,越来越多的企业和组织希望能够在本地进行模型训练和推理,以减少数据泄露的风险。
在国内市场,自2023年3月华为昇腾携手华鹏振宇推出针对高校与科研院所的AI训练开发一体机以来,国内厂商相继发布合作版昇腾一体机,应用范围迅速拓宽,覆盖科研至AI全场景及垂类模型应用落地。
民生证券研报称,昇腾AI一体机是国内AI软硬件技术的黄金交点,是以国产算力领军者华为昇腾AI基础软硬件平台为基础,联合国内领先AI厂商打造的先进生产力工具。
2023年3月,华为昇腾与旗下华鹏振宇打造了专为高校和科研院所设计的AI训练开发一体机,奠定了将AI算力、AI平台软件、AI开发框架、开发组件和存储高效融合的算力底座基础架构。
2023年6月,软通动力(301236.SZ)发布训推一体化平台,支持用户一站式AI开发、深度适配不同AI应用场景;同年8月起,云从科技(688327.SH)、科大讯飞(002230.SZ)、智谱AI等大模型厂商合作款昇腾一体机面世。
其中,科大讯飞联合华为在去年8月15日推出讯飞星火一体机,进军私有化垂直大模型赛道。
据科大讯飞董事长刘庆峰介绍,“星火一体机”是国产软硬件一体化的私有专属大模型解决方案,开箱即可使用,提供从底层算力、AI框架、训练算法、推理能力、应用成效等全栈AI能力,面向金融、国企、央企等重点行业客户,提供自主可控的私有化大模型。
后续医渡科技、安恒信息、中兴通讯等公司将昇腾一体机用于自身垂类模型落地,昇腾一体机应用范围逐渐扩展到AI全场景。
值得一提的是,随着技术的进步和市场竞争的加剧,训推一体机的价格逐渐从百万级降至千元级。例如,云天励飞(688343.SH)推出的深目AI模盒,其售价在千元级,这在很大程度上降低了大模型应用的门槛。
当前,训推一体机市场上还有跨界玩家涌入。
开勒股份(301070.SZ)近日接受机构调研时表示,豫资开勒目前在研一款通用型的模型服务开发平台,以及具备训练、推理功能的一体机产品。
仍处于商业化前期
虽然训推一体机以低成本和灵活性著称,但不可忽视的是,它也存在一些局限性。
首先,其性能往往会受到硬件技术的限制,这不仅增加了技术持有和更新的成本,还在一定程度上制约了其处理复杂任务的能力。
与公共云服务或使用 API 接入大模型相比,训推一体机在效率方面可能处于劣势。由于其对大模型的使用较为零散,难以充分发挥大模型的整体优势,从而影响了处理大规模数据和复杂任务的效果。
从技术层面来看,训推一体机集成了多种高性能组件,并需要软硬件之间的紧密协同工作。尽管众多厂商陆续发布训推一体机,但记者多方了解获悉,多家厂商仍投入大量技术人员持续优化调试,以确保其在应用场景下的稳定性和效率。
目前,训推一体机覆盖的范围也逐渐扩展至能源、金融、运营商、政务、制造、教育科研等多领域的通用问答、写作辅助、代码辅助、智能分析、智能客服、知识咨询等场景。
但训推一体机仍处于商业化前期阶段。一位接近科大讯飞人士对记者表示,关于星火一体机的销售情况,目前还没有可披露的新消息。
近期,有投资者在互动平台向云从科技提问:云从科技携手华为联合发布从容大模型训推一体化解决方案,是否已与相关客户签订一体机业务合同或意向订单?
云从科技回应称,今年一体机的市场需求正随着国产算力和应用的明确,已经有了合同和未来预期的收入。另一方面,一体机订单优先会在信息化、私有化部署以及国产化算力需求明确的行业(如能源、教育和文旅等)突破。
从市场空间来看,华为董事、ICT(信息与通信技术)产品与解决方案总裁杨超斌在今年3月举行的华为中国合作伙伴大会上表示,2024年中国区人工智能训推一体机市场规模有望达到168亿元。
民生证券研报指出,以华为昇腾AI基础软硬件平台为基础,联合国内领先AI厂商打造的先进生产力工具,有着数据安全可控、开箱即用的特点,AI大模型在数据安全与数据要素驱动下,带来央国企与政府大模型本地化部署的刚需。乐观预计,2027年G端昇腾一体机市场规模超4500亿元,30%的G端PC将接入大模型AI。