近日，上海企业稀宇科技（MiniMax）研发的多款多模态大模型在徐汇滨江发布。公司创始人闫俊杰博士还作为创业者代表，在2024浦江创新论坛·全球创业投资大会上发表了演讲。他在演讲中播放的大模型生成的视频效果颇佳，无论是《哈利·波特》电影风格的魔幻短剧，还是航天员乘坐飞船在宇宙中航行的科幻视频，给观众带来的体验都堪比OpenAI开发的Sora。

　　在算力有限的条件下，如何让国产大模型生成高质量的文字、图片、视频、音乐和语音？闫俊杰分享了他的观点。

为求“快”进行多项技术革新

　　闫俊杰毕业于中国科学院自动化研究所，曾任商汤集团副总裁，2021年底创立了稀宇科技。在他看来，人工智能大模型目前有三个重要的优化方向：一是让模型的错误率持续降低，因为大多数模型有较高的错误率，有时表现惊艳，有时不靠谱，成为制约模型处理复杂任务的一大瓶颈；二是实现无限长的输入和输出，因为这是人所具备的能力，而大模型的计算需求随着输入输出处理量的平方上升，很快将达到算力无法负担的上限，这个瓶颈需要底层创新来破解；三是多模态，即文字、声音、图片和视频等模态都可生成，与用户进行各类信息的交互。

MiniMax大模型生成的视频

　　“如何在这三个方向上攻克技术难关？我们认为，在同样的能力范围内，快就是好。”闫俊杰说，“在两个性能类似的模型中，训练和推理更快的那个，可以更有效地利用算力资源迭代更多数据，从而获得更好的模型能力，所以我们认为，快就是好。这是一个朴素但很容易被人忽视的哲学理念。”

　　为了追求“快”，MiniMax团队对大模型进行了多项技术革新。MoE（混合专家模型）是其中一项革新，在这种架构尚未被大多数专家认可时，他们就决定：在国内率先完成核心MoE算法技术路线的突破。

　　据介绍，混合专家模型的设计思路是“术业有专攻”，即将任务进行分类，然后分给多个“专家”来解决。与之相对应的概念是稠密模型，采用这种架构的是“通才”模型。和一个“通才”相比，一群“专家”能更高效、专业地完成复杂任务，还能在不显著增加计算成本的情况下大幅增加模型容量，使万亿参数级别的大模型成为可能。在稀宇科技开发的abab-text-6.5s大语言模型中，MoE模型比稠密模型快3—5倍。这个大模型每天能处理几十亿次交互，MOE发挥了关键作用。

　　Linear Attention（线性注意力）机制也是MiniMax团队开展的一项技术革新。它通过算法优化，把传统模型架构中输入长度和计算复杂度之间的平方增长关系变成线性关系，跨出了“实现无限长的输入和输出”的关键一步。

闫俊杰介绍MiniMax开发的模型和产品。

邀用户体验视频和音乐AI创作

　　在混合专家模型、线性注意力机制等技术的支撑下，视频模型abab-video-1具有压缩率高、文本响应好、支持原生高分辨率和高帧率视频等特点，可媲美电影质感。音乐模型abab-music-1支持多功能端到端音乐生成，可用于合成纯音乐、清唱作品等多种音乐形式，并能满足伴奏、人声同时生成，有望大幅简化音乐录制和创作过程，让外行也能从事音乐创作。读者可登录“海螺AI”网页版，体验创作视频和音乐的乐趣。

MiniMax大模型生成的视频

　　稀宇科技还更新了语音模型abab-speech-1，它能生成普通话、粤语、日语、韩语、西班牙语等多语种合成语音，拟人度高，情绪变化细腻自然。

　　闫俊杰介绍，目前，MiniMax大模型每天与终端用户进行30亿次交互，每天处理超3万亿token文本，生成2000万张图片和7万小时语音。

MiniMax大模型生成的视频

　　每天30亿次交互的用户，既来自“海螺AI”“星野”等公司自有产品，也来自公司开放平台的合作伙伴。比如，金山办公软件与MiniMax合作，通过思维链使WPS在生成文档摘要、回答用户提问时，能展示大模型的推理步骤，提高解决方案的透明度和可信度；移动办公平台“钉钉”与其合作，获得文案生成能力和格式遵循能力，提高了用户的生产效率；网络文学网站“阅文”通过合作，获得快速理解上下文整体语境的能力，在长篇小说的有声读物制作中能保持情感的一致性，并能准确解析角色情绪，进行风格化演绎；人力资源平台“智联招聘”通过合作，使用垂直行业和全职类行业数据进行模型微调，大幅提高了AI面试评价、职位描述信息提取和简历匹配的准确率。

　　随着视频模型、音乐模型、语音模型的发布，稀宇科技已打造出多模态大模型全套产品。闫俊杰透露，未来几周内，公司将发布多模态大模型abab 7，它在速度和效果上对标GPT-4o，届时将接受合作伙伴和终端用户的检验。