扎克伯格的开源大模型豪赌赢了？
据美国科技网站The Information此前援引Meta员工的话称，Meta计划于当地时间7月23日发布LLaMA 3模型的最大版本。该版本拥有4050亿个参数和多模态能力，能够理解并生成图像和文本。
不过，在正式发布前，这款模型就在开源AI社区Hugging Face上被泄露了，并迅速引起了轰动，Hugging Face网站随即删除了相关信息。
泄露的信息显示，这款模型名称从LLama 3 405B更名为LLama 3.1 405B。这款模型基于超过15T tokens进行训练，微调数据包括公开微调数据集和1500万个合成样本。
回顾2024年4月，Meta推出了新一代的开源大模型LLaMA 3。尽管LLaMA 3前两个型号，即LLaMA 3 8B和70B，当时在同类规模的LLMs中树立了新的基准，但短短三个月内，已被其他大模型赶超。
然而，LLaMA 3.1 405B的泄露数据表明，这款模型在多个关键的AI基准测试中表现优异。
具体来说，经过调教的405B模型在MMLU-Pro评估中超过了Claude 3.5 Sonnet，设定了新的行业标杆（SOTA）。尽管在其他一些评估中，它仍略逊于3.5 Sonnet，但总体表现已在同一水平线上。
该模型在GSM8K、Hellaswag、Boolq、MMLU-humanities、MMLU-other、MMLU-stem和Winograd等多项测试中均优于OpenAI的GPT-4o，但在HumanEval和MMLU-social sciences方面略逊一筹。
这是开源大模型的一个重要里程碑，标志着开源模型首次可能击败当前最先进的闭源大模型。而且，这些数据来自LLama 3.1 405B的基本模型。随着对该模型进行进一步的调教，其性能有望得到进一步提升。
不过，OpenAI即将推出的GPT-5预计将具备先进的推理能力，可能在上述项目追赶LLama 3.1 405B。
值得注意的是，Meta在LLaMA 3.1的社区许可协议中，取消了禁止使用LLaMA改进其他模型的规定。
另据TestingCatalog报道，Llama 3.1 405B可能是Meta AI Premium计划的专属模型，，Meta AI Premium计划也可能在7月23日与LLaMA 3.1 405B同时发布。这意味着Meta正在积极为其AI产品探索商业化路径。
此外，Meta还为Meta AI开发视频生成功能。用户除了可以进行文字对话外，还可以点击“想象”按钮生成图片，并进而通过提示词，生成多个视频镜头，最后将视频镜头合并，生成视频。
同时，Meta还被指正在开发面向开发者的独立产品AI Studio，该产品允许开发者试用Meta AI模型，并将其无缝集成到自己的产品中。
值得注意的是，开源AI赛道正变得日益拥挤，谷歌、马斯克的xAI和Mistral等竞争对手也在积极布局开源大模型产品。
