DeepSeek-V3在近期被国外独立评测机构Artificial Analysis评测为在多个关键指标上表现出色,甚至在某些方面超越了OpenAI的模型。以下是对该评测结果的详细归纳:
一、评测结果概述
DeepSeek-V3在质量、价格、性能以及上下文窗口等多个方面与其他人工智能模型进行了对比评测。结果显示,DeepSeek-V3在质量上高于平均水平,各项评估得出的质量指数为80;在价格上,DeepSeek-V3的使用费用相对较低;在性能上,虽然输出速度和延迟与平均水平相比稍逊一筹,但其在逻辑推理和代码生成领域具有显著特点。
二、具体评测指标
质量:DeepSeek-V3的质量指数为80,领先于OpenAI的GPT-4o和Meta的Llama 3.3 70B等模型。这表明DeepSeek-V3在生成内容的准确性和可信度方面表现出色。
价格:DeepSeek-V3的使用费用相对较低,每100万个Token的价格为0.48美元,其中输入Token价格为每100万个Token 0.27美元,输出Token价格为每100万个Token 1.10美元。相比之下,亚马逊Claude 3.5 Sonnet模型的API价格较高,每百万输入tokens 3美元、输出15美元。因此,DeepSeek-V3在价格上具有明显优势。
性能:虽然DeepSeek-V3的输出速度为每秒87.5个Token,接收首个Token需要1.14秒,与平均水平相比稍慢,但其在逻辑推理和代码生成方面的表现尤为突出。例如,在密文解码任务中,DeepSeek-V3是唯一给出正确答案的大模型;
评测结论
DeepSeek-V3超越了迄今为止发布的所有开放权重模型,并且击败了OpenAI的GPT-4o等模型,接近Anthropic的Claude 3.5 Sonnet。目前唯一仍然领先于DeepSeek的模型是谷歌的Gemini 2.0 Flash和OpenAI的o1系列模型。因此,可以说DeepSeek-V3在多个关键指标上确实远胜OpenAI的某些模型。
综上所述,DeepSeek-V3在近期评测中展现出了强大的竞争力和潜力。这新闻DeepSeek已经领先于AI领航者OpenAI,OpenAI的 CEO虽然嘴硬暗讽DeepSeek抄袭,但同时他也期待合作。