当地时间周三盘后，英伟达即将公布整个二级市场的最后一份重磅二季报，全球投资者因此高度紧张。而就在前一天（当地时间8月27日），美国人工智能处理器芯片独角兽Cerebras Systems基于其自己的芯片计算系统发布了号称世界上速度最快的AI推理服务，声称比使用英伟达H100 GPU构建的系统快十到二十倍。
目前，英伟达GPU在AI训练和推理两方面都占据着市场主导地位。Cerebras自2019年推出首款AI芯片以来，一直专注销售AI芯片和计算系统，致力于在AI训练领域挑战英伟达。
根据美国科技媒体The Information的报道，得益于AI推理服务，OpenAI今年收入预计将达到34亿美元。既然AI推理的蛋糕这么大，Cerebras联合创始人兼首席执行官安德鲁·费尔德曼表示，Cerebras也要在AI市场上占据一席之地。
Cerebras这次推出AI推理服务不仅开启了AI芯片和计算系统之外，基于使用量的第二收入曲线，更是发起了对英伟达的全面进攻。“从英伟达手中抢走足够让他们生气了的市场份额。”费尔德曼如是说。
又快又便宜
Cerebras的AI推理服务在速度和成本上均表现出显著优势。据费尔德曼介绍，以每秒可输出的token数量来衡量，Cerebras的AI推理速度是微软Azure、亚马逊AWS等云服务商运行的AI推理服务的20倍。
费尔德曼在发布会现场同时启动了Cerebras与亚马逊AWS的AI推理服务，Cerebras可以瞬间完成推理工作并输出，处理速度达到每秒1832个tokens，而AWS需要几秒钟才能完成输出，处理速度仅为每秒93个tokens。
费尔德曼称，更快的推理速度意味着，可以实现实时交互式语音回答，或通过调用多轮结果、更多外部来源、更长文档，从而获得更准确、更相关的回答，给AI推理带来质的飞跃。
除了速度优势外，Cerebras还有巨大的成本优势。费尔德曼表示，Cerebras的AI推理服务性价比是AWS等的100倍。以运行Meta的Llama 3.1 70B开源大型语言模型为例，该服务的价格为每个token仅需60美分，而一般云服务商提供的相同服务每个令牌价格为2.90美元。
目前最大GPU面积的56倍
Cerebras的AI推理服务又快又便宜的原因在于其WSE-3芯片的设计。这是Cerebras今年3月推出的第三代处理器芯片，它的尺寸巨大，几乎相当于一个12英寸半导体晶片的整个表面，或者说比一本书还要大，单体面积达到约462.25平方厘米。它是目前最大GPU面积的56倍。
WSE-3芯片没有像英伟达那样采用需要通过接口连接才能访问的独立高带宽存储器（HBM）。相反，它将内存直接内置在芯片中。
得益于芯片尺寸，WSE-3的片上存储器（On-chip memory）高达44G，几乎是英伟达H100的900倍，内存带宽是英伟达H100的7000倍。
费尔德曼表示，内存带宽是限制语言模型推理性能的根本因素。而Cerebras将逻辑和内存整合到一个巨型芯片中，拥有巨大的片上内存和极高的内存带宽，可以快速地处理数据并产生推理结果。“这是GPU不可能达到的速度。”
除了速度和成本优势外，WSE-3芯片还是AI训练和推理两面手，在处理各种AI任务时都具有卓越的性能。
根据计划，Cerebras将在多个地点建立AI推理数据中心，并将按请求次数对推理能力收费。同时，Cerebras还将向尝试向云服务商出售基于WSE-3的CS-3计算系统。
