每秒800个token,这颗AI芯片挑战英伟达
Nvidia 目前在 AI 处理器市场占据主导地位,其 A100 和 H100 GPU 为绝大多数云 AI 服务提供支持。但像 Groq、 Cerebras、SambaNova和Graphcore这样的一批资金雄厚的初创公司正在通过专门为人工智能构建的新架构来挑战这一主导地位。
在这些挑战者中,Groq 是最积极倡导针对推理和训练的挑战者之一。首席执行官 Jonathan Ross大胆预测,到 2024 年底,大多数 AI 初创公司将使用 Groq 的低精度张量流处理器进行推理。
Meta 发布的 LLaMA 3 被描述为功能最强大的开源语言模型之一,为 Groq 展示其硬件推理功能提供了一个备受瞩目的机会。Meta 声称该模型可与最好的闭源产品相媲美,可能会广泛用于基准测试并部署在许多人工智能应用程序中。
如果 Groq 的硬件能够比主流替代品更快、更高效地运行 LLaMA 3,那么这将支持这家初创公司的主张,并有可能加速其技术的采用。Groq 最近推出了一个新的业务部门,旨在通过云服务和合作伙伴关系让客户更轻松地使用其芯片。
LLaMA 等强大的开放模型与 Groq 等高效的“AI 优先”推理硬件相结合,可以使高级语言 AI 更具成本效益,并可供更广泛的企业和开发人员使用。但英伟达不会轻易放弃其领先地位,其他挑战者也在伺机而动。
可以肯定的是,基础设施建设的竞赛正在展开,这些基础设施能够跟上人工智能模型开发的爆炸性进展,并扩展技术以满足快速扩大的应用范围的需求。以可承受的成本实现近乎实时的人工智能推理可以为电子商务、教育、金融、医疗保健等领域带来变革的可能性。
正如一位 X.com 用户对 Groq 的 LLaMA 3 基准测试声明的反应:“速度 + 低成本 + 质量 = [现在] 使用其他任何东西都没有意义”。未来几个月将会揭晓这个大胆的方程式是否会发挥作用,但很明显,随着新一波架构挑战现状,人工智能的硬件基础远未解决。
发表评论