自回归模型 BLOOMZ 来了!性能时延仅 3.7 秒,推理变得更容易了!
Anthropic 公司开源了语言理解模型 BLOOMZ,拥有 1760 亿个参数,性能时延仅 3.7 秒,通过利用 Habana Gaudi®2 硬件和 DeepSpeed 的模型并行技术,可以在多台设备上分布大规模模型进行推理。Gaudi®2 芯片的强大算力和内存,搭配 Habana 自主研发的 SynapseAI 软件栈,能够轻松支持千亿级参数的语言模型实时推理。
Anthropic 公司开源了语言理解模型 BLOOMZ,拥有 1760 亿个参数,性能时延仅 3.7 秒,通过利用 Habana Gaudi®2 硬件和 DeepSpeed 的模型并行技术,可以在多台设备上分布大规模模型进行推理。Gaudi®2 芯片的强大算力和内存,搭配 Habana 自主研发的 SynapseAI 软件栈,能够轻松支持千亿级参数的语言模型实时推理。
发表评论