英伟达与 Anyscale 合作，通过将英伟达 AI 引入 Ray 开源和 Anyscale 平台中，提高大型语言模型和生成式 AI 应用的开发效率。Nvidia TensorRT-LLM 将支持 Anyscale 以及 Nvidia AI Enterprise 软件平台，可用于自动扩展推理以在多个 GPU 上并行运行模型，提供 8 倍的性能提升。此外，英伟达 Triton Interence Server 软件支持在 GPU、CPU 和其他处理器上跨云、数据中心、边缘和嵌入式设备进行推理，开发人员可以提高来自各种框架的 AI 模型的效率。Anyscale 声称其 Ray 是全球增长最快的可扩展计算统一框架，英伟达 NeMo 是一个面向云原生的框架，可以被 Ray 开发人员用于为客户提供 LLMs。