性能对标OpenAI o1!DeepSeek R1正式上线英伟达NIM平台
快科技 1 月 31 日消息,据英伟达官方网站消息,DeepSeek R1 671b 版本已作为英伟达 NIM(Nvidia Inference Microservices)微服务的预览版在 build.nvidia.com 平台上发布。
这一微服务基于单个英伟达 HGX H200 系统,能够实现每秒处理多达 3872 个 token 的高效性能。
开发人员现可对该 API 进行测试与实验,预计不久后,此 API 将以可下载的 NIM 微服务形式,正式成为英伟达 AI Enterprise 软件平台的一部分。
NIM,即 Nvidia Inference Microservices,是一种云原生微服务技术,旨在简化生成式 AI 模型在云端、数据中心及 GPU 加速工作站上的部署流程。
DeepSeek R1 是幻方量化旗下 AI 公司 DeepSeek 所发布的大型模型,其在数学、代码编写、自然语言推理等多项任务上展现出的性能,足以与 OpenAI 的 o1 模型相媲美。