11月5日消息，微软宣布，其 Azure ND GB300 v6 虚拟机在 Meta 的 Llama270B 模型上实现了每秒推理速度达110 万 token 的行业新纪录。

微软表示：“单个 NVL72 机架的 Azure ND GB300 v6 虚拟机实现了总计每秒 1,100,000 个 token 的推理吞吐量。 这刷新了 AI 推理领域的新纪录 ，超越了此前在同一 NVIDIA GB200 NVL72 机架上使用 ...

微软近日宣布，其Azure ND GB300v6虚拟机在Meta的Llama2 70B模型上实现了每秒110万tokens的行业新纪录。微软CEO萨提亚·纳德拉（Satya Nadella）在社交媒体上表示：“这一成就源于我们与英伟达（NVIDIA）的长期合作，以及我们在生产规模上运行人工智能的专业知识。” ...

智通财经APP获悉，微软(MSFT.US)宣布，其Azure ND GB300v6虚拟机在Meta的Llama270B模型上实现了每秒推理速度达110万token的行业新纪录。据悉，Azure ND ...

随着AI运算需求不断升温，NVIDIA 正从「晶片供应商」转型为「AI生态系整合者」。近期NVIDIA与南韩多家大型企业包括 Samsung Electronics、Hyundai Motor、SK Group 与 ...