推理軟件 文章 進入推理軟件技術社區(qū)
英偉達推出開源推理軟件Dynamo 為AI工廠降本增效
- 3月19日消息，英偉達在2025GTC大會上推出了開源推理軟件 NVIDIA Dynamo，旨在以高效率、低成本加速并擴展 AI 工廠中的 AI 推理模型。據介紹，NVIDIA Dynamo 是一款全新的 AI 推理服務軟件，旨在為部署推理 AI 模型的 AI 工廠最大化其 token 收益。它協調并加速數千個 GPU 之間的推理通信，并使用分離服務將大語言模型 (LLM) 的處理階段和生成階段在不同 GPU 上分離開來。這使得每個階段的特定需求可以進行單獨優(yōu)化，并確保更大程度地利用 GPU 資源?！叭?/li>
- 關鍵字： 英偉達 開源 推理軟件 Dynamo AI工廠 NVIDIA Dynamo GTC
| 共1條 1/1 1 |
推理軟件介紹
您好，目前還沒有人創(chuàng)建詞條推理軟件!
歡迎您創(chuàng)建該詞條，闡述對推理軟件的理解，并與今后在此搜索推理軟件的朋友們分享。 創(chuàng)建詞條
歡迎您創(chuàng)建該詞條，闡述對推理軟件的理解，并與今后在此搜索推理軟件的朋友們分享。 創(chuàng)建詞條
京ICP備12027778號-2 北京市公安局備案：1101082052 京公網安備11010802012473