AIR-520 LLM服務(wù)器：Nvidia四卡加持，助力DeepSeek私有化部署！
加入技術(shù)交流群
DeepSeek-R1的發(fā)布讓大家度過了一個熱鬧的春節(jié)。DeepSeek用較低的成本，取得了跟OpenAI相同的效果，這也意味我們的客戶可以私有化部署與OpenAI能力接近的基座大模型。
本文引用地址：http://www.biyoush.com/article/202502/467300.htm
研華AIR-520 是一款支持4卡單槽GPU或2卡雙槽GPU的桌面級LLM服務(wù)器，主要用于推理和微調(diào)兩個方向。我們已經(jīng)打包好3個推薦配置，便于大家直接選型。推薦配置如和您的應(yīng)用有差距，也可靈活調(diào)配。
（圖：AIR-520 三款配置清單）
近半年來隨著AI Agent的廣泛使用，大家對LLM服務(wù)器的推理能力比較看重，在DeepSeek發(fā)布后，我們也使用AIR-520-L70A1 RTX 4000 ADA 4卡版主機(jī)，對工業(yè)客戶最常用的DeepSeek-R1 32B、70B兩個模型進(jìn)行了測試。
系統(tǒng)配置：
DeepSeek-R1 32B 測試：
DeepSeek-R1 70B測試：
通過測試，我們可以看到AIR-520的優(yōu)異表現(xiàn)。
評論