全球領先的開源解決方案提供商紅帽公司近日宣布已完成對Neural Magic的收購。Neural Magic是一家在加速生成式AI（gen AI）推理工作負載的軟件與算法領域的先鋒企業(yè)。

通過此次收購，紅帽引入了推理性能優(yōu)化和模型優(yōu)化領域的專業(yè)能力，進一步推進其愿景，即在混合云的任意位置，根據(jù)客戶獨特需求提供高性能的AI工作負載支持。支撐當前生成式AI應用的大型語言模型（LLM）雖然具有創(chuàng)新性，但往往成本高昂且資源消耗巨大，大多數(shù)組織難以有效利用。為應對這些挑戰(zhàn)，紅帽認為，未來AI戰(zhàn)略的成功關鍵在于開發(fā)更小、更優(yōu)化并采用開源許可的模型，通過在計算架構和部署環(huán)境中的開放創(chuàng)新來實現(xiàn)。

Neural Magic致力于將優(yōu)化且高效的AI模型變?yōu)楝F(xiàn)實，這進一步增強了紅帽實現(xiàn)AI愿景的能力。Neural Magic也是vLLM的主要貢獻者之一，vLLM是由加州大學伯克利分校開發(fā)的一個開源項目，專注于開放模型服務，這將為組織在構建和部署AI工作負載方面提供更多選擇和更高的可及性。

面向混合云的生成式AI未來

借助Neural Magic的技術與性能工程專業(yè)知識，紅帽致力于破解大規(guī)模企業(yè)AI面臨的挑戰(zhàn)，通過開源創(chuàng)新進一步推動AI變革的普及。具體路徑包括：

●   開源許可模型：提供從10億到數(shù)千億參數(shù)規(guī)模的模型，可靈活運行于混合云的任意環(huán)境中——包括企業(yè)數(shù)據(jù)中心、多云部署以及邊緣場景。

●   模型微調能力：幫助企業(yè)更高效地根據(jù)私有數(shù)據(jù)和特定用例定制大型語言模型（LLM），同時增強安全性。

●   推理性能優(yōu)化專業(yè)知識：顯著提升運營效率和基礎設施利用率。

●   合作伙伴與開源生態(tài)系統(tǒng)支持：從LLM和相關工具，到認證服務器硬件及底層芯片架構，為客戶提供更豐富的選擇，滿足多樣化需求。

“選擇”這一理念對于今天的生成式AI至關重要，就如同幾年前的云原生和容器化應用一樣。成功的生成式AI戰(zhàn)略依賴于合適的環(huán)境（如云、服務器、邊緣等）、加速計算能力以及推理服務器。紅帽始終致力于在混合云環(huán)境中為客戶提供廣泛的選擇，尤其是在AI領域。收購Neural Magic進一步鞏固了我們對這一承諾的支持。

紅帽AI：構建AI的開源基礎

Neural Magic的技術和專業(yè)能力將融入紅帽AI，打造一個專為生成式AI平臺設計的產(chǎn)品組合，秉承混合云架構，紅帽AI包括：

●   紅帽企業(yè)Linux AI（RHEL AI）：基礎模型平臺，在Linux服務器上無縫開發(fā)、測試和運行IBM Granite開源許可LLM家族，支持企業(yè)應用。

●   紅帽O(jiān)penShift AI：AI平臺，提供工具快速開發(fā)、訓練、部署和監(jiān)控機器學習模型，涵蓋本地、公共云及邊緣分布式Kubernetes環(huán)境。

●   InstructLab：由紅帽與IBM聯(lián)合創(chuàng)建的開源AI社區(qū)項目，通過協(xié)作改進開源許可的Granite LLM，利用InstructLab的微調技術，讓任何人都能參與塑造生成式AI的未來。

vLLM、LLM Compressor、預優(yōu)化模型等將被整合到紅帽AI，讓Neural Magic成為紅帽AI平臺的關鍵組成部分。

支持證言

Matt Hicks，紅帽總裁兼CEO

“效率、優(yōu)化和選擇是傳統(tǒng)企業(yè)IT中的核心概念，我們認為生成式AI也應如此。通過將Neural Magic在生成式AI性能工程和優(yōu)化方面的專長引入紅帽AI，從工作負載的運行環(huán)境到模型的調優(yōu)與訓練，我們進一步履行了為客戶提供滿足其獨特需求的生成式AI承諾。”

Brian Stevens，Neural Magic首席執(zhí)行官

“Neural Magic在開源AI領域的研究和技術貢獻，顯著降低了部署大規(guī)模先進大型語言模型所需的基礎設施。紅帽與我們共同認為‘AI的未來在于開源’，我們期待與紅帽合作，幫助企業(yè)更輕松地實現(xiàn)生成式AI的價值?！?/p>

Dave McCarthy，IDC云與邊緣服務全球基礎設施研究副總裁

“紅帽收購Neural Magic是對其AI能力的戰(zhàn)略增強，憑借Neural Magic在模型優(yōu)化和推理加速方面的專長，促進了AI在混合云中的部署。這不僅契合紅帽對開源創(chuàng)新的承諾，也使公司能夠提供更具成本效益和可擴展性的AI解決方案，減少對專用硬件的依賴?！?/p>