●   此次交易體現(xiàn)了紅帽致力于幫助客戶在混合云環(huán)境中實現(xiàn)靈活部署，支持從本地數(shù)據(jù)中心到公有云，再到邊緣計算的應用和工作負載交付，滿足包括人工智能（AI）在內的各類需求

●   Neural Magic將為紅帽帶來在生成式AI性能工程方面的專業(yè)技術，以及先進的模型優(yōu)化算法和高效的GPU與CPU推理服務

全球領先的開源解決方案提供商紅帽公司近日宣布，已簽署最終協(xié)議收購Neural Magic，這是一家在加速生成式AI（gen AI）推理工作負載領域的軟件和算法領域的先驅公司。

Neural Magic在推理性能工程方面的專長及其對開源的承諾，與紅帽的高性能AI工作負載愿景高度契合。這些AI工作負載能夠精準匹配客戶特定的使用場景和數(shù)據(jù)，覆蓋混合云環(huán)境的各個層面，無論在本地部署、公有云還是邊緣計算中。

盡管生成式AI在當前技術領域中占據(jù)主導地位，但支撐這些系統(tǒng)的大型語言模型（LLM）仍在不斷擴展。因此，構建高效、可靠的LLM服務需要巨大的計算能力、能源資源和專業(yè)操作技能。這些挑戰(zhàn)使得定制化、部署就緒并注重安全的AI解決方案，對大多數(shù)企業(yè)來說變得遙不可及。

紅帽計劃通過開放創(chuàng)新的vLLM項目，簡化生成式AI的訪問，幫助更多企業(yè)應對這些挑戰(zhàn)。vLLM由加利福尼亞大學伯克利分校開發(fā)，是一個社區(qū)驅動的開源項目，旨在提供開放的模型服務（即生成式AI模型如何推理和解決問題）。它支持所有主流模型、先進的推理加速研究，并兼容多種硬件后端，包括AMD GPU、AWS Neuron、Google TPUs、Intel Gaudi、NVIDIA GPU和x86 CPU等。

Neural Magic在vLLM中的領導地位與紅帽強大的混合云AI技術平臺相結合，將為企業(yè)提供一個開放且靈活的解決方案，助力構建滿足其獨特需求的AI戰(zhàn)略，無論數(shù)據(jù)存儲于何處。

紅帽 + Neural Magic：引領混合云就緒的生成式AI未來

Neural Magic于2018年從麻省理工學院（MIT）獨立出來，致力于為深度學習構建高效的推理軟件。憑借Neural Magic在技術和性能工程方面的深厚積淀，紅帽將加速其AI未來愿景的實現(xiàn)，依托紅帽的AI技術組合，突破大規(guī)模企業(yè)AI應用的瓶頸。紅帽通過開源創(chuàng)新，推動AI變革力的普及，具體體現(xiàn)在以下幾個方面：

●   開源許可的模型，參數(shù)規(guī)模從1B到405B，支持在混合云環(huán)境中任何位置運行——包括企業(yè)數(shù)據(jù)中心、多云平臺和邊緣設備。

●   微調功能，使組織能夠輕松定制大型語言模型（LLM），將其調整為滿足私有數(shù)據(jù)和特定場景的需求，提升安全性。

●   推理性能工程專業(yè)技術，提升運營效率和基礎設施效能，確保更高的性能。

●   強大的合作伙伴和開源生態(tài)系統(tǒng)，通過提供從LLM和工具到認證服務器硬件及底層芯片架構的全面支持，擴大客戶選擇空間。

增強紅帽AI在vLLM領域的領導地位

Neural Magic憑借其在vLLM領域的深厚技術積累，構建了企業(yè)級推理架構，使客戶能夠在混合云環(huán)境中優(yōu)化、部署并擴展LLM工作負載，全面掌控基礎設施選擇、安全策略和模型生命周期。同時，Neural Magic還深入開展模型優(yōu)化研究，推出LLM Compressor（一個通過最先進的稀疏化和量化算法優(yōu)化LLM的統(tǒng)一庫），并維護一個預優(yōu)化模型庫，客戶可直接通過vLLM進行部署。

紅帽AI通過強大的技術幫助客戶降低AI應用的成本和技能門檻，具體包括：

●   紅帽企業(yè)Linux AI（RHEL AI）：基礎模型平臺，旨在更無縫地開發(fā)、測試和運行IBM Granite系列的開源LLM，支持Linux服務器上的企業(yè)應用。

●   紅帽O(jiān)penShift AI：一個全面的AI平臺，提供工具來快速開發(fā)、訓練、服務和監(jiān)控機器學習模型，支持在分布式Kubernetes環(huán)境中的部署，無論是在本地、公有云，還是邊緣設備。

●   InstructLab：由紅帽和IBM共同創(chuàng)建的開源AI社區(qū)項目，致力于通過InstructLab的微調技術改進開源許可的Granite LLM，幫助任何人共同塑造生成式AI的未來。

Neural Magic在vLLM技術上的領導地位將進一步增強紅帽AI在混合云環(huán)境中支持LLM部署的能力，提供一個現(xiàn)成且高度優(yōu)化的開源推理架構。

此次交易需經(jīng)過相關監(jiān)管審查及其他常規(guī)完成條件。

支持證言

Matt Hicks，紅帽總裁兼CEO

“AI工作負載需要在客戶數(shù)據(jù)所在的任何地方運行，這要求平臺和工具具有靈活性、標準化和開放性，幫助企業(yè)根據(jù)其獨特的運營和數(shù)據(jù)需求選擇最合適的環(huán)境、資源和架構。我們很高興通過Neural Magic的創(chuàng)新成果，進一步完善我們的混合云AI產(chǎn)品組合，推動紅帽不僅成為開源領域的領導者，也成為AI領域的引領者?！?/p>

Brian Stevens，Neural Magic CEO

“事實一再證明，開源可以通過社區(qū)協(xié)作的力量推動創(chuàng)新。在Neural Magic，我們匯聚了業(yè)內頂尖的AI性能工程專家，專注于構建開放、跨平臺的高效LLM服務。加入紅帽不僅是文化上的契合，也將幫助各類企業(yè)，無論大小，滿足其AI轉型的需求。”

Dario Gil，IBM高級副總裁兼研究總監(jiān)

“隨著客戶在混合環(huán)境中擴展AI應用，基于開放基礎的虛擬化、云原生LLM將成為行業(yè)標準。紅帽在開源領域的領導地位，加上像IBM Granite和Neural Magic這樣的高效開源模型，為企業(yè)提供了更多選擇，并賦予他們所需的控制和靈活性，助力AI在各個平臺的擴展?！?/p>