Arm 控股有限公司（以下簡(jiǎn)稱 “Arm”）近日發(fā)布與阿里巴巴淘天集團(tuán)輕量級(jí)深度學(xué)習(xí)框架 MNN 的又一新合作。雙方經(jīng)由 Arm KleidiAI 的集成，成功讓多模態(tài)人工智能 (AI) 工作負(fù)載通過(guò)阿里巴巴經(jīng)指令調(diào)整的通義千問(wèn) Qwen2-VL-2B-Instruct 模型運(yùn)行在搭載 Arm CPU 的移動(dòng)設(shè)備上。該版本的通義千問(wèn)模型專為端側(cè)設(shè)備的圖像理解、文本到圖像的推理，以及跨多種語(yǔ)言的多模態(tài)生成而設(shè)計(jì)。此次的合作顯著提升了端側(cè)多模態(tài) AI 工作負(fù)載的性能，帶來(lái)全新的用戶體驗(yàn)。

Arm 終端事業(yè)部產(chǎn)品管理高級(jí)總監(jiān) Stefan Rosinger 表示：“我們正身處 AI 革命的浪潮之中，親眼見(jiàn)證了多模態(tài) AI 模型的興起。這些模型能夠處理并理解多種數(shù)據(jù)類(lèi)型，涵蓋文本、圖像、音頻、視頻及傳感器數(shù)據(jù)。然而，由于硬件本身的電力限制和內(nèi)存約束，加之同時(shí)處理多種數(shù)據(jù)類(lèi)型帶來(lái)的復(fù)雜性，在端側(cè)設(shè)備上部署這些先進(jìn)的多模態(tài)模型正面臨著不小的挑戰(zhàn)。”

Arm Kleidi 成為解決這些挑戰(zhàn)的理想方案，它能夠?yàn)檫\(yùn)行在 Arm CPU 上的所有 AI 推理工作負(fù)載提供無(wú)縫的性能優(yōu)化。KleidiAI 是一套輕量級(jí)且高性能開(kāi)源的 Arm 例程，專為 AI 加速而設(shè)計(jì)，目前已被集成到最新版本的主流端側(cè) AI 框架中，包括 ExecuTorch、Llama.cpp、LiteRT （通過(guò)XNNPACK）和 MediaPipe，能讓數(shù)百萬(wàn)名開(kāi)發(fā)者無(wú)需進(jìn)行額外操作，即可自動(dòng)獲取 AI 性能的顯著提升。

加速端側(cè)多模態(tài) AI 用例的響應(yīng)時(shí)間

通過(guò) KleidiAI 與 MNN 的集成，Arm 和 MNN 團(tuán)隊(duì)測(cè)量了 Qwen2-VL-2B-Instruct 模型的加速性能，結(jié)果顯示在端側(cè)的關(guān)鍵 AI 多模態(tài)應(yīng)用場(chǎng)景中，其運(yùn)行和響應(yīng)速度均有所提升。這一提升可為阿里巴巴旗下眾多以客戶為中心的應(yīng)用程序帶來(lái)更加出色的用戶體驗(yàn)。

這些用例響應(yīng)速度的提升，得益于模型預(yù)填充（指 AI 模型在生成響應(yīng)之前先對(duì)提示詞輸入進(jìn)行處理）性能提升了 57% ，以及解碼（指處理提示詞后從 AI 模型生成文本的過(guò)程）性能提升了 28%。此外，KleidiAI 集成還可以通過(guò)降低多模態(tài)工作負(fù)載的總體計(jì)算成本，進(jìn)一步促進(jìn)端側(cè)設(shè)備上 AI 工作負(fù)載的高效處理。數(shù)百萬(wàn)使用包括 MNN 框架在內(nèi)的熱門(mén) AI 框架運(yùn)行應(yīng)用程序與工作負(fù)載的開(kāi)發(fā)者，可以在針對(duì)邊緣側(cè)設(shè)備的應(yīng)用和工作負(fù)載中享受到這些性能和效率的提升。

阿里云通義大模型業(yè)務(wù)總經(jīng)理徐棟表示：“我們非常高興看到通義千問(wèn)大模型與Arm KleidiAI 及 MNN 團(tuán)隊(duì)展開(kāi)深度技術(shù)合作，通過(guò) MNN 端側(cè)推理框架和 Arm KleidiAI 的集成加速優(yōu)化，成功實(shí)現(xiàn)了大模型推理延遲的顯著降低與能效比的大幅提升。此次開(kāi)創(chuàng)性的合作不僅充分驗(yàn)證了大模型在移動(dòng)終端的實(shí)用潛力，更使用戶能夠在指尖體驗(yàn)到下一代 AI 的普惠價(jià)值。我們期待三方能夠持續(xù)攜手，以技術(shù)創(chuàng)新突破算力邊界，共同開(kāi)啟端側(cè)智能新篇章。”

阿里巴巴淘天集團(tuán)業(yè)務(wù)技術(shù) MNN 負(fù)責(zé)人姜霄棠表示：“此次 MNN 推理框架與 Arm KleidiAI 做深度技術(shù)融合，在端側(cè)大模型加速方面取得了全新突破。通過(guò)我們對(duì)底層架構(gòu)的聯(lián)合優(yōu)化，通義大模型的端側(cè)推理效率實(shí)現(xiàn)大幅提升，成功跨越了受限算力與復(fù)雜 AI 能力的技術(shù)鴻溝。這一成果既是 MNN 團(tuán)隊(duì)技術(shù)攻堅(jiān)的結(jié)晶，更是跨界協(xié)作力量的生動(dòng)詮釋。我們期待未來(lái)能持續(xù)攜手深耕端側(cè)計(jì)算生態(tài)，讓每個(gè)移動(dòng)終端都能承載更流暢、更高效、更自然的 AI 體驗(yàn)。”

在 MWC 上進(jìn)行 KleidiAI 集成演示

在今年的世界移動(dòng)通信大會(huì) (MWC) 上，Arm 在活動(dòng)展位（2 號(hào)展廳 I60 展臺(tái)）展示了此次合作的成果，該演示突出了模型如何理解視覺(jué)和文本輸入的多種組合，并對(duì)圖像中的內(nèi)容進(jìn)行提煉說(shuō)明。這項(xiàng)演示在搭載 MediaTek 天璣 9400 移動(dòng)系統(tǒng)芯片 (SoC) 的智能手機(jī)上完成，包括 vivo X200系列。

實(shí)現(xiàn)多模態(tài) AI 體驗(yàn)的飛躍

KleidiAI 和為阿里巴巴通義千問(wèn)模型支持的 MNN 框架進(jìn)行集成，成功地為運(yùn)行在搭載 Arm CPU 端側(cè)的多模態(tài) AI 工作負(fù)載帶來(lái)顯著的用戶體驗(yàn)提升。這些卓越的體驗(yàn)現(xiàn)已應(yīng)用于移動(dòng)設(shè)備，許多的面向客戶的應(yīng)用程序也已受惠于 KleidiAI 帶來(lái)的種種優(yōu)勢(shì)。展望未來(lái)，KleidiAI 針對(duì) AI 工作負(fù)載的無(wú)縫優(yōu)化將繼續(xù)賦能開(kāi)發(fā)者，助力其在端側(cè)設(shè)備上提供更加復(fù)雜的多模態(tài)體驗(yàn)。這將為下一波智能計(jì)算浪潮奠定基礎(chǔ)，并在 AI 的持續(xù)演進(jìn)中邁出令人振奮的一大步。