AI/ML訓練開發(fā)出供推論使用的模型，用于識別任何需要辨識的對象。這些對象可以是智能城市街道上順暢或擁擠的交通、用于實現(xiàn)安全訪問控制的身份證件和人臉比對的許可級別、向客服中心撥打電話的對話內容，抑或是郵政分發(fā)中心中信封上的手寫地址。

訓練通常在企業(yè)數(shù)據中心或云端進行，這些環(huán)境中有眾多高效能服務器、充裕的內存、硬件加速器和高速網絡可以投入工作負載。在這種環(huán)境下，需快速完成工作的訓練使用大量供給運算、網絡鏈接和冷卻的電力。盡管推論工作負載也能在數(shù)據中心或云端執(zhí)行，但由于多種原因，越來越多推論任務正遷移至邊緣。

首先是延遲問題。將原始數(shù)據發(fā)送到云端或數(shù)據中心耗用時間，因此需要更長的時間來執(zhí)行推論，而且將想要的答案或決策發(fā)送至邊緣的時間也會增加。以工廠自動化、雷達、電子作戰(zhàn)等實時任務來說，費時過長的決策會導致高昂成本。

將推論工作負載遷移到邊緣還有另外兩個原因：運算力和電力。隨著AI/ML推論工作負載遷移到大量的邊緣裝置，這些邊緣裝置中的數(shù)百萬個推論引擎總運算力將超越數(shù)據中心服務器的運算力。另外，邊緣推論引擎并不會消耗大量電力。

為解決邊緣推論的獨特需求，采用全新運算架構的芯片將于近期問世。制造商強調，他們的組件能以更低的功耗達到頗高的TFLOPS和TOPS運算次數(shù)。盡管推論工作負載需要充裕的TFLOPS和TOPS是不爭的事實，但這些專用邊緣推論芯片基于單向架構理念，一旦考慮互相結合訓練與推論工作負載，即有可能證明這種架構不堪使用。

當前，AI/ML模型訓練工作負載主要在數(shù)據中心內的高功耗CPU和GPU上執(zhí)行，它們在此消耗大量電力，同時利用先進的冷卻技術來執(zhí)行訓練AI/ML模型所需的數(shù)萬億次運算。這種訓練幾乎普遍采用具備高動態(tài)范圍的浮點信息格式，透過允許對模型權重進行微小的增量調整來實現(xiàn)最高模型精度。浮點運算耗電更多，因而需要額外的冷卻。此外，CPU和GPU在內存和其內部運算單元之間遷移大型訓練數(shù)據集時也會消耗大量電力。

如果要使用全精度浮點信息格式完成全部運算，大多數(shù)邊緣推論芯片難以負擔如此的硅或功耗。很多公司為了獲得高峰值TFLOPS和TOPS指標而做出妥協(xié)，通常的做法是以精度略低的數(shù)據類型代表AI/ML權重、啟動和資料。邊緣AI/ML芯片的廠商會提供相關軟件工具，以降低受訓模型權重的精度，從而將模型轉換為較小數(shù)值格式，例如FP8、縮放整數(shù)，或者甚至是二進制數(shù)據格式。這些較小的數(shù)據格式可為推論工作負載帶來優(yōu)勢，但也會損失一定程度的模型精度。用降低的精度重新訓練AI/ML模型通?？梢曰謴托┰S精度。

現(xiàn)在試想一下，有一種可擴展的裝置架構，既可以部署在小型嵌入式邊緣裝置中，也可以部署在能夠聚集數(shù)據中心內執(zhí)行的工作負載的大型裝置中。這些優(yōu)化措施除幫助改善邊緣功耗和成本效率，也能令數(shù)據中心的運算更密集、更具成本效益，以便降低用于推論和訓練的設備資本與營運支出。

而支持全精度浮點格式和降精度浮點格式的AI/ML加速器可擴展架構，打破訓練與推論之間的人工界線，為統(tǒng)一架構部署相同標準和熟悉的軟件工具。這類高效率的邊緣AI加速器采用數(shù)據流和芯片廣播網絡等架構創(chuàng)新，允許從外部內存獲取的數(shù)據傳輸?shù)叫酒蠖啻沃貜褪褂谩?br/>
在一些實際的應用案例中，導向機器學習的統(tǒng)一可擴展數(shù)據流架構，打破訓練與推論不同階段之間的壁壘。以聯(lián)邦學習（Federated Learning）為例，它解鎖全新類型的AI/ML工作負載。對于眾多連結應用而言，聯(lián)邦學習可以取代透過一次性脫機訓練推導出的降精度AI/ML推論模型單向方法，并獲得由于欠缺代表的集中式脫機訓練集而難以實現(xiàn)的效能。

聯(lián)邦學習利用邊緣推論的重要特色，即裝置帶來遠超于原始模型訓練集，在眾多范圍暴露的不同輸入（inputs）。如設計得當，邊緣裝置能從額外輸入中學習，并在裝置部署過程中進一步提升其模型精度?？赡軙袛?shù)百、數(shù)千乃至數(shù)百萬個邊緣裝置共同改善相同的AI/ML模型，以提供更優(yōu)質的本地回復或決策。

以同一家廠商制造并遍布在世界各地醫(yī)院中的CT或MRI掃描儀為例。這些影像裝置的任務通常是發(fā)現(xiàn)癌癥腫瘤或其他疾病，并且能愈加采用AI/ML模型幫助放射科醫(yī)生辨別可疑組織。隨著每臺現(xiàn)場裝置不斷改進其模型，如果利用聯(lián)邦學習更新及改進原始模型，可讓用于打造新影像裝置的原始訓練模型受益于相同的改良。

進行更新時，應確保只共享來自新增邊緣訓練的洞察，而非個人隱私數(shù)據，以利所有現(xiàn)場裝置都能在不侵犯隱私的情況下從這種額外訓練中獲益。聯(lián)邦學習在隱私保護裝置個人化方面具有廣泛適用性，因其可以針對特定用戶客制化視覺算法和語音算法效能。此外，也有網絡安全應用，透過網絡入口節(jié)點的協(xié)作學習即可發(fā)現(xiàn)主動安全規(guī)則，而無需共享敏感的專用網絡流量。

統(tǒng)一的云端和邊緣運算架構優(yōu)勢在于利用相同的軟件二進制，就能將模型依邏輯劃分為執(zhí)行于云端和邊緣。統(tǒng)一架構可確保使用兼容的數(shù)據格式，以及確保優(yōu)化數(shù)據格式如稀疏性表示（sparsity representations）不會在云端和邊緣之間中斷?？蓴U展的統(tǒng)一架構與貫穿于所部署應用生命周期的持續(xù)學習，與現(xiàn)時的常規(guī)訓練與推論做法不同，因為后者依賴數(shù)據中心的CPU和GPU與邊緣專用裝置。然而，隨著AI/ML逐步普及，如果業(yè)界希望大幅提升效能、精度和能源效率，這種統(tǒng)一方式應為最合乎邏輯的途徑。

（本文作者為AMD資深副總裁Ivo Bolsens）