人工智能(AI)如今無處不在。這項革命性科技正逐漸滲透到更多領(lǐng)域，影響范圍之廣將遠超出你的想象。不管從事什么業(yè)務(wù)，每家公司似乎都或多或少與AI產(chǎn)生聯(lián)系。尤其是如今人們想方設(shè)法將AI運用到自動駕駛汽車、物聯(lián)網(wǎng)(IoT)、網(wǎng)絡(luò)安全、醫(yī)療等諸多領(lǐng)域。企業(yè)領(lǐng)導(dǎo)者應(yīng)當(dāng)深刻了解如何將AI運用到他們的產(chǎn)品之中，如果率先采用AI獲得成功，遲遲未行動的后來者將會陷入困境。

　　然而AI應(yīng)用種類各異，各有千秋。不同的應(yīng)用領(lǐng)域要求的AI技術(shù)也不盡相同。目前最受關(guān)注的應(yīng)用類別當(dāng)屬嵌入式視覺。這一領(lǐng)域的AI使用所謂的卷積神經(jīng)網(wǎng)絡(luò)(CNN)，試圖模擬人眼的運作方式。在這 篇AI白皮書中，我們主要關(guān)注視覺應(yīng)用，當(dāng)然其中許多概念也適用于其他應(yīng)用。

　　目錄

　　第一節(jié)| 網(wǎng)絡(luò)邊緣AI的要求3

　　第二節(jié)| 推理引擎的選擇5

　　第三節(jié)| 在萊迪思FPGA中構(gòu)建推理引擎7

　　第四節(jié)| 在萊迪思FPGA上構(gòu)建推理模型8

　　第五節(jié)| 兩個檢測實例10

　　第六節(jié)| 小 結(jié)13

　　網(wǎng)絡(luò)邊緣AI的要求

　　AI涉及創(chuàng)造一個工作流程的訓(xùn)練模型。然后該模型在某個應(yīng)用中對現(xiàn)實世界的情況進行推理。因此，AI應(yīng)用有兩個主要的生命階段：訓(xùn)練和推理。

　　訓(xùn)練是在開發(fā)過程中完成的，通常在云端進行。推理作為一項持續(xù)進行的活動，則是通過部署的設(shè)備完 成。因為推理涉及的計算問題會非常復(fù)雜，目前大部分都是在云端進行。但是做決策的時間通常都十分有限。向云端傳輸數(shù)據(jù)然后等待云端做出決策非常耗時。等到做出決策，可能為時已晚。而在本地做決策則能節(jié)省那寶貴的幾秒鐘時間。

　　這種實時控制的需求適用于需要快速做出決策的諸多領(lǐng)域。例如人員偵測：

　　其他實時在線的應(yīng)用包括：

　　在快速決策這種需求的推動下，目前將推理過程從云端轉(zhuǎn)移到“網(wǎng)絡(luò)邊緣”的訴求異常強烈——即在設(shè)備上收集數(shù)據(jù)然后根據(jù)AI決策采取行動。這將解決云端不可避免的延遲問題。

　　本地推理還有兩個好處。第一個就是隱私安全。數(shù)據(jù)從云端來回傳輸，以及儲存在云端，容易被入侵和盜取。但如果數(shù)據(jù)從未到達設(shè)備以外的地方，出現(xiàn)問題的幾率就小得多。

　　另一個好處與網(wǎng)絡(luò)帶寬有關(guān)。將視頻傳送到云端進行實時處理會占用大量的帶寬。而在本地做決策則能省下這部分帶寬用于其他要求較高的任務(wù)。

　　此外：

　　o 這類設(shè)備通常都是使用電池供電——或者，如果是電源直接供電，兩者都有散熱限制，從而給設(shè)備的持續(xù)使用造成限制。而與云端通信的設(shè)備需要管理自身的功耗的散熱問題。

　　o AI模型演化速度極快。在訓(xùn)練始末，模型的大小會有極大差異，并且在進入開發(fā)階段以前，可能無法很好地估算所需計算平臺的大小。此外，訓(xùn)練過程發(fā)生的細微改變就會對整個模型造成重大影響，增加了變數(shù)。所有這些使得網(wǎng)絡(luò)邊緣設(shè)備硬件大小的估計變得尤為困難。

　　o 在為特定設(shè)備優(yōu)化模型的過程中，始終伴隨著權(quán)衡。 這意味著模型在不同的設(shè)備中可能以不同的方式運行。

　　o 最后，網(wǎng)絡(luò)邊緣中的設(shè)備通常非常小。這就限制了所有AI推理設(shè)備的大小。

　　由此我們總結(jié)出以下關(guān)于網(wǎng)絡(luò)邊緣推理的幾點重要要求：

　　用于網(wǎng)絡(luò)邊緣AI推理的引擎必須：

　　? 功耗低

　　? 非常靈活

　　? 拓展性強

　　? 尺寸小

　　萊迪思的sensAI能讓你開發(fā)出完全具備以上四個特征的推理引擎。它包含了硬件平臺、軟IP、神經(jīng)網(wǎng)絡(luò)編譯器、開發(fā)模塊和開發(fā)資源，能夠助您迅速開發(fā)理想中的設(shè)計。

　　推理引擎的選擇

　　將推理引擎構(gòu)建到網(wǎng)絡(luò)邊緣設(shè)備中涉及兩個方面：開發(fā)承載模型運行的硬件平臺以及開發(fā)模型本身。

　　理論上來說，模型可以在許多不同的架構(gòu)上運行。但若要在網(wǎng)絡(luò)邊緣，尤其是在實時在線的應(yīng)用中運行模型，選擇就變少了，因為要考慮到之前提到的功耗、靈活性和擴展性等要求。

　　? MCU - 設(shè)計AI模型的最常見做法就是使用處理器，可能是GPU或者DSP，也有可能是微控制器。但是網(wǎng)絡(luò)邊緣設(shè)備上的處理器可能就連實現(xiàn)簡單的模型也無法處理。這樣的設(shè)備可能只有低端的微控制器

　　(MCU)。而使用較大的處理器可能會違反設(shè)備的功耗和成本要求，因此對于此類設(shè)備而言，AI似乎難以實現(xiàn)。

　　這正是低功耗FPGA發(fā)揮作用的地方。與增強處理器來處理算法的方式不同，萊迪思的ECP5或UltraPlus FPGA可以作為MCU的協(xié)處理器，處理MCU無法解決的復(fù)雜任務(wù)之余，將功耗保持在要求范圍內(nèi)。由于這些萊迪思FPGA能夠?qū)崿F(xiàn)DSP，它們可以提供低端MCU不具備的計算能力。

　　圖1：FPGA作為MCU的協(xié)處理器

　　? ASICS和ASSP - 對于更為成熟、大批量銷售的AI模型而言，采用ASIC或特定應(yīng)用標(biāo)準(zhǔn)產(chǎn)品(ASSP)或許是可行之道。但是由于工作負載較大，它們在實時在線的應(yīng)用中的功耗太大。

　　在此情況下，Lattice FPGA可以充當(dāng)協(xié)處理器，處理包括喚醒關(guān)鍵字的喚醒活動或粗略識別某些視頻圖像(如識別與人形相似的物體)，然后才喚醒ASIC或ASSP，識別更多語音或者確定視頻中的目標(biāo)確實是一個人(或甚至可以識別特定的人)。

　　FPGA處理實時在線的部分，這部分的功耗至關(guān)重要。然而并非所有的FPGA都能勝任這一角色，因為絕大多數(shù)FPGA功耗仍然太高，而萊迪思ECP5和UltraPlus FPGA則擁有必要的低功耗特性。

　　圖2 FPGA作為ASIC/ASSP的協(xié)處理器

　　? 單獨運行的FPGA AI引擎 - 最后，低功耗FPGA可以作為單獨運行的、完整的AI引擎。FPGA中的DSP在這里起了關(guān)鍵作用。即便網(wǎng)絡(luò)邊緣設(shè)備沒有其他的計算資源，也可以在不超出功耗、成本或電路板尺寸預(yù)算的情況下添加AI功能。此外它們還擁有支持快速演進算法所需的靈活性和可擴展性。

　　圖3 單獨使用FPGA的整合解決方案