摘 要：近年來(lái), 物聯(lián)網(wǎng)的普及讓數(shù)以億計(jì)的移動(dòng)設(shè)備連接到互聯(lián)網(wǎng)上，在網(wǎng)絡(luò)邊緣產(chǎn)生了海量的數(shù)據(jù)，使得一種全新的計(jì)算范式———邊緣計(jì)算興起。同時(shí),得益于深度學(xué)習(xí)算法和摩爾定律的突破，使得人工智能的發(fā)展再一次迎來(lái)了高潮。在這一趨勢(shì)下，將邊緣計(jì)算與人工智能相結(jié)合是必然的，由此產(chǎn)生的新的交叉研究———邊緣智能引起了許多學(xué)者的廣泛關(guān)注。

在該綜述中，邊緣智能被分為基于邊緣計(jì)算的人工智能和基于人工智能的邊緣計(jì)算（ 即 AI on edge 和 AI for edge）兩部分。AI on edge 側(cè)重于研究如何在邊緣計(jì)算平臺(tái)上進(jìn)行人工智能模型的構(gòu)建，主要包括模型訓(xùn)練和模型推理兩部分；AI for edge側(cè)重于借助先進(jìn)的人工智能技術(shù)，為邊緣計(jì)算中的關(guān)鍵問(wèn)題提供更優(yōu)的解決方案，主要包括任務(wù)卸載和邊緣緩存兩部分。該綜述從一個(gè)廣闊的視角對(duì)邊緣智能的研究進(jìn)行了歸納總結(jié)，為涉足該領(lǐng)域的相關(guān)學(xué)者提供了一個(gè)詳細(xì)的背景知識(shí)。

關(guān)鍵詞：物聯(lián)網(wǎng)；邊緣計(jì)算；深度學(xué)習(xí)；人工智能；邊緣智能

0.引言

隨著5G技術(shù)的發(fā)展和物聯(lián)網(wǎng)（Internet of Things，IoT）的普及，網(wǎng)絡(luò)邊緣的數(shù)據(jù)由地理上分布廣泛的移動(dòng)終端和IoT設(shè)備所創(chuàng)建，這些在網(wǎng)絡(luò)邊緣生成的數(shù)據(jù)比大型云數(shù)據(jù)中心生成的數(shù)據(jù)還要多。另外，根據(jù)IDC的預(yù)測(cè)，到2025年［2］，全球物聯(lián)網(wǎng)產(chǎn)生數(shù)據(jù)的70％都要在網(wǎng)絡(luò)邊緣處理。同時(shí)，人們?cè)谌粘Ｉ钪惺褂眠@些智能終端設(shè)備時(shí)對(duì)其服務(wù)質(zhì)量的需求有了進(jìn)一步的提高［3］。因此，在這種情形下，用傳統(tǒng)的云集中式處理模式將無(wú)法高效率地處理這些網(wǎng)絡(luò)邊緣數(shù)據(jù)，也不能滿足用戶對(duì)智能終端高服務(wù)質(zhì)量的需求。具體來(lái)說(shuō)，傳統(tǒng)云計(jì)算在處理這些網(wǎng)絡(luò)邊緣數(shù)據(jù)時(shí)存在三點(diǎn)不足：①實(shí)時(shí)性不夠；②帶寬不足；③能耗較大。因此，為了解決以上問(wèn)題，更適用的方式是直接在邊緣網(wǎng)絡(luò)側(cè)處理用戶需求，這催生了一種全新的計(jì)算范式——邊緣計(jì)算（Edge Computing，EC）［4］。

EC將云服務(wù)從網(wǎng)絡(luò)核心推向更接近物聯(lián)網(wǎng)設(shè)備和數(shù)據(jù)源的網(wǎng)絡(luò)邊緣，它是一種在終端設(shè)備中分析和處理數(shù)據(jù)的技術(shù)。通過(guò)這種技術(shù)，數(shù)據(jù)可以在網(wǎng)絡(luò)邊緣進(jìn)行實(shí)時(shí)處理，以實(shí)現(xiàn)數(shù)據(jù)流加速的目的。從本質(zhì)上講，與傳統(tǒng)基于云的計(jì)算模式相比，EC使得計(jì)算和數(shù)據(jù)源之間的物理距離更加接近，大大降低了數(shù)據(jù)傳輸?shù)臅r(shí)延，緩解了網(wǎng)絡(luò)帶寬的壓力，減少了數(shù)據(jù)通信的能耗，使得用戶的服務(wù)質(zhì)量大大提升［5-7］ 。

近些年來(lái)，得益于摩爾定律的突破，使得人工智能（Artificial Intelligence，AI）的發(fā)展再一次迎來(lái)了高潮。日常生活中，熟知的 AlphaGo［8］ 、無(wú)人駕駛汽車(chē)［9］ 、智慧醫(yī)療［10］ 等， 都是AI發(fā)展的延伸?？梢哉f(shuō)，我們目前生活在一個(gè) AI蓬勃發(fā)展的時(shí)代。另外，在算法、算力、大數(shù)據(jù)等最新進(jìn)展的推動(dòng)下，深度學(xué)習(xí)（Deep Learning，DL）［11］ 作為AI領(lǐng)域最耀眼的領(lǐng)域，在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言處理等多個(gè)領(lǐng)域取得了實(shí)質(zhì)性突破。得益于這些突破，以智能個(gè)人助理、個(gè)性化購(gòu)物推薦、智能家電等為代表的一系列智能應(yīng)用迅速進(jìn)入了人們的視野，得到了巨大的青睞。

現(xiàn)代社會(huì)普遍認(rèn)為這些智能應(yīng)用極大地豐富了人們的生活方式，提高了社會(huì)生產(chǎn)效率。由于AI算法的實(shí)現(xiàn)需要大量的計(jì)算，當(dāng)前AI大部分的計(jì)算任務(wù)都是依靠部署在云及其他大規(guī)模計(jì)算資源密集的平臺(tái)上實(shí)現(xiàn)的，但考慮到大規(guī)模計(jì)算資源密集平臺(tái)與智能終端的物理距離以及網(wǎng)絡(luò)邊緣海量數(shù)據(jù)的現(xiàn)實(shí)，就極大地限制了AI帶來(lái)的便利。因此，催生了人們將EC與AI進(jìn)行結(jié)合的想法，這也就產(chǎn)生了邊緣智能（Edge Intelligence，EI）。

EI并不是將EC和AI進(jìn)行簡(jiǎn)單的結(jié)合，EI涉及到的主題十分廣泛，目前學(xué)術(shù)界還沒(méi)有給出一個(gè)統(tǒng)一的定義。但是，很多涉足EI的學(xué)者都給出了自己對(duì)EI的理解，例如，Zhou 等人認(rèn)為EI的范圍不應(yīng)該僅僅局限于邊－端上運(yùn)行AI算法，而也應(yīng)該包括在邊－云上運(yùn)行AI算法［12］ ；Zhang 等人將EI定義為使邊緣設(shè)備能夠執(zhí)行AI算法的能力［13］ ；李肯立等人將EI 定義為融合網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)、應(yīng)用核心能力的開(kāi)放平臺(tái)［14］。

處于初級(jí)階段的EI吸引了學(xué)者的廣泛關(guān)注。他們對(duì)EI的進(jìn)展做了較為全面的研究總結(jié)，例如，Zhou 等人從 AI模型的訓(xùn)練、推理以及邊－云和端－ 邊－云協(xié)作等方面對(duì) EI進(jìn)行了較為全面的闡述［12］；Chen 等人對(duì)網(wǎng)絡(luò)邊緣DL應(yīng)用的場(chǎng)景以及在網(wǎng)絡(luò)邊緣部署分布式DL算法的常見(jiàn)方法進(jìn)行了研究［15］；Wang 等人從AI 、EC各自的應(yīng)用場(chǎng)景以及二者相結(jié)合的應(yīng)用場(chǎng)景角度更加全面地介紹了EI［16］；也有一些文獻(xiàn)從AI驅(qū)動(dòng)的霧計(jì)算的角度對(duì) EI進(jìn)行了研究［17－18］。

例如，Peng和 Zhang全面總結(jié)了霧－無(wú)線電接入網(wǎng)的性能分析和無(wú)線電資源分配的最新進(jìn)展。然而，EI的主題涉及范圍廣泛，無(wú)論是起源還是性質(zhì)，這些文獻(xiàn)都沒(méi)有完全涵蓋。還有許多問(wèn)題沒(méi)有得到解決，正因?yàn)槿绱?，本文?duì)EI進(jìn)行分類(lèi)闡述，以一種簡(jiǎn)單明了的方式將EI的重點(diǎn)內(nèi)容呈現(xiàn)出來(lái)。具體來(lái)說(shuō)，本文將EI分為基于EC的 AI（AI on edge）和基于AI 的EC（AI for edge）。AI on edge可以理解為在邊緣環(huán)境中部署AI算法；AI for edge可以理解為利用AI算法解決EC中的優(yōu)化問(wèn)題，現(xiàn)有關(guān)于EI的研究都可以大致分為這兩大類(lèi)。

1.EC和AI的關(guān)系

AI和EC的結(jié)合是必然，它們之間存在著一種互動(dòng)關(guān)系。AI為EC提供解決問(wèn)題的技術(shù)和方案，而EC為AI提供釋放潛力的平臺(tái)。

1.1 AI為EC提供技術(shù)和方法

EC是一種分布式計(jì)算范式，通過(guò)構(gòu)建軟件定義的網(wǎng)絡(luò)來(lái)分散數(shù)據(jù)，提供具有魯棒性和彈性的服務(wù)。EC在不同的層次上面臨資源分配問(wèn)題，如CPU周期頻率、訪問(wèn)權(quán)限、射頻、帶寬等。因此，對(duì)各種功能強(qiáng)大的優(yōu)化算法提出了很高的要求，以提高系統(tǒng)的效率。從本質(zhì)上講，EC將真實(shí)場(chǎng)景中的優(yōu)化問(wèn)題進(jìn)行建模，然后用梯度下降方法迭代地尋找漸近最優(yōu) 解。無(wú)論是統(tǒng)計(jì)學(xué)習(xí)方法還是DL方法都可以為邊緣提供幫助。此外，包括多智能體學(xué)習(xí)、深度Ｑ－網(wǎng)絡(luò)（Deep Q－Network，DQN）在內(nèi)的強(qiáng)化學(xué)習(xí)在邊緣資源分配問(wèn)題中發(fā)揮著越來(lái)越重要的作用。

1.2 EC為AI提供場(chǎng)景和平臺(tái)

IOT設(shè)備的激增使萬(wàn)物互聯(lián)成為現(xiàn)實(shí)。除了云數(shù)據(jù)中心外，更多的數(shù)據(jù)是由邊緣網(wǎng)絡(luò)設(shè)備創(chuàng)建的。更多的應(yīng)用場(chǎng)景，如自動(dòng)駕駛、智能家居、智慧城市等，都可以極大地促進(jìn)AI從理論到實(shí)踐的實(shí)現(xiàn)。此外，通信質(zhì)量高、計(jì)算能力要求低的AI 應(yīng)用可以從云遷移到邊緣，可以說(shuō)，EC為AI提供了一個(gè)功能豐富的平臺(tái)，得以讓AI盡情地釋放其內(nèi)在潛力。

2.AI on edge

在這一部分，本文將 AI on edge的研究工作分為模型訓(xùn)練和模型推理兩部分。其中模型訓(xùn)練部分重點(diǎn)介紹目前流行的聯(lián)邦學(xué)習(xí)（Federated Learning，F(xiàn)L）在邊緣環(huán)境中的一些研究工作；在模型推理部分，本文主要介紹模型的優(yōu)化、分割以及共享三方面的工作。最后，本文對(duì)上述兩部分的工作做相應(yīng)的總結(jié)分析。

2.1 模型訓(xùn)練

在邊緣環(huán)境中，本文將在邊緣側(cè)進(jìn)行的AI模型訓(xùn)練稱之為“AI on edge ”。這種訓(xùn)練需要大量資源來(lái)進(jìn)行數(shù)據(jù)參數(shù)的交換更新，但往往存在著數(shù)據(jù)隱私暴露的風(fēng)險(xiǎn)。幸運(yùn)的是，F(xiàn)L作為一種新興的分布式學(xué)習(xí)架構(gòu)，能夠很好地解決AI on edge存在的一些問(wèn)題。對(duì)于EC中能力多樣、網(wǎng)絡(luò)條件有限的設(shè)備，F(xiàn)L可以在處理Non?IID訓(xùn)練數(shù)據(jù)時(shí)保護(hù)隱私，在高效通信、資源優(yōu)化和安全等方面具有良好的擴(kuò)展性。表1中列出了一些關(guān)于FL的工作。

丨2.1.1 標(biāo)準(zhǔn)FL

FL［19］作為端－邊－云之間的一種實(shí)用的深度學(xué)習(xí)訓(xùn)練機(jī)制而出現(xiàn)。在 FL的框架下，移動(dòng)設(shè)備被視為執(zhí)行本地訓(xùn)練的客戶端。同時(shí)，云中的終端設(shè)備、邊緣節(jié)點(diǎn)和服務(wù)器在一定條件下也可以等價(jià)地視為FL 中的客戶端。下面討論基于邊緣計(jì)算的聯(lián)邦學(xué)習(xí)基本原理。FL不需要上傳數(shù)據(jù)到中心云進(jìn)行訓(xùn)練，邊緣設(shè)備只需要使用本地?cái)?shù)據(jù)訓(xùn)練本地DL模型，然后上傳更新后的DL模型參數(shù)。在標(biāo)準(zhǔn)FL中有兩個(gè)角色：具有本地?cái)?shù)據(jù)的客戶端和負(fù)責(zé)模型聚合的聚合服務(wù)器。

整個(gè)FL的過(guò)程如下：① 請(qǐng)求一組客戶端從服務(wù)器下載初始化全局DL模型參數(shù)；② 用本地?cái)?shù)據(jù)在下載的全局模型參數(shù)上訓(xùn)練本地模型；③ 將更新后的本地模型參數(shù)上傳到服務(wù) 器，接著對(duì)本地模型參數(shù)進(jìn)行加權(quán)聚合得到全局模 型參數(shù)。如圖 1所示，根據(jù)FL中的兩個(gè)角色和EC三個(gè)層次之間的關(guān)系，有3種可行的訓(xùn)練FL的解決 方案：① 端－邊合作：邊緣節(jié)點(diǎn)代替云作為服務(wù)器， 端側(cè)作為客戶端；② 邊－云合作：邊側(cè)作為客戶端參與 FL，而云作為聚合服務(wù)器；③ 端－邊－云合作：端邊兩側(cè)作為客戶端參與FL，而云作為聚合服務(wù)器，這種方式可以結(jié)合上述兩種方式的優(yōu)點(diǎn)。

丨2.1.2 高效通信FL

在FL訓(xùn)練過(guò)程中，不用將原始數(shù)據(jù)上傳到服務(wù)器，可以說(shuō)在很大程度上降低了通信代價(jià)。但如果本地訓(xùn)練的DL模型足夠大，從邊緣設(shè)備向中心 服務(wù)器上傳模型參數(shù)也會(huì)消耗大量的通信資源。為了解決這一問(wèn)題，有學(xué)者提出讓FL邊緣設(shè)備定期地（不是持續(xù)地）與中央服務(wù)器通信，以尋求關(guān)于全局DL模型的共識(shí)［20］。此外，F(xiàn)L框架下，DL模型參數(shù)的壓縮和學(xué)習(xí)策略的創(chuàng)新也能實(shí)現(xiàn)FL高效通信的目的。例如，在文獻(xiàn)［21－22］中，提出了一種稀疏三元壓縮方法，實(shí)現(xiàn)客戶端和服務(wù)器之間參數(shù)傳輸?shù)纳舷掠瓮ㄐ艍嚎s，達(dá)到降低通信代價(jià)的目的；文獻(xiàn)［23］提出了一種異步學(xué)習(xí)策略，該學(xué)習(xí)策略將不同層次的深度神經(jīng)網(wǎng)絡(luò)分為淺層和深層，深層的參數(shù)更新頻率低于淺層。此外，在服務(wù)器上引入時(shí)間加權(quán)聚合策略，利用之前訓(xùn)練的局部模型，從而提高中心模型的準(zhǔn)確性和收斂性。

另外，與云相比，邊緣設(shè)備的計(jì)算資源非常稀缺。提高通信效率還需要考慮其他挑戰(zhàn)：① 計(jì)算資源在邊緣設(shè)備上是異構(gòu)的和有限的；② 邊緣設(shè)備上 的訓(xùn)練數(shù)據(jù)可能是Non-IID的?；诖?，文獻(xiàn)［24］推導(dǎo)出的Non-IID分布式學(xué)習(xí)的收斂界，可以保證在理論上優(yōu)化所有參與設(shè)備在給定資源預(yù)算下的聚集頻率。

丨2.1.3 資源優(yōu)化FL

當(dāng)FL將相同的神經(jīng)網(wǎng)絡(luò)模型部署到異構(gòu)的邊緣設(shè)備時(shí)，計(jì)算能力較弱的設(shè)備可能會(huì)極大地延遲全局模型的聚合。雖然將掉隊(duì)者從協(xié)作中剔除可以 在一定程度上緩解延遲問(wèn)題，但掉隊(duì)者可能會(huì)保留從非相同數(shù)據(jù)集學(xué)習(xí)到的獨(dú)特和關(guān)鍵信息，直接剔除會(huì)損害整體協(xié)作性能。因此，文獻(xiàn)［25］中提出了異構(gòu)感知FL框架Helios 來(lái)解決設(shè)備能力異構(gòu)的問(wèn)題。Helios識(shí)別單個(gè)設(shè)備的異構(gòu)訓(xùn)練能力，因此預(yù)期的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練量與協(xié)作訓(xùn)練速度有關(guān)。針對(duì)掉隊(duì)設(shè)備，提出了一種軟訓(xùn)練方法，通過(guò)旋轉(zhuǎn)神經(jīng)元訓(xùn)練方法將原始相同訓(xùn)練模型動(dòng)態(tài)壓縮到期望體積。通過(guò)廣泛的算法分析和優(yōu)化方案，可以在保持局部訓(xùn)練和聯(lián)邦協(xié)作收斂的同時(shí)，充分利用掉隊(duì)者的信息。實(shí)驗(yàn)表明，在不同的協(xié)作設(shè)置下，Helios可以提供高達(dá)2.5倍的訓(xùn)練加速度并提高4.64％的收斂精度。

同時(shí)，在移動(dòng)EC場(chǎng)景中部署FL 時(shí)，F(xiàn)L的執(zhí)行時(shí)間主要取決于客戶端數(shù)量及其計(jì)算能力。因此，為了最小化FL的訓(xùn)練時(shí)間，對(duì)FL 進(jìn)行適當(dāng)?shù)馁Y源分配不僅需要考慮FL參數(shù)（如計(jì)算通信的精度水平），還需要考慮客戶端的資源分配（如功率和CPU周期）。但是，客戶端能耗的最小化和 FL執(zhí)行時(shí)間 存在沖突。例如，客戶端可以通過(guò)始終保持低頻率的CPU 來(lái)節(jié)省能源，但這肯定會(huì)增加訓(xùn)練時(shí)間。

因此，為了在能量消耗和訓(xùn)練時(shí)間之間取得平衡，文獻(xiàn)［26］首先為每個(gè)客戶端設(shè)計(jì)了一種新的算法———FEDL，對(duì)其局部問(wèn)題進(jìn)行近似求解，直到達(dá)到局部精度水平。然后，利用帕累托效率模型，提出了無(wú)線網(wǎng)絡(luò)中FEDL的非凸資源分配問(wèn)題，以獲取客戶端能量成本和FL執(zhí)行時(shí)間之間的權(quán)衡。最后，利用該問(wèn)題的特殊結(jié)構(gòu)，將其分解為3個(gè)子問(wèn)題，并據(jù)此推導(dǎo)出閉解，表征了帕累托效率控制旋鈕對(duì)最優(yōu)解的影響。

此外，F(xiàn)L中涉及的設(shè)備數(shù)量通常很大，從數(shù)億到數(shù)百萬(wàn)不等。當(dāng)設(shè)備數(shù)量巨大時(shí)，在每輪客戶端和服務(wù)器進(jìn)行通信時(shí)，將這些設(shè)備的本地模型參數(shù)全部上傳到服務(wù)器進(jìn)行加權(quán)聚合是不現(xiàn)實(shí)的。為了解決設(shè)備數(shù)量帶來(lái)的通信壓力問(wèn)題，文獻(xiàn)［27］提出了一個(gè)經(jīng)驗(yàn)驅(qū)動(dòng)的控制框架，該框架利用強(qiáng)化學(xué)習(xí)智能地選擇客戶端設(shè)備參與每一輪的全局聚合，在減少通信輪數(shù)的情況下達(dá)到同等模型精度的實(shí)現(xiàn)。

丨2.1.4 安全增強(qiáng)FL

在分布式訓(xùn)練場(chǎng)景中，客戶端的信息交流是涉及到分布式機(jī)器學(xué)習(xí)中的隱私核心問(wèn)題。FL避免了上傳訓(xùn)練數(shù)據(jù)可能導(dǎo)致的隱私泄露，但同時(shí)也引 入了模型更新的隱私問(wèn)題?？梢砸氩罘蛛[私（Differential Privacy ,DP） 的技術(shù)，在敏感數(shù)據(jù)中添加噪聲來(lái)嚴(yán)格量化表達(dá)式控制信息的公開(kāi)，有助于降低FL訓(xùn)練更新中隱私泄露的威脅，常見(jiàn)的幾種FL 的模型如圖2所示。

為了解決FL訓(xùn)練時(shí)的隱私問(wèn)題，客戶端首先利用自己的數(shù)據(jù)計(jì)算模型參數(shù)更新，然后進(jìn)行差分隱私處理，最后上傳處理后的模型參數(shù)并進(jìn)行模型 聚合。從另一個(gè)角度來(lái)看，聚合服務(wù)器對(duì)訓(xùn)練設(shè)備也不應(yīng)該完全信任，因?yàn)閷?duì)手可能會(huì)毒害他們的訓(xùn)練數(shù)據(jù)或直接篡改模型更新，從而導(dǎo)致對(duì)全局模型的破壞。為了使FL能夠容忍擁有中毒數(shù)據(jù)集的少量設(shè)備參與訓(xùn)練，魯棒聯(lián)邦優(yōu)化［28］定義了一個(gè)修剪的平均操作。通過(guò)過(guò)濾有毒設(shè)備產(chǎn)生的值和正常設(shè)備中的自然離群值，實(shí)現(xiàn)了魯棒聚合，保護(hù)全局模型不受中毒數(shù)據(jù)的影響。

除故意攻擊外，還應(yīng)關(guān)注不可預(yù)測(cè)的網(wǎng)絡(luò)條件和計(jì)算能力給安全帶來(lái)的被動(dòng)不利影響。無(wú)線通信噪聲不可避免地阻礙了訓(xùn)練設(shè)備與聚合服務(wù)器之間的信息交換，這可能對(duì)訓(xùn)練延遲和模型可靠性產(chǎn)生重大影響。在文獻(xiàn)［29］中，提出了基于期望模型和最壞情況模型下的并行優(yōu)化問(wèn)題，并分別采用正則化的損失函數(shù)逼近算法和基于抽樣的逐次凸逼近算法求解這兩個(gè)模型。理論分析表明，該方法具有可接受的收斂速度；仿真結(jié)果表明，該方法提高了模型精度，降低了損耗函數(shù)。

反過(guò)來(lái)，F(xiàn)L中聚合服務(wù)器的故障也可能導(dǎo)致不準(zhǔn)確的全局模型更新，從而污染所有本地模型參數(shù)的更新過(guò)程。此外，數(shù)據(jù)樣本數(shù)量較多的邊緣設(shè)備可能不太愿意與貢獻(xiàn)較少的其他設(shè)備一起參與FL。因此，在文獻(xiàn)［30］中，提出了將區(qū)塊鏈和FL結(jié)合為Block FL，以實(shí)現(xiàn)：① 在每個(gè)邊緣設(shè)備而不是特定服務(wù)器上進(jìn)行局部全局模型更新，確保在更新全局模型時(shí)，設(shè)備故障不會(huì)影響其他局部更新；② 刺激邊緣裝置參與FL的適當(dāng)獎(jiǎng)勵(lì)機(jī)制。

2.2 模型推理

隨著對(duì)精度要求的提高，深度神經(jīng)網(wǎng)絡(luò)（DNN）的層數(shù)也越來(lái)越深，如此就需要更大規(guī)模的數(shù)據(jù)集，這樣會(huì)造成昂貴的計(jì)算費(fèi)用。因此，之前的 AI模型都是部署在高性能的云計(jì)算平臺(tái)上，而終端設(shè)備只是將輸入數(shù)據(jù)發(fā)送到云端，然后等待AI推理結(jié)果。然而，僅云推理限制了AI服務(wù)的部署。此外，對(duì)于重要的數(shù)據(jù)源，應(yīng)解決數(shù)據(jù)安全和隱私保護(hù)問(wèn)題。為了解決這些問(wèn)題，AI服務(wù)往往訴諸EC。因此，AI模型需要進(jìn)一步定制，以適應(yīng)資源受限的邊緣，同時(shí)仔細(xì)處理其推理精度和執(zhí)行延遲之間的權(quán)衡。本小節(jié)從模型優(yōu)化、模型分割以及模型共享三方面對(duì)模型推理做了詳細(xì)的闡述。

丨2.2.1 模型優(yōu)化AI

任務(wù)通常是計(jì)算密集型的，需要很大的內(nèi)存占用。但在邊緣，沒(méi)有足夠的資源來(lái)支持原始的大規(guī)模AI模型。優(yōu)化AI 模型并量化其權(quán)重可以降低資源成本。下面討論3種常用的模型優(yōu)化方法。

(1) 參數(shù)剪枝與共享

大量的參數(shù)是制約AI模型訓(xùn)練效率的重要因素。因此，為了實(shí)現(xiàn)更高效、快速的AI模型訓(xùn)練，一些研究者對(duì)AI模型進(jìn)行了參數(shù)剪枝和共享的優(yōu)化。文獻(xiàn)［31］中提出了緩存相鄰層之間的中間數(shù)據(jù)，以減少數(shù)據(jù)移動(dòng)。此外，像二值化一樣的量化也是一個(gè)很好的分支。在XNOR-Net ［32］中，不僅濾波器近似于二進(jìn)制值，卷積層的輸入也是二進(jìn)制的。卷積主要是用二元運(yùn)算來(lái)近似的。這些措施提供了58倍的加速，同時(shí)在某些數(shù)據(jù)集（如CIFAR-10）上實(shí)現(xiàn)了類(lèi)似的精度。

(2) 傳輸/緊湊卷積濾波器

為了實(shí)現(xiàn)AI模型的優(yōu)化，可以設(shè)計(jì)一種特殊結(jié)構(gòu)的卷積濾波器來(lái)節(jié)省參數(shù)。但該方法只適用于卷積層。在文獻(xiàn)［33］中，提出的SqueezeNet 比AlexNet 的參數(shù)減少了50倍，且在ImageNet上實(shí)現(xiàn)了相同的精度水平。減少參數(shù)的方法是用1×1濾波器代替3 × 3濾波器，并減少輸入通道的數(shù)量。同時(shí)，在網(wǎng)絡(luò)后期進(jìn)行降采樣是為了使精度最大化。

(3) 知識(shí)蒸餾

文獻(xiàn)［34］中首次提出了知識(shí)蒸餾的概念，它是一種將知識(shí)從復(fù)雜的AI模型轉(zhuǎn)移到緊湊的AI模型的方法。一般來(lái)說(shuō)，復(fù)雜的AI模型是強(qiáng)大的，而緊 湊的AI模型更靈活和高效。知識(shí)蒸餾可以利用一個(gè)復(fù)雜的AI模型來(lái)訓(xùn)練一個(gè)緊湊的AI模型，使其具有與復(fù)雜 AI模型相似的性能。這些方法可以應(yīng)用于不同類(lèi)型DNN或組合來(lái)優(yōu)化復(fù)雜的邊緣AI模型。

丨2.2.2 模型分割

以往，大多數(shù)智能應(yīng)用程序只在云中執(zhí)行，而邊緣設(shè)備只扮演收集和上傳數(shù)據(jù)的角色。如今，隨著技術(shù)的進(jìn)步，邊緣設(shè)備有了更好的硬件配置，研究人員開(kāi)始思考是否通過(guò)深度學(xué)習(xí)模型的分割將部分或全部計(jì)算任務(wù)推到邊緣。這樣可以將大量的計(jì)算任務(wù)分解成不同的部分，不同的設(shè)備可以協(xié)同解決問(wèn)題。

在文獻(xiàn)［35］中，對(duì)最先進(jìn)的AI模型在云和邊 緣設(shè)備上的延遲和功耗進(jìn)行了評(píng)估，發(fā)現(xiàn)將數(shù)據(jù)上 傳到云是當(dāng)前AI服務(wù)方法的瓶頸（導(dǎo)致傳輸開(kāi)銷(xiāo)很大）。劃分AI模型并進(jìn)行分布式計(jì)算，可以獲得更好的端到端延遲性能和能源效率。此外，通過(guò)將部分DL任務(wù)從云推送到邊緣，可以提高云的吞吐量。

最常用的一種分割方法是將AI模型水平分割，即沿端－邊－云進(jìn)行分割。數(shù)據(jù)分析的過(guò)程通常分為兩部分［36］，一部分在邊緣處理，另一部分在云中處理。由于上傳數(shù)據(jù)減少了中間數(shù)據(jù)，這樣既減少了邊緣與云之間的網(wǎng)絡(luò)流量，又避免了數(shù)據(jù)傳輸中安全隱私泄露的風(fēng)險(xiǎn).

另一種模型分割方法是垂直分割，特別是CNN。相對(duì)于水平分區(qū)，垂直分區(qū)將層進(jìn)行融合，以網(wǎng)格的方式進(jìn)行垂直分區(qū)，將CNN各層劃分為獨(dú)立的可分布計(jì)算任務(wù)。Deep Things［37］利用了一種名為“融合TilesPartitioning（FTP）”的新方法，融合層以網(wǎng)格方式垂直劃分。實(shí)驗(yàn)結(jié)果表明，在不降低精度的情況下，F(xiàn)TP至少可以將內(nèi)存占用減少到32％。同樣，J.Zhang的團(tuán)隊(duì)在文獻(xiàn)［38］中為本地分布式移動(dòng)計(jì)算設(shè)計(jì)了一個(gè)框架，提出了一種通用的神經(jīng)網(wǎng)絡(luò)層分割工具，測(cè)試了一些常見(jiàn)的神經(jīng)網(wǎng)絡(luò)，其中Google Net 的實(shí)驗(yàn)得到了最好的性能，該系統(tǒng)幾乎 將總延遲減少了一半。

丨2.2.3 模型共享

AI的計(jì)算往往是復(fù)雜的，密集的計(jì)算是對(duì)設(shè)備資源的巨大考驗(yàn)。然而，AI計(jì)算具有高度的邏輯性，使得不同的DL操作過(guò)程具有一定的相關(guān)性。因此，如何利用DL操作的相關(guān)性成為優(yōu)化AI模型的出發(fā)點(diǎn)。對(duì)于AI計(jì)算的共享，一種思路是對(duì)推理結(jié)果進(jìn)行緩存和重用，以避免冗余操作，該思路在一些場(chǎng)景中取得了良好的實(shí)踐效果。

邊緣節(jié)點(diǎn)覆蓋范圍內(nèi)附近用戶的請(qǐng)求可能表現(xiàn)出時(shí)空局域性［39］。例如，同一區(qū)域內(nèi)的用戶可能會(huì) 請(qǐng)求對(duì)同一感興趣的對(duì)象進(jìn)行識(shí)別任務(wù)，這可能會(huì)引入DL推理的冗余計(jì)算。在這種情況下，Cachier ［39］在對(duì)應(yīng)用進(jìn)行離線分析和在線估計(jì)網(wǎng)絡(luò)條件的基礎(chǔ)上，提出將識(shí)別應(yīng)用的相關(guān)AI模型緩存到邊緣節(jié)點(diǎn)，并通過(guò)動(dòng)態(tài)調(diào)整其緩存大小來(lái)最小化預(yù)期的端到端延遲。因此，當(dāng)緩存中的AI模型能夠滿足請(qǐng)求的要求時(shí)，可以直接從緩存中獲取AI模型進(jìn)行使用。通過(guò)這種方式，可以通過(guò)使用緩存和重用來(lái)避免冗余操作。

此外，為了繼續(xù)進(jìn)行有效的緩存和結(jié)果重用，必須解決可重用結(jié)果的精確查找問(wèn)題，即緩存框架必須系統(tǒng)地容忍變化并評(píng)估關(guān)鍵的相似性。Foggy Cache［40］首先將異構(gòu)原始輸入數(shù)據(jù)嵌入到具有通用表示的特征向量中；然后，提出了自適應(yīng)局部敏感哈希（Adaptive Locality Sensitive Hashing，A-LSH），即一種常用來(lái)索引高維數(shù)據(jù)的局部敏感哈希的變體， 對(duì)這些向量進(jìn)行索引，以實(shí)現(xiàn)快速準(zhǔn)確的查找；最后，基于Ｋ?緊鄰（k-Nearest Neighbor，KNN） 實(shí)現(xiàn)均勻化，利用緩存的值去除離群值，確保初始選擇的K條記錄之間存在主導(dǎo)聚類(lèi)，從而確定A-LSH查詢記錄的重用輸出。因此，通過(guò)對(duì)可重用結(jié)果的精確查找和計(jì)算結(jié)果的緩存，可以減少AI模型的計(jì)算量，減輕對(duì)硬件資源的壓力。

與共享推理結(jié)果不同的是，文獻(xiàn)［41］通過(guò)不同AI模型之間的共享來(lái)減少計(jì)算量。通過(guò)考慮訓(xùn)練樣本之間的相關(guān)性，作者提出了同一目標(biāo)區(qū)域內(nèi)的 遷移學(xué)習(xí)算法，即如果一個(gè)目標(biāo)區(qū)域內(nèi)存在多個(gè)相關(guān)的AI模型，那么一個(gè)AI模型的訓(xùn)練也可以使其他相關(guān)的AI模型受益。該方法通過(guò)共享訓(xùn)練良好的AI模型，減少了未訓(xùn)練的AI模型在同一目標(biāo)區(qū)域的AI計(jì)算量。

2.3 目前面臨的挑戰(zhàn)

盡管AI on edge的工作研究很多，但也存在一些很明顯的挑戰(zhàn)。本文分別從數(shù)據(jù)可用性、模型訓(xùn)練、協(xié)調(diào)機(jī)制和性能指標(biāo)四方面列舉了AI on edge的重大挑戰(zhàn)。

數(shù)據(jù)質(zhì)量

數(shù)據(jù)的可用性是一切模型訓(xùn)練的基礎(chǔ)。首先，對(duì)于提供原始數(shù)據(jù)的用戶需要提供一定的激勵(lì)才能獲得更加有用的真實(shí)數(shù)據(jù)，所以對(duì)提供數(shù)據(jù)的用戶設(shè)計(jì)合理的激勵(lì)機(jī)制是十分重要的。否 則，原始數(shù)據(jù)可能無(wú)法用于模型訓(xùn)練和推斷。此外，來(lái)自各個(gè)終端設(shè)備的原始數(shù)據(jù)可能會(huì)有明顯的偏差，這將極大地影響學(xué)習(xí)性能。盡管聯(lián)合學(xué)習(xí)可以 克服Non?IID所帶來(lái)的問(wèn)題，在一定程度上，訓(xùn)練過(guò)程在設(shè)計(jì)魯棒通信協(xié)議方面仍面臨很大困難。因此，在數(shù)據(jù)可用性方面存在著巨大的挑戰(zhàn)。

模型訓(xùn)練

目前，從模型本身到訓(xùn)練框架和硬件，AI 模型的訓(xùn)練面臨著以下兩方面的嚴(yán)峻挑戰(zhàn)。第一，基于AI模型時(shí)效的考量，如何確定合適的模 型學(xué)習(xí)精度閾值，以利于AI模型的快速交付和部署；第二，如何在有限的資源下選擇探索性訓(xùn)練框架和加速器架構(gòu)。模型選擇、資源配置和管理耦合，問(wèn)題復(fù)雜而富有挑戰(zhàn)性。

協(xié)調(diào)機(jī)制

考慮到異構(gòu)設(shè)備之間的計(jì)算能力和通信資源的差異，得到的AI模型無(wú)法在所有的設(shè)備適用，這可能會(huì)導(dǎo)致相同的方法在不同的移動(dòng)設(shè)備 集群中獲得不同的學(xué)習(xí)結(jié)果。因此，考慮異構(gòu)邊緣 器件之間的兼容性和協(xié)調(diào)具有重要的意義。所以，在端－邊－云之間設(shè)計(jì)一種協(xié)調(diào)機(jī)制是十分必要的， 這種機(jī)制將為不同的邊緣設(shè)備提供一個(gè)統(tǒng)一的API接口。

性能指標(biāo)

由于EC網(wǎng)絡(luò)的不確定性特征（無(wú)線信道質(zhì)量變化、并發(fā)業(yè)務(wù)請(qǐng)求不可預(yù)測(cè)等），常用的標(biāo)準(zhǔn)性能指標(biāo)（如Top?k精度或平均精度）不能反 映邊緣環(huán)境中AI模型推理的運(yùn)行性能。因此，這將導(dǎo)致無(wú)法準(zhǔn)確量化和比較不同AI模型的性能。除了模型精度之外，推理延遲、資源消耗和服務(wù)收入也是關(guān)鍵指標(biāo)。由于服務(wù)類(lèi)型和應(yīng)用場(chǎng)景的不同，一個(gè)邊緣AI服務(wù)往往涉及多個(gè)指標(biāo)，這時(shí)就會(huì)出現(xiàn)一個(gè)新的問(wèn)題，即多個(gè)指標(biāo)之間的權(quán)衡。由于EI服務(wù)的特點(diǎn)，不同的指標(biāo)對(duì)服務(wù)的影響也不同。然而，如何準(zhǔn)確地平衡多個(gè)指標(biāo)，使綜合績(jī)效最大化，已成為定量EI服務(wù)性能的關(guān)鍵。因此需要識(shí)別EI的關(guān)鍵性能指標(biāo)，并探索這些指標(biāo)之間的權(quán)衡，以幫助提高EI部署的效率。

3.AI for edge

在這一部分，將AI for edge的研究工作分為任務(wù)卸載和邊緣緩存兩部分。

3.1 任務(wù)卸載

邊緣計(jì)算允許邊緣設(shè)備在能量、延遲、計(jì)算能力等約束下，將部分計(jì)算任務(wù)卸載給邊緣節(jié)點(diǎn)［42］。但如圖3所示，存在如下一些挑戰(zhàn)：① 當(dāng)一個(gè)邊緣設(shè)備處于多個(gè)邊緣節(jié)點(diǎn)的服務(wù)范圍時(shí)，如何選擇合適的節(jié)點(diǎn)進(jìn)行任務(wù)卸載；②對(duì)于有一定計(jì)算資源的邊緣設(shè)備，需要平衡在本地和在邊緣節(jié)點(diǎn)執(zhí)行任務(wù)時(shí)的資源消耗和延遲程度，以此達(dá)到一個(gè)最優(yōu)的執(zhí)行策略；③由于應(yīng)用程序服務(wù)的多樣性，邊緣設(shè)備也需要處理各種各樣的任務(wù)。但是，不同類(lèi)型的任務(wù)對(duì)資源的需求不同。因此，對(duì)各種資源的分配也是一個(gè)挑戰(zhàn)。

解決這類(lèi)任務(wù)卸載問(wèn)題是NP?hard［43］，因?yàn)橹辽傩枰Y(jié)合優(yōu)化通信和計(jì)算資源以及邊緣設(shè)備的競(jìng)爭(zhēng)。特別是，優(yōu)化需要考慮無(wú)線環(huán)境的時(shí)變（如信道質(zhì)量的變化）和任務(wù)卸載的要求，因此需要使用學(xué)習(xí)方法。在所有與基于學(xué)習(xí)的優(yōu)化方法相關(guān)的工作中，當(dāng)有多個(gè)邊緣節(jié)點(diǎn)和無(wú)線信道可進(jìn)行計(jì)算卸載時(shí)，基于DL的方法比其他方法更具有優(yōu)勢(shì)。下面介紹兩種基于DL的方法。

丨3.1.1 DNN用例

為了更高效地利用網(wǎng)絡(luò)資源，在DNN的基礎(chǔ)上研究者提出了許多高效卸載方案。例如，文獻(xiàn)［44］提出了一種將DNN劃分為多個(gè)分區(qū)的技術(shù)，這些分區(qū)可以在本地由終端設(shè)備處理，也可以卸載到一個(gè)或多個(gè)強(qiáng)大的節(jié)點(diǎn)上。文獻(xiàn)［45］采用最短路徑法 和懲罰因子法確定DNN分區(qū)，并在每個(gè)DNN分區(qū)到達(dá)時(shí)增量構(gòu)建DNN模型，允許客戶端在上傳整個(gè)DNN 模型之前就開(kāi)始部分上傳，從而提高查詢性能；基于上傳開(kāi)銷(xiāo)罰因子法，文獻(xiàn)［46］提出了一種增強(qiáng)分區(qū)法，該方法利用客戶端與云／邊緣服務(wù)器之 間的DNN執(zhí)行圖上的最短路徑法對(duì)DNN層進(jìn)行分區(qū)，生成更細(xì)粒度的上傳計(jì)劃；文獻(xiàn)［47］將DNN最優(yōu)計(jì)算調(diào)度問(wèn)題轉(zhuǎn)化為移動(dòng)云計(jì)算環(huán)境下的最短路徑問(wèn)題和整數(shù)線性規(guī)劃（ICP），并通過(guò)層粒度優(yōu)化 公式對(duì)DNN架構(gòu)進(jìn)行劃分，從而實(shí)現(xiàn)移動(dòng)設(shè)備和云之間的協(xié)同計(jì)算。

文獻(xiàn)［48］提出了一種端邊云協(xié)同 環(huán)境下的DN推理加速高效卸載方案（Eos DNN），其中DNN推理加速主要體現(xiàn)在遷移延遲的優(yōu)化和實(shí)時(shí)DNN查詢的實(shí)現(xiàn)。此外，文獻(xiàn)［49］研究了關(guān)于區(qū)塊鏈的一個(gè)特殊卸載場(chǎng)景。邊緣設(shè)備上挖掘任務(wù)的計(jì)算和能量消耗 可能會(huì)限制區(qū)塊鏈在EC網(wǎng)絡(luò)中的實(shí)際應(yīng)用。當(dāng)然，這些挖掘任務(wù)可以從邊緣設(shè)備卸載到邊緣節(jié)點(diǎn)，但這可能導(dǎo)致邊緣資源分配不公平。

丨3.1.2 DRL用例

雖然將計(jì)算任務(wù)卸載到邊緣節(jié)點(diǎn)可以提高計(jì)算任務(wù)的處理效率，但由于無(wú)線環(huán)境的潛在質(zhì)量較低，卸載的可靠性受到影響。在文獻(xiàn)［50］中，為了使卸載效用最大化，作者首先量化了各種通信模式對(duì)任務(wù)卸載性能的影響，并據(jù)此提出了應(yīng)用DQL（Deep Q?Learning）在線選擇最優(yōu)目標(biāo)邊緣節(jié)點(diǎn)和傳輸模式的方法。文獻(xiàn)［51］不僅考慮了延遲違反概率，還 考慮了解碼錯(cuò)誤概率，指出了傳輸數(shù)據(jù)的編碼速率是使卸載達(dá)到要求的可靠性水平的關(guān)鍵；考慮了編碼塊長(zhǎng)度的影響，提出了計(jì)算資源分配的馬爾可夫決策過(guò)程（MDP），以提高平均卸載可靠性。

此外，還有不少文獻(xiàn)討論了邊緣設(shè)備細(xì)粒度計(jì)算資源的調(diào)度問(wèn)題，主要涉及到任務(wù)卸載中的能量收集問(wèn)題。例如，文獻(xiàn)［52］使用DDQL提出了一種最佳的動(dòng)態(tài)電壓頻率縮放算法，實(shí)驗(yàn)結(jié)果顯示與 DQL相比，DDQL可以節(jié)省更多的能量，實(shí)現(xiàn)更高的卸載效率。與之前基于DQL 的離散功率控制策略不同，文獻(xiàn)［53］提出了一種具有連續(xù)動(dòng)作空間（而非離散動(dòng)作空間）的DRL方法DDPG，對(duì)局部執(zhí)行和任務(wù)卸載進(jìn)行更細(xì)粒度的功率控制。該方法可以自適應(yīng)地分配邊緣設(shè)備的功率，以使其長(zhǎng)期平均成本最小，數(shù)值仿真驗(yàn)證了該方法相對(duì)于基于DQL的離散功率控制策略的優(yōu)越性。

3.2 邊緣緩存

隨著各類(lèi)智能終端設(shè)備的興起，多媒體應(yīng)用、手機(jī)游戲、社交應(yīng)用等服務(wù)也得到了快速發(fā)展。這一趨勢(shì)在給網(wǎng)絡(luò)架構(gòu)帶來(lái)越來(lái)越大流量壓力的同時(shí)，也展示了一個(gè)有趣的特性，即相同的內(nèi)容經(jīng)常被同一區(qū)域的設(shè)備多次請(qǐng)求。這一特性促使研究人員考慮如何緩存內(nèi)容，以實(shí)現(xiàn)對(duì)請(qǐng)求的快速響應(yīng)，并減少網(wǎng)絡(luò)上的流量負(fù)載。從內(nèi)容交付網(wǎng)絡(luò)到蜂窩網(wǎng)絡(luò)的 內(nèi)容緩存，網(wǎng)絡(luò)中的內(nèi)容緩存研究從未停歇，以此來(lái)應(yīng)對(duì)不斷增長(zhǎng)的多媒體業(yè)務(wù)需求。邊緣緩存［54］ 符合向用戶推送內(nèi)容的理念，被認(rèn)為是進(jìn)一步減少冗余數(shù)據(jù)傳輸、緩解云數(shù)據(jù)中心壓力、提高QoE（Quality of Experience ） 的一種很有前景的解決方案。

邊緣緩存可以利用地理位置上離用戶較近的邊緣節(jié)點(diǎn)緩存熱點(diǎn)內(nèi)容，從而實(shí)現(xiàn)對(duì)服務(wù)范圍內(nèi)請(qǐng)求 的快速響應(yīng)。因此，邊緣緩存不僅可以實(shí)現(xiàn)更快的請(qǐng)求響應(yīng)，還可以減少網(wǎng)絡(luò)中相同內(nèi)容的重復(fù)傳輸。然而，邊緣緩存也面臨許多挑戰(zhàn)。通常，邊緣緩存需要解決兩個(gè)密切相關(guān)的問(wèn)題：①邊緣節(jié)點(diǎn)覆蓋范圍內(nèi)熱門(mén)內(nèi)容的分布難以估計(jì)，可能會(huì)隨時(shí)空變化而不同，并發(fā)生變化［55］；② 針對(duì)EC環(huán)境中海量異構(gòu)設(shè)備的特點(diǎn)，層級(jí)化的緩存體系結(jié)構(gòu)和復(fù)雜的網(wǎng)絡(luò)特性使內(nèi)容緩存策略的設(shè)計(jì)更加困難［56］。具體來(lái)說(shuō)，只有當(dāng)內(nèi)容流行度分布已知時(shí)，才能推導(dǎo)出最佳邊緣緩存策略。然而，用戶對(duì)內(nèi)容的偏好實(shí)際上是未知的，因?yàn)樗麄兊囊苿?dòng)性、個(gè)人偏好和連通性可能 一直在變化。在本小節(jié)中，將討論用于確定邊緣緩存策略的DL學(xué)習(xí)算法。

丨3.2.1 DNN用例

傳統(tǒng)的緩存方法通常計(jì)算復(fù)雜度較高，因?yàn)樗鼈冃枰罅康脑诰€優(yōu)化迭代來(lái)確定用戶和內(nèi)容的特 征以及內(nèi)容放置和傳遞策略。

① DL可以用來(lái)處理從用戶的移動(dòng)設(shè)備上收集到的原始數(shù)據(jù)，從而提取用戶和內(nèi)容的特征，作為基于特征的內(nèi)容流行矩陣。這個(gè)流行度矩陣可以量化用戶和內(nèi)容的流行度，為緩存決策提供數(shù)字基礎(chǔ)。例如，文獻(xiàn)［57］提出在FL的框架下使用自動(dòng)編碼器實(shí)現(xiàn)用戶信息和文件信息的特征提取，然后根據(jù)相似度矩陣給出推薦的緩存列表。

② 在使用DNN優(yōu)化邊緣緩存策略時(shí)，可以通過(guò)離線訓(xùn)練避免在線繁重的計(jì)算迭代。DNN由一個(gè)用于數(shù)據(jù)正則化的編碼器和后面的隱藏層組成， 可以用最優(yōu)或啟發(fā)式算法生成的解進(jìn)行訓(xùn)練并部署，以確定緩存策略［58］，從而避免在線優(yōu)化迭代。類(lèi)似地，在文獻(xiàn)［59］中，受部分緩存刷新優(yōu)化問(wèn)題 的輸出具有某些模式的啟發(fā)，訓(xùn)練 MLP接收當(dāng)前內(nèi)容流行度和最后一次內(nèi)容放置概率作為輸入，以生成緩存刷新策略。

雖然可以設(shè)計(jì)和實(shí)現(xiàn)基于DNN的緩存內(nèi)容放置 和傳遞策略，但仍存在一些不足。如文獻(xiàn)［58－59］所示，優(yōu)化算法的復(fù)雜性可以轉(zhuǎn)移到DNN 的訓(xùn)練中， 從而打破了使用優(yōu)化算法的實(shí)際局限性。在這種情 況下，DL用于學(xué)習(xí)輸入———解關(guān)系，而基于DNN的方法只有在原始緩存問(wèn)題存在優(yōu)化算法時(shí)才可用。因此，基于DNN方法的性能受固定的優(yōu)化算法限 制，不具有自適應(yīng)性。

此外，DL還可以用于定制邊緣緩存。例如，為了最小化自動(dòng)駕駛汽車(chē)的內(nèi)容下載延遲，在云中部署一個(gè) MLP來(lái)預(yù)測(cè)需要請(qǐng)求的內(nèi)容的流行程度，然后將 MLP 的輸出發(fā)送到邊緣節(jié)點(diǎn)（即文獻(xiàn)［60］中RSu的 MEC服務(wù)器），最后根據(jù)這些輸出，每個(gè)邊緣節(jié)點(diǎn)緩存最有可能被請(qǐng)求的內(nèi)容。

但是，對(duì)于不同特征的用戶，他們對(duì)內(nèi)容的偏好是不同的。因此，可以將用戶深度劃分為不同的類(lèi)別，然后探究每個(gè)類(lèi)別中用戶的偏好，這對(duì)提高內(nèi)容緩存的命中率有積極的影響。在自動(dòng)駕駛汽車(chē)方面，CNN被選中預(yù)測(cè)車(chē)主的年齡和性別。一旦識(shí)別出車(chē)主的這些特征，就使用Ｋ?means聚類(lèi)和二值分類(lèi)算法來(lái)確定哪些已經(jīng)緩存在邊緣節(jié)點(diǎn)的內(nèi)容需要進(jìn)一步從邊緣節(jié)點(diǎn)下載并緩存到汽車(chē)上。此外，文獻(xiàn)［61］在充分利用用戶特性方面指出，在不同的環(huán)境中，用戶訪問(wèn)內(nèi)容的意愿是不同的。受此啟發(fā)，RNN被用來(lái)預(yù)測(cè)用戶的軌跡。然后根據(jù)這些預(yù)測(cè)，將所有用戶感興趣的內(nèi)容預(yù)取并提前緩存到每個(gè)預(yù)測(cè)位置的邊緣節(jié)點(diǎn)。

丨3.2.2 DRL用例

上節(jié)中描述的DNN功能可以看作是整個(gè)邊緣 緩存解決方案的一部分，即 DNN本身并不處理整個(gè)優(yōu)化問(wèn)題。與這些基于DNN的邊緣緩存不同，DRL可以利用用戶和網(wǎng)絡(luò)的上下文環(huán)境，以自適應(yīng)策略最大化長(zhǎng)期緩存性能作為優(yōu)化方法的主體。

與傳統(tǒng)的RL，如Q?learning［62］和Multi-ArmedBandit（MAB） Learning［55］相比，DRL的優(yōu)勢(shì)在DNN可以從原始觀測(cè)數(shù)據(jù)中學(xué)習(xí)關(guān)鍵特征。結(jié)合RL和DL的集成DRL agent 可以直接從高維觀測(cè)數(shù)據(jù)中優(yōu)化EC網(wǎng)絡(luò)的緩存管理策略。

文獻(xiàn)［63］使用DDPG來(lái)訓(xùn)練DRL代理，以最大化長(zhǎng)期緩存命中率，做出適當(dāng)?shù)木彺嫣鎿Q決策。該工作考慮單個(gè)BS場(chǎng)景，在該場(chǎng)景中，DRL代理決定是緩存請(qǐng)求的內(nèi)容還是替換緩存的內(nèi)容。在訓(xùn)練DRL代理時(shí)，獎(jiǎng)勵(lì)被設(shè)計(jì)為緩存命中率。此外，利用Wolpertinger架構(gòu)［64］來(lái)應(yīng)對(duì)大行動(dòng)空間的挑戰(zhàn)。具體來(lái)說(shuō)，首先為DRL代理設(shè)置一個(gè)主要操作集，然后使用KNN將實(shí)際操作輸入映射到該集合中的一個(gè)。通過(guò)這種方式，操作空間被有意地縮小，而不 會(huì)丟失最優(yōu)的緩存策略。與基于DQL的算法搜索 整個(gè)動(dòng)作空間相比，經(jīng)過(guò)訓(xùn)練的DRL代理與DDPG和 Wolpertinger體系結(jié)構(gòu)相比，能夠在降低運(yùn)行時(shí) 間的同時(shí)實(shí)現(xiàn)具有競(jìng)爭(zhēng)力的緩存命中率。

另外，考慮到流行內(nèi)容的時(shí)變性，文獻(xiàn)［65］使用Wolpertinger 架構(gòu)的深度強(qiáng)化學(xué)習(xí)框架研究無(wú)線網(wǎng)絡(luò)邊緣的內(nèi)容緩存。特別地，提出了基于深度行為者－批評(píng)強(qiáng)化學(xué)習(xí)的集中和分散內(nèi)容緩存策略。仿真結(jié)果驗(yàn)證了該策略相比最少使用策略（LFU）、最少最近使用策略（LRU）和先進(jìn)先出策略（FIFO）具有很強(qiáng)的優(yōu)越性。

3.3 目前面臨的挑戰(zhàn)

雖然AI for edge 的應(yīng)用比較廣泛，但也存在一些挑戰(zhàn)。本節(jié)從系統(tǒng)建模、算法部署、優(yōu)化與效率的平衡和資源編排四個(gè)方面列舉了AI on edge 的重大挑戰(zhàn)。

系統(tǒng)建模

使用AI方法進(jìn)行系統(tǒng)建模時(shí)，公式化模型的數(shù)量必須是有限的。但模型數(shù)量的有限，使得一些以SGD和MBGD優(yōu)化基礎(chǔ)的AI算法可能無(wú)法很好地工作。同時(shí)針對(duì)MDP問(wèn)題，狀態(tài)集和動(dòng)作集又不能是無(wú)限的，在進(jìn)一步處理之前需要進(jìn)行離散化，以避免維數(shù)災(zāi)難問(wèn)題的出現(xiàn)。一般的解決方法是將約束轉(zhuǎn)化為懲罰，并將其納入全局優(yōu)化目標(biāo)。這種現(xiàn)狀極大地制約了數(shù)學(xué)模型的建立，導(dǎo)致性能下降。這種情況可以被看作是利用AI方法的 一種妥協(xié)。因此，這對(duì)在EC中建立合適的系統(tǒng)模型構(gòu)成了挑戰(zhàn)。

算法部署

對(duì)于邊緣的AI算法來(lái)說(shuō)，當(dāng)這些算法以在線方式部署在邊緣時(shí)，會(huì)面臨諸多挑戰(zhàn)。此外，另一個(gè)被忽略的問(wèn)題是，由哪個(gè)邊緣設(shè)備來(lái)部署 和運(yùn)行所提出的復(fù)雜算法?，F(xiàn)有的研究工作通常集 中在具體問(wèn)題上，而沒(méi)有提供細(xì)節(jié)。

優(yōu)化與效率的平衡

盡管AI技術(shù)確實(shí)能夠提 供最優(yōu)的解決方案，但在資源受限的邊緣環(huán)境中，研 究者更多的是關(guān)心如何在有限的資源下實(shí)現(xiàn)更高的 算法效率。特別是在嵌入式的行業(yè)中，大多的設(shè)備都是資源受限的，但在嵌入式設(shè)備上部署的任務(wù)確實(shí)很 多，要完成這些任務(wù)，就需要把有限的資源最大化。因此，如何在嵌入AI技術(shù)的情況下，提高EC系統(tǒng)在不同應(yīng)用場(chǎng)景下的可用性和效率是一個(gè)嚴(yán)峻的挑戰(zhàn)。

資源編排

為了充分利用邊緣計(jì)算的去中心化資源，需要建立與現(xiàn)有云計(jì)算基礎(chǔ)設(shè)施的連接。由于EI的部署環(huán)境通常是高度動(dòng)態(tài)的，邊緣計(jì)算框架需要優(yōu)秀的在線資源編排和參數(shù)配置，才能支持大量的AI服務(wù)。異構(gòu)計(jì)算資源、通信資源和緩存資源的實(shí)時(shí)聯(lián)合優(yōu)化、高維系統(tǒng)參數(shù)配置是關(guān)鍵。然而，目前還沒(méi)有相關(guān)的工作深入研究部署和使用這些DL技術(shù)在實(shí)際邊緣計(jì)算網(wǎng)絡(luò)或測(cè)試平臺(tái)上，進(jìn)行長(zhǎng)期在線資源編排的性能分析。

４.結(jié)論

EI的發(fā)展處于初始階段，吸引了眾多的學(xué)者參與研究，本文通過(guò)一個(gè)簡(jiǎn)單明了的分類(lèi)對(duì)EI的研究現(xiàn)狀提供一些參考。具體來(lái)說(shuō)，本文首先分析了 AI和EC的關(guān)系，提出了在IoT時(shí)代二者結(jié)合的必要性，從而引出EI的概念；接著，本文將EI分為AI on edge和AI for edge 兩部分，然后從模型訓(xùn)練、模型推理兩方面闡述了AI on edge現(xiàn)狀，并給出了存在的一些挑戰(zhàn)；對(duì)于AI for edge，本文從任務(wù)卸載和邊緣緩存兩方面進(jìn)行了闡述，并給出了可能存在的挑戰(zhàn)。最后，希望本文能夠激發(fā)相關(guān)學(xué)者對(duì)EI未來(lái)研究的興趣。

參考文獻(xiàn)如下：

[1] ASIF?UR?RAHMAN M,AFSANA F,MAHMUD M,et al. Toward a Heterogeneous Mist, Fog, and Cloud?based Framework for the Internet of Healthcare Things[ J].IEEE Internet of Things Journal,2019,6(3):4049-4062.

[2] ZWOLENSKI M, WEATHERILL L. The Digital Universe Rich Data and the Increasing Value of the Internet of Things[ J].Journal of Telecommunications and the Digital Economy,2014,2(3):1-9.

[3] CHIANG M, ZHANG T. Fog and IoT: An Overview of Research Opportunities[ J].IEEE Internet of Things Jour? nal,2017,2(6):854-864.

[4] AHMED A,AHMED E.A Survey on Mobile Edge Compu? ting[ C ] ∥ IEEE Conference on Intelligent Systems & Control.Coimbatore:IEEE,2016:1-10.

[5] SHI W,CAO J,ZHANG Q,et al. Edge Computing:Vision and Challenges[ J].IEEE Internet Things Journal,2016,3(5):637-646.

[6] PREMSANKAR G, FRANCESCO M D, TALEB T. Edge Computing for the Internet of Things:A Case Study[ J]. IEEE Internet Things Journal,2018,5(2):1275-1284.

[7] MAO Y, YOU C, ZHANG J, et al. A Survey on Mobile Edge Computing: The Communication Perspective [J]. IEEE Communications Surveys & Tutorials,2017,19(4): 2322-2358.

[8] CHEN J.The Evolution of Computing:AlphaGo[ J]. Com? puting in Science & Engineering,2016,18(4):4-7.

[9] SHAHABI C. The Future of Driverless Cars [ M ]. New York:Springer,2016.

[10] ZENG S,WU M.Based on Public Health Service in Smart Medical Comprehensive Service Platform [ C ] ∥ IEEE Conference on Computation, Communication and Engi? neering.Longyan:IEEE,2019:1-4.

[11] HAO X,ZHANG G,MA S.Deep Learning[J].International Journal of Semantic Computing,2016,10(3):417-439.

[12] ZHOU Z,CHEN X,LI E,et al. Edge Intelligence:Paving the Last Mile of Artificial Intelligence with Edge Computing[ J]. Proceedings of the IEEE,2019,107( 8): 1738-1762.

[13] ZHANG X, WANG Y, LU S, et al. Open EI: An Open Framework for Edge Intelligence[ C] ∥IEEE 39th Inter? national Conference on Distributed Computing Systems( ICDCS).Dallas:IEEE,2019:1840-1851.

[14]李肯立,劉楚波. EI: 現(xiàn)狀和展望[ J]. 大數(shù)據(jù), 2019, 5(3):72-78.

[15] CHEN J, RAN X. Deep Learning with Edge Computing: A Review[ J]. Proceedings of the IEEE, 2019, 107( 8): 1655-1674.

[16] WANG X,HAN Y,LEUNG V,et al.Edge AI:Convergence of Edge Computing and Artificial Intelligence [ M]. New York:Springer Press,2020.

[17] MAO Q, HU F, HAO Q. Deep Learning for Intelligent Wireless Networks: A Comprehensive Survey [ J ]. IEEE Communications Surveys & Tutorials, 2018, 20 ( 4 ): 2595-2621.

[18] CHEN M,CHALLITA U,SAAD W,et al.Artificial Neural Networks?based Machine Learning for Wireless Networks: A Tutorial [ J ]. IEEE Communications Surveys & Tutorials,2019,21(4):3039-3071.

[19] MCMAHAN H,MOORE E,RAMAGE D,et al. Communi? cation?efficient Learning of Deep Networks from Decen? tralized Data[ C] ∥Proceedings of the 20th International Conference on Artificial Intelligence and Statistics. Fort Lauderdale:AISTATS,2017:1273-1282.

[20] ABAD M,OZFATURA E,GUNDUZ D,et al. Hierarchical Federated Learning Across Heterogeneous Cellular Networks[ C] ∥IEEE Conference on Acoustics, Speech, and Signal Processing.Brighton:IEEE,2019:8866-8870.

[21] SATTLER F,WIEDEMANN S,MULLER K,et al. Robust and Communication?Efficient Federated Learning from Non?i.i.d. Data[J].IEEE Transactions on Neural Networks and Learning Systems,2020,31(9):3400-3413.

[22] XU J, DU W, CHENG R, et al. Ternary Compression for Communication?Efficient Federated Learning [ J / OL ]. arXiv:2003. 03564v1, 2020. [ 2021 - 08 - 19]. https: ∥ arxiv.org / abs / 2003.03564.

[23] CHEN Y, SUN X, JIN Y. Communication?Efficient Federated Deep Learning with Asynchronous Model Update and Temporally Weighted Aggregation [ J]. IEEE Transactions on Neural Networks and Learning Systems, 2020,31(10):4229-4238.

[24] WANG S, TUOR T, SALONIDIS T, et al. When Edge Meets Learning: Adaptive Control for Resource Constrained Distributed Machine Learning [ C ] ∥ IEEE INFOCOM.Honolulu:IEEE,2018:63-71.

[25] XU Z,YU F,YANG Z,et al. Helios:Heterogeneity?Aware Federated Learning with Dynamically Balanced Collabora? tion[ J / OL].arXiv:1912.01684v2,2021.[ 2021- 08- 17]. https:∥arxiv.org / abs / 1912.01684v2.

[26] DINH C,TRAN N,NGUYEN M,et al.Federated Learning over Wireless Networks: Convergence Analysis and Resource Allocation[ J].IEEE / ACM Transactions on Net? working,2021,29(1):398-409.

[27] WANG H,KAPLAN Z,NIU D,et al.Optimizing Federated Learning on Non?IID Data with Reinforcement Learning[ C] ∥IEEE INFOCOM.Honolulu:IEEE,2020:1-10.

[28] XIE C,KOYEJO S,GUPTA I.Practical Distributed Learn? ing:Secure Machine Learning with Communication?efficient Local Updates[J / OL]. arXiv:1903.06996v1,2019.[ 2021- 07-29].https:∥arxiv.org / abs / 1903.06996v1.

[29] ANG F,CHEN L,ZHAO N,et al.Robust Federated Learn? ing with Noisy Communication[ J]. IEEE Transactions on Communications,2020,68(6):3452-3464.

[30] KIM H, PARK J, BENNIS M, et al. On?device Federated Learning via Blockchain and Its Latency Analysis[ J / OL]. arXiv:1808. 03949v2, 2019. [ 2021 - 07 - 28]. https: ∥ arxiv.org / pdf / 1808.03949.pdf.

[31] ALWANI M, CHEN H, FERDMAN M, et al. Fused?layer CNN Accelerators[ C] ∥49th Annual IEEE International Symposium on Microarchitecture. Taipei: IEEE, 2016: 1-12.

[32] RASTEGARI M,ORDONEZ V,REDMON J,et al. XNOR? Net: ImageNet Classification Using Binary Convolutional Neural Networks[C]∥2018 European Conference on Com? puter Vision.Munich:ECCV,2016:525-542.

[33] IANDOLA F,HAN S,MOSKEWICZ M,et al.SqueezeNet: AlexNet?level Accuracy with 50x Fewer Parameters and< 0.5 MB Model Size [ J / OL ]. arXiv: 1602. 07360v4, 2016. [ 2021 - 08 - 02 ]. https: ∥ arxiv. org / abs / 1602. 07360v4.

[34] HINTON G, VINYALS O, DEAN J. Distilling the Knowledge in a Neural Network [ J / OL ]. arXiv: 1503. 02531v1,2015. [ 2021 - 08 - 06]. https: ∥arxiv. org / abs / 1503.02531.

[35] KANG Y, HAUSWALD J, GAO C, et al. Neurosurgeon: Collaborative Intelligence between the Cloud and Mobile Edge[ C] ∥Proceeding of 22nd International Conference Architecture Support Programming Language Operator System.Xi’ an:ASPLOS,2017:615-629.

[36] LI G,LIU L,WANG X,et al. Auto?tuning Neural Network Quantization Framework for Collaborative Inference between the Cloud and Edge[ C] ∥Proceeding of Interna? tional Conference on Artificial Neural Networks. Kuala Lumpur:ICANN,2018:402-411.

[37] ZHAO Z,BARIJOUGH K,GERSTLAUER A,et al. Deep? Things:Distributed Adaptive Deep Learning Inference on Resource?constrained IoT Edge Clusters[ J]. IEEE Trans? actions on Computer?Aided Design of Integrated Circuits and Systems,2018,37(11):2348-2359.

[38] ZHANG J, CHEN B, LIN Y, et al. A Locally Distributed Mobile Computing Framework for DNN Based Android Applications[ C] ∥Proceeding of the Tenth Asia?Pacific Symposium on Internetware.Beijing:CSERIS,2018:1-6.

[39] DROLIA U, GUO K, TAN J, et al. Cachier: Edge?caching for Recognition Applications[C]∥IEEE 37th International Conference on Distributed Computing Systems. Atlanta: ICDCS,2017:276-286.

[40] GUO P, HU B, LI R, et al. Foggy Cache: Cross?device Approximate Computation Reuse[ C] ∥Proceeding of the 24th Annual International Conference on Mobile Computing and Networking.New Delhi:MobiCom,2018:19-34.

[41] WANG L, LIU W, ZHANG D, et al. Cell Selection with Deep Reinforcement Learning in Sparse Mobile Crowdsensing[ C] ∥2018 IEEE 38th International Confer? ence on Distributed Computing Systems. Vienna: IEEE, 2018:1543-1546.

[42] MACH P,BECVAR Z. Mobile Edge Computing:A Survey on Architecture and Computation Offloading [ J ]. IEEE Communications Surveys & Tutorials, 2017, 19 ( 3 ): 1628-1656.

[43] CHEN X,JIAO L,LI W,et al.Efficient Multi?user Compu?tation Offloading for Mobile?edge Cloud Computing [ J]. IEEE / ACM Transactions on Networking, 2016, 24 ( 5): 2795-2808.

[44] MOHAMMED T, JOE?WONG C, BABBAR R, et al. Dis? tributed Inference Acceleration with Adaptive DNN Parti? tioning and Offloading [ C] ∥ IEEE INFOCOM. Toronto: IEEE,2020:1-10.

[45] JEONG H,LEE H,SHIN C,et al. IONN:Incremental Off? loading of Neural Network Computations from Mobile Devices to Edge Servers [ C] ∥ Proceedings of the ACM Symposium on Cloud Computing. Carlsbad: ACM, 2018: 401-411.

[46] SHIN K, JEONG H, MOON S. Enhanced Partitioning of DNN Layers for Uploading from Mobile Devices to Edge Servers[ C] ∥ the 3rd International Workshop on Deep Learning for Mobile Systems and Applications. Korea: ACM 2019:35-40.

[47] ESHRATIFAR A, ABRISHAMI M, PEDRAM M.JointDNN:An Efficient Training and Inference Engine for Intelligent Mobile Cloud Computing Services [ J]. IEEE Transactions on Mobile Computing, 2021, 20 ( 2 ): 565-576.

[48] XUE M,WU H, LI R, et al. EosDNN: An Efficient Off? loading Scheme for DNN Inference Acceleration in Local? Edge?Cloud Collaborative Environments[ J]. IEEE Trans? actions on Green Communications and Networking,2021: 1-17.

[49] LUONG N,XIONG Z,WANG P,et al.Optimal Auction for Edge Computing Resource Management in Mobile Block? chain Networks:A Deep Learning Approach[ C] ∥IEEE Conference on Communications.Kansas City:IEEE,2018: 1-6.

[50] ZHANG K,ZHU Y,LENG S,et al.Deep Learning Empow? ered Task Offloading for Mobile Edge Computing in Urban Informatics [ J ]. IEEE Internet Things Journal, 2019, 6(5):7635-7647.

[51] YANG T, HU Y, GURSOY M, et al. Deep Reinforcement Learning Based Resource Allocation in Low Latency Edge Computing Networks[ C] ∥15th International Symposium on Wireless Communication Systems.Lisbon:IEEE,2018: 1-5.

[52] ZHANG Q, LIN M, YANG L, et al. A Double Deep Q?learning Model for Energy?efficient Edge Scheduling[ J]. IEEE Transactions on Services Computing,2019,12(5):739-749.

[53] CHEN Z,WANG X.Decentralized Computation Offloading for Multi?user Mobile Edge Computing:A Deep Reinforce?ment Learning Approach [ J ]. EURASIP Journal -on Wireless Communcations and Networking,2020(1):1 6.

[54] ZEYDAN E,BASTUG E,BENNIS M,et al.Big Data Cac? hing for Networking:Moving from Cloud to Edge[ J].IEEE Communications Magazine,2016,54(9):36-42.

[55] SONG J, SHENG M, QUEK T, et al. Learning?based Content Caching and Sharing for Wireless Networks[ J]. IEEE Transactions Communications, 2017, 65 ( 10 ): 4309-4324.

[56] LI X,WANG X,WAN P,et al.Hierarchical Edge Caching in Device?to?Device Aided Mobile Networks: Modeling, Optimization, and Design [ J]. IEEE Journal on Selected Areas in Communications,2018,36(8):1768-1785.

[57] YU Z,HU J,MIN G,et al.Federated Learning Based Pro? active Content Caching in Edge Computing [ C] ∥ IEEE Global Communications Conference. Abu Dhabi : IEEE, 2018:1-6.

[58] CHANG Z, LEI L, ZHOU Z, et al. Learn to Cache: Machine Learning for Network Edge Caching in the Big Data Era [ J]. IEEE Wireless Communications, 2018, 25(3):28-35.

[59] YANG J, ZHANG J, MA C, et al. Deep Learning?based Edge Caching for Multi?cluster Heterogeneous Networks[ J]. Neural Computing & Applications, 2019, 32 ( 19): 1-12.

[60] NDIKUMANA A, TRAN N, HONG C. Deep Learning Based Caching for Self?driving Car in Multi?access Edge Computing[ J / OL]. arXiv: 1810. 01548v1, 2020. [ 2021 - 08-07].https:∥arxiv.org / abs / 1810.01548v1.

[61] TANG Y, GUO K, MA J, et al. A Smart Caching Mechanism for Mobile Multimedia in Information Centric Networking with Edge Computing [ J]. Future Generation Computer Systems,2019,91:590-600.

[62] GUO K, YANG C, LIU T. Caching in Base Station with Recommendation Via Q?learning [ C ] ∥ IEEE Wireless Communications and Networking Conference.San Francisco: IEEE,2017:1-6.

[63] ZHONG C,GURSOY M,VELIPASALAR S, et al.A Deep Reinforcement Learning?based Framework for Content Caching[ C] ∥ 52nd Annual Conference on Information Sciences and Systems.Princeton:CISS,2018:1-6.

[64] DULAC?ARNOLD G,EVANS R,HASSELT H,et al.Deep Reinforcement Learning in Large Discrete Action Spaces[ J / OL].(2016-4- 4). arXiv:1512.07679,2016. https:∥arxiv.org / abs / 1512.07679v2

[65] CHEN Z,GURSOY M,VELIPASALAR S.Deep Reinforce? ment Learning?based Edge Caching in Wireless Networks[J]. IEEE Transactions on Cognitive Communications andNetworking,2020,6(1):48-61.