ChatGPT引發(fā)的AI大模型概念已經(jīng)持續(xù)火爆一年，直至今日，AI的熱度不僅沒有下降，行業(yè)也迸發(fā)出越來越多具有顛覆性的應(yīng)用。2024年初以來，AI PC、AI手機、AI邊緣等產(chǎn)品相繼開售，過年期間，Sora又引發(fā)了大規(guī)模討論。

可以說，AI領(lǐng)域，永遠都在革新。但隨著大模型對算力需求的高速增長，現(xiàn)階段生產(chǎn)的芯片很難滿足業(yè)界需求。

在AI熱潮之中，GPU、AISC等加速器是行業(yè)中的主角。而事實上，任何數(shù)據(jù)中心都無法脫離CPU，比喻起來就是魚和水的關(guān)系。去年12月，英特爾第五代至強可擴展處理器（代號為Emerald Rapids）正式面世，它有著許多令人驚喜的AI秘籍。

做AI，只有一個選擇？

眾所周知，面對大模型這一新風(fēng)口，全球科技公司均將目光投向了AI芯片，特別是GPU。但GPU的產(chǎn)量與HBM，或者說2.5D封裝能力直接掛鉤。這讓本就供應(yīng)吃緊的GPU再遇瓶頸，導(dǎo)致供需嚴重失衡。

與之相悖的是，眼下AI大模型“拼殺”的關(guān)鍵在于做大參數(shù)量，用“力大磚飛”實現(xiàn)更為強大的智能涌現(xiàn)?？梢哉f，即便是面對AI芯片漲價，多少公司也會選擇購買，畢竟錯過這個風(fēng)口，或許就會失去競爭力。

對于大型數(shù)據(jù)中心來說，每顆芯片都在牟足力氣，全功率地運行著，如果能擁有更多AI性能，那么，還需要額外購置一批GPU嗎？

事實上，我們都陷入了一種思維定勢，其實跑AI并非只有GPU一個選擇，CPU也已經(jīng)具備很強大了AI性能。

亞信科技就在自家OCR-AIRPA方案中采用了CPU作為硬件平臺，實現(xiàn)從FP32到INT8/BF16的量化，從而在可接受的精度損失下，增加吞吐量并加速推理。將人工成本降至原來的五分之一到九分之一，效率還提升5～10倍。

被改變的，不只是互聯(lián)網(wǎng)和通信領(lǐng)域，AI制藥被看作是終結(jié)藥物研發(fā)“雙十定律”的希望，在這個領(lǐng)域中AlphaFold2 這類大型模型被視為最重要的算法。去年開始，至強可擴展平臺就開始使AlphaFold2端到端的通量提升到了原來的23.11倍，而第四代可擴展處理器讓這個數(shù)值再次提升3.02倍。

可以說，將CPU用于AI推理正在不斷證實可行。而現(xiàn)在，第五代至強可擴展處理器能夠在無需添加獨立加速器的前提下，運行高達200億參數(shù)的模型推理，且延遲低于100毫秒。一款為AI加速而生，且表現(xiàn)更強的處理器誕生了。

CPU，怎么讓AI跑起來

很多人會奇怪，為什么第五代至強作為一個通用處理器，能夠運行AI負載？事實上，除了本身落在第五代至強的AI負載，其中內(nèi)置的一系列的加速器是關(guān)鍵。

這種設(shè)計可以與時下MCU（單片機）的流行做法進行對比，通過內(nèi)置DSP、NPU，分走一部分部分AI負載，讓AI任務(wù)跑得更高效，從而更省電，至強也是類似的原理。

這種設(shè)計在早期的至強可擴展處理器中就出現(xiàn)過，只不過，那時候大家沒有過多關(guān)注，也沒有那么AI任務(wù)需要跑。

具體看第五代至強，其內(nèi)置的英特爾AVX-512及英特爾? AMX（英特爾?高級矩陣擴展）功能是關(guān)鍵，這兩個加速器在第四代至強中就已搭載，而在第五代至強中，AMX支持新的FP16指令，同時混合AI工作負載性能提高2～3倍。

加之第五代至強本身性能的提升，使其本身性能就能更從容應(yīng)對AI負載：CPU核心數(shù)量增加到64個，單核性能更高，每個內(nèi)核都具備AI加速功能；采用全新I/O技術(shù)（CXL、PCIe5），UPI速度提升。

根據(jù)行業(yè)人士分析，CPU做大模型推理，最大的難點不在計算能力，而在內(nèi)存帶寬。第五代至強的內(nèi)存帶寬從4800 MT/s提高至5600 MT/s，三級緩存容量提升至近3倍之多，同時插槽可擴展性，支持從一個插槽擴展至八個插槽，這些都為第五代至強支持大模型提供了堅實的后盾。

從數(shù)據(jù)上來看，與上一代產(chǎn)品相比，第五代至強相同熱設(shè)計功耗下平均性能提升21%；與第三代產(chǎn)品比，平均性能提升87%。相較于前一代產(chǎn)品，第五代至強不僅迭代了性能，還帶來了42%的AI推理性能提升。

此外，在一系列加速器中，英特爾?可信域拓展（英特爾? TDX）提供虛擬機（VM）層面的隔離和保密性，從而增強隱私性和對數(shù)據(jù)的管理。

不止如此，第五代至強還是迄今為止推出的最“綠色”的至強處理器，它能夠幫助用戶管理能耗，降低碳足跡?？梢哉f，軟件只是一方面，歸功于第五代至強內(nèi)的多種創(chuàng)新技術(shù)和功能，搭配干活，效率更高，最終體現(xiàn)出來的就是更低的功耗。

CPU未來發(fā)展趨勢，一定是拼功耗，這需要全方位發(fā)力。首先是工藝，隨著工藝逐漸提升到Intel 3、Intel 20A、Intel 18A，功耗會越來越低，每一代都會有兩位數(shù)的功耗降低。封裝也一樣，使用先進的封裝技術(shù)把不同制程的芯片通過Chiplet架構(gòu)放在一起，進行一個運算，并不需要把所有地方都用起來，而是只使用對應(yīng)的區(qū)域，這樣功耗自然就降低了。還有，就是針對不同的工作負載做優(yōu)化。

有時候調(diào)整應(yīng)用程序的架構(gòu)也可以最大限度地降低功耗。舉例來說，如果要訓(xùn)練大模型，假設(shè)總共有20個大模型，每個模型的訓(xùn)練周期為3個月，需要1000臺機器來訓(xùn)練，每臺機器功率為1萬瓦。如果規(guī)定只需訓(xùn)練其中的5個模型，而剩下的15個模型不需要訓(xùn)練，這樣就能節(jié)省75%的電能。因此，有時候通過調(diào)整應(yīng)用程序的架構(gòu)，可以更有效地降低功耗。

“隨著算力的持續(xù)高速發(fā)展，如何實現(xiàn)數(shù)據(jù)中心的節(jié)能減碳，改變‘電老虎’的形象，對尋求采用可再生能源和更環(huán)保的技術(shù)方面有了更高的需求?！庇⑻貭枖?shù)據(jù)中心與人工智能集團副總裁兼中國區(qū)總經(jīng)理陳葆立對AI大模型時代提出了這樣的擔(dān)憂，第五代至強就是節(jié)能減碳的關(guān)鍵。

與此同時，英特爾也有一系列的產(chǎn)品和技術(shù)創(chuàng)新，如通過更高效的冷卻技術(shù)、智能能源管理系統(tǒng)等推動新型和存量數(shù)據(jù)中心進行節(jié)能減排，并攜手中國合作伙伴推動應(yīng)用落地。

英特爾如何支撐起AI開發(fā)

GPU的發(fā)展，軟件生態(tài)也起到了至關(guān)重要的作用，比如行業(yè)無人不知的CUDA。對英特爾來說，軟件一直以來都是強項，與此同時，英特爾發(fā)力軟件堆棧，不斷加大投資，這為第五代至強在AI方面的發(fā)展帶來了巨大的天然優(yōu)勢。

英特爾一直以來，都比較強調(diào)統(tǒng)一性和易用性，在AI方面亦如如此。開發(fā)者可以通過利用OpenVINO，實現(xiàn)“一次編寫，隨處部署”的愿景。英特爾開發(fā)的基礎(chǔ)軟件和數(shù)據(jù)庫通過Pytorch和ONNX Runtime等流行框架支持自身的 CPU、GPU、IPU和AI加速器。

此外，英特爾還提供了PyTorch和TensorFlow的庫擴展，這將有助于開發(fā)者使用默認安裝運行這些擴展以獲得最新的軟件加速。這意味著，用戶既可以繼續(xù)使用PyTorch或TensorFlow，也可以利用OpenVINO進行開發(fā)，掌握不同語言的開發(fā)者都能在同樣一個平臺下開發(fā)。

值得一提的是，OpenVINO 2023.1版本正在加速英特爾追求的“任何硬件、任何模型、任何地方”的目標實現(xiàn)，即逐步擴展OpenVINO成為跨客戶端與邊緣端的、針對推理與部署運行AI模型的完整軟件環(huán)境。

“我認為ChatGPT技術(shù)不僅僅是關(guān)于人類語言、英語語言，還有編程語言。因此，可以實現(xiàn)生產(chǎn)力的提高。你可以從ChatGPT和其他類似的技術(shù)中生成自動代碼審查。我認為這里有許多機會，但我認為它存在于行業(yè)領(lǐng)先公司正在使用的Python編程模型中。它不是剛剛興起的，已經(jīng)出現(xiàn)了一段時間，我們極客稱為SMLAR技術(shù)?！庇⑻貭枌＜以?jīng)這樣分享道。

簡單解釋，就是“雞生蛋、蛋生雞”的關(guān)系，也就是說，未來AI大模型還會用在開發(fā)AI大模型上?，F(xiàn)在CUDA就已經(jīng)開始有了這樣的動作，英特爾也正蓄勢待發(fā)。

在2月末剛剛結(jié)束的MWC2024上，英特爾展示了最多具備288個核心的能效核（E-core）處理器Sierra Forest，性能核（P-core）處理器Granite Rapids 也正蓄勢待發(fā)。可以說，未來在AI推理領(lǐng)域，至強還會更強。