本文授權(quán)轉(zhuǎn)載自公眾號(hào)“半導(dǎo)體行業(yè)觀察”，ID：icbank，作者：L晨光。

近年來，在AI高算力需求推動(dòng)下，HBM正在大放異彩。

尤其是進(jìn)入2023年后，以ChatGPT為代表的生成式AI市場(chǎng)的瘋狂擴(kuò)張，在讓AI服務(wù)器需求迅速增加的同時(shí)，也帶動(dòng)了HBM高階存儲(chǔ)產(chǎn)品的銷售上揚(yáng)。

TrendForce數(shù)據(jù)顯示，2023年全球搭載HBM總?cè)萘繉⑦_(dá)2.9億GB，同比增長近60%，預(yù)計(jì)2024年還將再增長30%。SK海力士預(yù)測(cè)，HBM市場(chǎng)到2027年將出現(xiàn)82%的復(fù)合年增長率。

在此發(fā)展勢(shì)頭下，作為AI芯片的主流解決方案，HBM受到了存儲(chǔ)巨頭的高度重視。自2014年SK海力士首次成功研發(fā)HBM以來，三星、美光等存儲(chǔ)巨頭也紛紛入局，展開了HBM的升級(jí)競(jìng)賽，目前HBM已從第一代HBM升級(jí)至第四代HBM3，產(chǎn)品帶寬和最高數(shù)據(jù)傳輸速率記錄被不斷刷新。下一代HBM3E超帶寬解決方案也已在樣品測(cè)試階段，HBM4也被提上議程。

▲HBM發(fā)展歷程

借助AI東風(fēng)，HBM需求水漲船高，三大原廠紛紛推動(dòng)HBM新代際產(chǎn)品開發(fā)與產(chǎn)線擴(kuò)張。與此同時(shí)，臺(tái)積電也宣布將CoWoS產(chǎn)能擴(kuò)大兩倍，以期更好地支撐水漲船高的HBM需求。

近日，英偉達(dá)H200的推出有望再次掀起HBM布局浪潮，未來在AI大模型日趨復(fù)雜化的趨勢(shì)下，隨著存儲(chǔ)巨頭的持續(xù)發(fā)力，產(chǎn)業(yè)鏈上下游企業(yè)也將緊密部署，HBM的影響力將逐步擴(kuò)大并帶來全新機(jī)遇。

關(guān)于HBM技術(shù)的未來發(fā)展路線，在我們之前的文章《HBM 4，要來了》有比較詳細(xì)的介紹；以及在《HBM的崛起》、《存儲(chǔ)巨頭競(jìng)逐HBM》文章中，更是詳細(xì)介紹了HBM的前世今生，以及存儲(chǔ)巨頭圍繞HBM的產(chǎn)業(yè)布局和規(guī)劃。感興趣的讀者可以點(diǎn)擊鏈接自行跳轉(zhuǎn)查閱。

本文，將圍繞HBM發(fā)展過程中的一個(gè)細(xì)分環(huán)節(jié)——硅中介層（Si-Interposer），來詳述其價(jià)值、瓶頸以及未來的技術(shù)走向。

談到硅中介層，我們需要先來了解一下HBM的結(jié)構(gòu)。

與傳統(tǒng)DDR存儲(chǔ)器不同，HBM使用硅通孔技術(shù)（TSV）和微凸塊（ubump）垂直堆疊多個(gè)DRAM芯片，并通過封裝基板內(nèi)的硅中介層與GPU、CPU或ASIC直接相連，從而具備高帶寬、高容量、低延時(shí)與低功耗等優(yōu)勢(shì)，相同功耗下其帶寬是DDR5的三倍以上。

因此，HBM突破了內(nèi)存瓶頸，成為當(dāng)前AI GPU存儲(chǔ)單元的理想方案和關(guān)鍵部件。

▲HBM架構(gòu)示意圖

從上圖可以看到，這個(gè)硅中介層可以理解為一塊精密的電路芯片，里面布置了密集的電信號(hào)傳輸通道，用于幫助芯片、封裝基板進(jìn)行電性能互連，實(shí)現(xiàn)芯片與芯片，芯片與封裝基板之間的信息交換，可以用于提高芯片的性能和帶寬，以及使芯片更加緊湊，從而減少了信號(hào)傳輸?shù)难舆t和功耗。

總體來看，硅中介層是一種經(jīng)過驗(yàn)證的技術(shù)，具有較高的細(xì)間距I/O密度和TSV形成能力，在2.5D IC芯片封裝中扮演著關(guān)鍵角色。

硅中介層有兩種技術(shù)路線，代表分別是臺(tái)積電的CoWoS和英特爾的EMIB。

臺(tái)積電CoWoS-S通過硅中介層承載處理器和HBM，處理器和若干HBM的投影面積決定了硅中介層的大小，而中介層的面積受限于光刻掩膜尺寸，會(huì)限制HBM的使用數(shù)量。

這就成為了早期HBM應(yīng)用的瓶頸——需要HBM的往往是高性能的大芯片，而大芯片的規(guī)模本身就已經(jīng)逼近了掩膜尺寸極限，給HBM留下的面積非常有限。對(duì)此，臺(tái)積電相繼攻克了多重困難突破了中介層尺寸的限制，單芯片內(nèi)部逐漸可封裝4顆、6顆，甚至12顆HBM。

硅中介層的面積如此發(fā)展，在解決尺寸限制的同時(shí)，也帶來了新的挑戰(zhàn)，即成本越來越高。以8GB HBM2為例，其成本約175美元，其中硅中介層成本約25美元，而同時(shí)期的8GB GDDR5僅需52美元，在沒有考慮封測(cè)的情況下，HBM成本已經(jīng)是GDDR的三倍左右。

尤其是隨著HBM的演進(jìn)，中介層面積越來越大，要包含所有的Die，大大增加成本。此外，中介層是有半導(dǎo)體工藝制作，成本不低，且很難做很大面積。

為了降低中介層的成本和尺寸，英特爾發(fā)明了EMIB，將die-die的互連用“硅橋（Si Bridge）”實(shí)現(xiàn)，且硅橋嵌入在基板內(nèi)部，die-substarte的連接通過傳統(tǒng)方法實(shí)現(xiàn)。這種做法可以大大降低硅中介層的面積，減少成本，減輕多die封裝的限制。

▲英特爾EMIB架構(gòu)圖

值得注意的是，EMIB通過非常小的凸點(diǎn)間距提供高互連密度，從而允許芯片之間具有更高的帶寬，并且由于走線長度較短，因此比使用有機(jī)基板具有更低的功耗。它類似于微型硅中介層，僅覆蓋小芯片之間需要連接的區(qū)域。

但是，盡管EMIB充分利用了硅中介層和有機(jī)載板的技術(shù)特點(diǎn)和電氣特性，但也存在組裝成本高的缺點(diǎn)，因?yàn)樾枰谟袡C(jī)載板中鑲嵌，增加了工藝復(fù)雜度，限制了載板的選擇。

因此，為了進(jìn)一步降低成本，行業(yè)廠商開始研究棄用硅中介層的技術(shù)和方法。

目前，HBM堆棧集成了8個(gè)、12個(gè)或16個(gè)存儲(chǔ)器件，以及一個(gè)像集線器一樣的邏輯層。HBM堆棧被放置在CPU或GPU旁的中間件上，并通過1024位接口與處理器相連。SK海力士的目標(biāo)是將HBM4堆棧直接放在處理器上，完全省去中介層。

據(jù)悉，SK海力士正在與包括英偉達(dá)在內(nèi)的幾家公司討論其HBM4集成設(shè)計(jì)方法。SK海力士和英偉達(dá)很有可能從一開始就聯(lián)合設(shè)計(jì)芯片，并在臺(tái)積電生產(chǎn)，臺(tái)積電還將使用晶圓鍵合技術(shù)把SK海力士的HBM4安裝到邏輯芯片上。為了使內(nèi)存和邏輯半導(dǎo)體在同一芯片上作為一個(gè)整體工作，聯(lián)合設(shè)計(jì)是不可避免的。

臺(tái)積電目前也有像SoIC等更高級(jí)的3D封裝工藝，確實(shí)可以將更好的將顯存堆疊到芯片之上，就像AMD的3D V-Cache處理器就是用到了這種工藝，不過該處理器最大的問題就是發(fā)熱，還有良率以及成本等因素，目前還不太適用于HBM顯存。

據(jù)業(yè)內(nèi)人士表示，直接連接存儲(chǔ)器和邏輯芯片在經(jīng)濟(jì)上是可行的。不過，雖然將HBM4堆棧直接放在邏輯芯片上可以在一定程度上簡化芯片設(shè)計(jì)并降低成本，但這也帶來了另一個(gè)挑戰(zhàn)——散熱。

散熱本身就是HBM長期存在的挑戰(zhàn)之一，HBM的2.5D封裝結(jié)構(gòu)會(huì)集聚熱量，而靠近CPU和GPU的布局又會(huì)進(jìn)一步增加熱量。以Nvidia的H100處理器為例，其消耗數(shù)百瓦的功率，并耗散數(shù)百瓦的熱能，且HBM內(nèi)存也相當(dāng)耗電。

目前來看，如果發(fā)熱問題能夠得到解決，HBM的“游戲規(guī)則”可能會(huì)發(fā)生變化，存儲(chǔ)器和邏輯半導(dǎo)體之間的連接可能會(huì)變得像一體機(jī)一樣運(yùn)行，而無需中間件。

在另一種方案中，三星將Cash DRAM堆疊在logic die上，使得功耗效率提升了60%，延遲則降低了50%。在三星看來，這是一個(gè)更好的、面向未來解決方案。

展望未來，三星方面進(jìn)一步指出，光互連將發(fā)揮重要作用。

在使用光學(xué)I/O后，將獲得非常高的帶寬密度；與此同時(shí)，這種解決方案還能帶來非常低的功耗。在三星看來，光學(xué)I/O將邏輯封裝和存儲(chǔ)封裝連接到一起。

同時(shí)，該技術(shù)還能將HBM存儲(chǔ)與芯片封裝完全解耦，將HBM模組從芯片本體分離出來，并通過光學(xué)技術(shù)與邏輯處理單元相連。這樣就不必處理中介層帶來的芯片封裝復(fù)雜性，且這種方法簡化了HBM和邏輯單元的芯片制造與封裝成本，并且避免了復(fù)雜的數(shù)字到光學(xué)信號(hào)內(nèi)部轉(zhuǎn)換。

隨著全球存儲(chǔ)巨頭的深度介入，上述挑戰(zhàn)或?qū)⒌玫浇鉀Q，HBM市場(chǎng)的激戰(zhàn)也會(huì)愈演愈烈。

除了存儲(chǔ)原廠之外，臺(tái)積電等廠商也正在通過研發(fā)不同類型的中介層，或是采用不同的材料來實(shí)現(xiàn)成本節(jié)降。

以臺(tái)積電為例，臺(tái)積電正在不斷嘗試降低下一代HBM的成本，宣布擁有多種不同類型的中介層：除了硅中介層外，還有RDL中介層，以及其他試圖擺脫中介層的技術(shù)探索。

比如CoWoS-R、CoWoS-L等，前者將硅中介層換做有機(jī)RDL，能夠降低成本，不過劣勢(shì)是犧牲了I/O密度；后者是臺(tái)積電專門針對(duì)AI訓(xùn)練芯片設(shè)計(jì)的，結(jié)合了臺(tái)積電CoWoS-S和信息技術(shù)的優(yōu)點(diǎn)，預(yù)計(jì)晚些時(shí)候才能應(yīng)用。

▲圖源：TSMC官網(wǎng)

此外，集成扇出封裝技術(shù)（INFO）也正在考慮集成HBM，作為硅中介層的經(jīng)濟(jì)替代方案等等...。Cadence IP團(tuán)隊(duì)產(chǎn)品營銷總監(jiān)Marc Greenberg表示，如果行業(yè)能夠聚集在一起并決定一個(gè)適用于標(biāo)準(zhǔn)封裝的內(nèi)存標(biāo)準(zhǔn)，那么就有可能提供與HBM類似的帶寬，且成本要低得多。

可見，棄用硅中介層或進(jìn)一步降低成本正在成為HBM未來新的技術(shù)創(chuàng)新路線。成本因素之外，HBM干掉硅中介層還可以減小傳輸路徑、提升傳輸速率，體積也會(huì)更加小。

迄今為止，業(yè)界領(lǐng)先的Chiplet互連需要先進(jìn)封裝和昂貴的硅中介層。而Eliyan公司驗(yàn)證了他們?cè)诟咝阅蹸hiplet互連方面的突破。

筆者在此前文章《Chiplet，怎么連？》中對(duì)此有過詳細(xì)介紹。

Eliyan憑借其Nulink技術(shù)，可以為die-to-die互聯(lián)在各種封裝襯底上提供功耗、性能和成本的優(yōu)勢(shì)方案。因?yàn)檫@種PHY接口可以讓不同的裸片直接在有機(jī)襯底上實(shí)現(xiàn)高速互聯(lián)，而不必采用CoWoS、EMIB或硅中介層等昂貴的先進(jìn)封裝方式，在降低成本的同時(shí)加速產(chǎn)品制造周期。

從上圖可看到，左邊是當(dāng)今常見的使用硅中介層的Chiplet互連方法；右邊是Eliyan的NuLink技術(shù)，可以以卓越的帶寬實(shí)現(xiàn)小芯片互連，而無需硅中介層。

可見，NuLink通過簡化系統(tǒng)設(shè)計(jì)降低了系統(tǒng)成本。更重要的是，Eliyan可以增加芯片之間的距離，對(duì)于生成式AI，NuLink為每個(gè)ASIC提供更多的HBM內(nèi)存，從而提高了配備HBM的GPU和ASIC的內(nèi)存密集型應(yīng)用程序的性能。

▲采用硅中介層的傳統(tǒng)Chiplet解決方案與采用有機(jī)基板的Eliyan Nulink

Eliyan還展示了其NuLink PHY的第一個(gè)工作芯片，該芯片采用5nm標(biāo)準(zhǔn)制造工藝實(shí)現(xiàn)，可以讓Chiplet與不同工藝的裸片實(shí)現(xiàn)混搭，不需要硅中介層等先進(jìn)封裝技術(shù)。

Eliyan指出：“如今業(yè)內(nèi)的一大需求是能夠獲得足夠大的中介層，這樣就可以構(gòu)建越來越大的GPU或TPU，并帶有大內(nèi)存。”

這還是在拋開成本因素的考量下，而Nulink有機(jī)基板的尺寸可以達(dá)到硅中介層的三四倍，同時(shí)提供相同或更好的功率效率和帶寬。這導(dǎo)致成本更低、制造速度更快，每個(gè)封裝的計(jì)算能力更強(qiáng)。

與此同時(shí)，NuLink還為HBM DRAM提供卓越的散熱性能，消除了HBM-ASIC之間的熱串?dāng)_，允許ASIC時(shí)鐘速度提高20%，以及更簡單/低成本的冷卻。

測(cè)試和產(chǎn)量是另一個(gè)優(yōu)勢(shì)。傳統(tǒng)硅中介層需要使用微凸塊將小芯片連接到中介層引線，微凸塊限制了對(duì)晶圓進(jìn)行全面測(cè)試的能力，使良率面臨風(fēng)險(xiǎn)。

對(duì)此，Nulink對(duì)有機(jī)基板的使用通過允許使用具有標(biāo)準(zhǔn)尺寸凸塊的小芯片來緩解這個(gè)問題，這可以更有效地進(jìn)行測(cè)試。因此，可以將芯片良率從60%提高到90%左右。

總結(jié)來看， Eliyan消除了對(duì)先進(jìn)封裝的需求，例如Chiplet設(shè)計(jì)中的硅中介層尺寸有限、成品率低、成本高、難以冷卻、供應(yīng)鏈有限、測(cè)試等所有相關(guān)限制和復(fù)雜性。NuLink技術(shù)能夠?qū)崿F(xiàn)DRAM擴(kuò)展、節(jié)約材料成本、提高產(chǎn)量并縮短芯片上市時(shí)間等優(yōu)勢(shì)。

Eliyan認(rèn)為，其Chiplet互連產(chǎn)品可以超越英特爾和臺(tái)積電等芯片巨頭的先進(jìn)封裝技術(shù)，或者有望成為英特爾、臺(tái)積電的最佳選擇，從而實(shí)現(xiàn)下一波高性能芯片架構(gòu)。NVIDIA、Intel、AMD和Google等公司可以授權(quán)NuLink IP，或從Eliyan購買NuGear小芯片，以消除硅中介層尺寸限制帶來的性能瓶頸，使他們能夠?qū)崿F(xiàn)更高性能的AI和HPC SoC。

但任何技術(shù)都有兩面性，并非提供完全的優(yōu)勢(shì)。例如，Eliyan新技術(shù)可以把Chiplet從2.5D的封裝要求切換到2D上，但必然需要增大線速來換取更低的線密度需求。但速率的增加對(duì)于PHY的設(shè)計(jì)會(huì)引入顯著的額外延時(shí)和能耗。

同時(shí)隨著互連技術(shù)的演進(jìn)，預(yù)計(jì)將進(jìn)一步促進(jìn)HBM或Chilet封裝技術(shù)的進(jìn)步，為行業(yè)帶來更低功耗、更高性能以及更低成本的解決方案。

無論是哪種技術(shù)，都各有優(yōu)劣，也永遠(yuǎn)面對(duì)新的瓶頸和挑戰(zhàn)，需要根據(jù)實(shí)際需求來進(jìn)行設(shè)計(jì)和選擇。但萬變不離其宗，持續(xù)提升性能、降低成本，無疑是行業(yè)發(fā)展永久的“必殺技”。