亞太芯谷科技研究院：2024年AI大算力芯片技術發展與產業趨勢報告（41頁）.pdf

《亞太芯谷科技研究院：2024年AI大算力芯片技術發展與產業趨勢報告（41頁）.pdf》由會員分享，可在線閱讀，更多相關《亞太芯谷科技研究院：2024年AI大算力芯片技術發展與產業趨勢報告（41頁）.pdf（41頁珍藏版）》請在三個皮匠報告上搜索。

1、AI 大算力芯片技術發展與產業趨勢馮明憲亞太芯谷科技研究院2024.07.12.22024全球半導體與數字經濟總量（預估）資料來源：亞太芯谷科技研究院AI 時代財富密碼u 1、2024年全球半導體產業鏈產值占全球經濟總量約 1%，但其資本市場市值占全球比近 10%。u 2024年AI芯片（GPU）產業營收占全球半導體市場 20%。u 2024年AI芯片產業兩大核心企業NT聯盟（英偉達與臺積電）營收合計占半導體全產業鏈營收約21%，凈利潤約占 50%，市值約占半導體總市值 50%，占全球資本市場約 5%。注：2024年NT聯盟預計總營收將達到約2000億美元，總凈利潤1000億美元，總市值約5萬

2、億美元。3臺積電技術路線規劃 2030資料來源：TSMC4英偉達GPU產品規劃 2027資料來源：英偉達2024年6月2日，英偉達CEO黃仁勛在臺灣大學發表主題為“開啟產業革命的全新時代”的現場演講，演講中梳理并介紹了英偉達的最新產品和成果，以及對未來產品的規劃。黃仁勛宣布Blackwell芯片已經投 產，預 計 將 于 2 0 2 5 年 推 出Blackwell UltraAI芯片，2026年推出下一代AI平臺“Rubin”，2027年推出ubinUltra，更新節奏將變為“一年一次”。黃仁勛稱，8年內，英偉達GPU產品運算能力增長了1000倍，幾乎超越了摩爾定律在最佳時期的增長。5資料來

3、源：“數據存儲2030”白皮書，中國算力發展指數白皮書（2022），DIGITIMES研究中心，亞太芯谷科技研究院根據IDC和華為GIV團隊預測，全球每年新產生的數據總量隨著數字化的發展快速增長，從2020年每年產生 2 ZB到2025年每年產生 175 ZB，2030年將達到 1003 ZB，即將進入YB（1 Yotta Bytes=1000 Zetta Bytes=1024 Bytes）時代。另外，根據DIGITIMES研究中心，2024年全球服務器用GPU（包括存儲芯片在內的板卡與子系統）產值將首次突破1000億美元，達1219億美元。其中，高端服務器GPU產值比重將超過80%，達 10

4、22 億美元，出貨量可達 482 萬顆，英偉達將占比 92.5%，AMD占比可達 7.3%。全球數據量與 GPU 市場規模2015-2024：數據量增加 122 ZB全球GPU市場規模增加約 1120 億美元2024年，全球GPU市場規模約1200億美元2015年，全球GPU市場規模約80 億美元2024-2030：數據量增加 870 ZB全球GPU市場規模增加約？億美元2024年，全球算力規模預計可達到：2380 EFlops2030年，全球算力規模預計可達到：56000 EFlops全球數據量與算力規模發展聯動預估620162018202020222024CoWoS(HI)MOSFET(摩

5、爾定律)N12N7N5N320162024：GPU 算力：1000 倍邏輯芯片算力：4060 倍GPU/算力HBM算力光刻機資料來源：英偉達，臺積電，亞太芯谷科技研究院AI 芯片算力提升的“三駕馬車”N27大 綱一AI 芯片：從MOSFET到CoWoS（HI）二CoWoS/HBM 技術與發展三AI 大算力芯片產業市場與投資四AI 大算力芯片產業發展趨勢81947電晶體-點接觸形式的雙極性晶體管結型構造雙極型晶體管-BJT（Bipolar Junction Transistor）1948金屬氧化物半導體場效應晶體管-MOSFETMetal Oxide Semiconductor Field Ef

6、fect Transistor19602012CoWoS（Chip on Wafer on Substrate）蔣尚義、余振華Mohamed M.Atalla、Dawon KahngWilliam Shockley、John Bardeen、Walter BrattainWilliam Shockley全球半導體技術發展關鍵節點資料來源：亞太芯谷科技研究院資料來源：亞太芯谷科技研究院01002003004005006007001947197719791981198319851987198919911993199519971999200120032005200720092011201320152

7、0172019202120232032CoWoS(HI)2020AI：CoWoS(HI)崛起之路全球半導體市場規模，單位：10億美元資料來源：亞太芯谷科技研究院2032年約1.2 萬億美元91200MOSFET Si/2D封裝 HomostructureMOSFET19702020CoWoS Si/2.5&3D封裝 Hetrostructure信息/制程驅動數據/封測驅動BJT Ge/2D封裝HomostructureBJT19501970信息/功能驅動19701970年市場規模約 100 億美元1970-1990領先企業NEC/東芝1990-2010領先企業英特爾/德儀2010-2020領先

8、企業英特爾/三星2020-領先企業臺積電/英偉達/三星1950-1970領先企業德儀/仙童2020年市場規模約 4400 億美元2023年約0.6 萬億美元CoWoS 本質上是一種異質異構集成技術異構集成異質集成資料來源：亞太芯谷科技研究院異構異質集成（HI，Heterogeneous Integration）分為異構(HeteroStructure)集成和異質(HeteroMaterial)集成兩大類。HeteroStructure Integration（異構集成）主要指將多個不同工藝節點單獨制造的芯片封裝到一個封裝內部，以增強功能性和提高性能，可以對采用不同工藝、不同功能、不同制造商制造

9、的組件進行封裝。HeteroMaterial Integration（異質集成）是指將不同材料的半導體器件集成到一個封裝內，可產生尺寸小、經濟性好、靈活性高、系統性能更佳的產品。11英特爾的 EMIB 與三星的 I-Cube英特爾也于2017年推出EMIB（EmbeddedMulti-Die Interconnect Bridge）先進封裝技術，即“嵌入式多芯片互連橋接”，該技術使用傳統覆晶芯片方式連接晶粒和基板，通過一個很小的硅片實現晶粒直接的橋接，可將芯片互連的凸點間距縮小到45微米。三星于2021年發布2.5D 封裝技術Interposer-Cube4(I-Cube4)，I-CubeTM

10、是一種異構集成技術，在一個硅中介層上水平放置一個或多個邏輯裸片（CPU、GPU等）和多個高帶寬存儲器(HBM)裸片，使一個封裝中的多個裸片像單個芯片一樣運行。EMIBI-Cube資料來源：英特爾，三星12大 綱一AI 芯片：從MOSFET到CoWoS（HI）二CoWoS/HBM 技術與發展三AI 大算力芯片產業市場與投資四AI 大算力芯片產業發展趨勢13CoWoS 架構 AI 芯片資料來源：TSMC14CoWoS：S、R、LS即為硅（Si）襯底作為中介層、R為RDL（重布線）、L為LSI（嵌入式）。其主要區別在于芯片與芯片之間的連接、芯片和基板之間的連接方式不同。CoWoS-S為最早開發的系列

11、，芯片通過Chip on Wafer（CoW）的封裝制程連接至硅晶圓，再把CoW芯片與基板（Substrate）連接，整合成CoWoS。CoWoS-R為扇出型晶圓級封裝，使用重布層連接。CoWoS-L也是扇出型晶圓級，它結合了CoWoS-S和InFO技術的優點，使用局部硅互連嵌入在重布層進行整合。CoWoS為臺積電歷史最悠久的技術，適用于高速運算產品。資料來源：TSMC，亞太芯谷科技研究院15先先進進封封裝裝底底層層技技術術B Bu um mp pi in ng gT TS SV VInterposerCoWoS 關鍵底層技術資料來源：亞太芯谷科技研究院BumpingInterposerBum

12、pingRDLTSVDTCbumpingR RD DL LD DT TC CTSVInterposerRDLDTCDTC161、散熱Al 算力芯片體積小、集成度高、速度快，導致熱量集中，不易散出，致使IC 功能下降。目前用于 Al 高速運算的服務器是泡在液體里來解決散熱問題，而有Al芯片的攜帶式產品，散熱問題更嚴重，散熱不良導致芯片無法運行，或是使芯片損壞。2、Interposer 及TSV 應力破裂TSV是先進封裝的關鍵結構單元。在TSV轉接板上，由于銅和硅的熱膨脹系數差別較大，這種熱不匹配所產生的熱應力會造成接口的脫層或材料的開裂而直接影響TSV的可靠性。CoWoS 技術的技術難點 資料來

13、源：芯灃科技，亞太芯谷科技研究院172023年2026年2027年技術名稱CoWoS(SolC)CoWoS(SolC)CoWoS(SolC)SoW系統級晶圓載板面積80 x80 mm100 x100 mm120 x120mm-HBM數量8X12x12x60 x算力提升1X3.5x7x40 xCoWos-L 將成為主要封裝類型臺積電CoWos封裝規劃路線目前CoWos-S可支持的最大尺寸約為2500平方毫米即三倍掩膜版尺寸，也就是Blackwell GPU上的兩顆die+8xHBM的設計，再想增大面積恐怕不易。因此，CoWos-L將成為下一階段的主要封裝類型。臺積電系統級晶圓技術將迎來大突破，采

14、用CoWoS技術的芯片堆棧版本，預計于2027年準備就緒，即CoWoS技術整合SoIC、HBM及其他元件，進而打造一個強大且運算能力媲美資料中心服務器機架，或甚至整臺服務器的晶圓級系統。2027年后，3D版的CoWoS技術：SoW，有望登上歷史舞臺。CoWoS 技術發展趨勢資料來源：TSMC HBM 應用的關鍵：AI 芯片存儲墻算力的增速遠超存儲與互連帶寬的增速大模型體積的增速遠高于算力芯片存儲容量的增速資料來源：riselabu 算力的增速遠大于存儲的增長速度。目前絕大部分的計算系統基于馮諾依曼計算機體系，而該體系下存儲與計算單元分離，需要通過總線不斷在存儲與處理器之間傳輸數據，因此存儲的帶

15、寬制約了算力的利用效率。此外，從外部處理器到內存之間不斷進行數據的搬運，搬運時間往往是運算時間的成百上千倍，產生的無用能耗過多。u 模型體量的增速遠大于算力卡存儲容量的增速。隨著 Transformer 模型的大規模發展和應用，模型大小每兩年平均增長了240倍，而單個GPU內存容量僅以2年2倍的速度擴大。為了擺脫單一算力芯片內存有限的問題，可以將模型部署于多顆GPU上運行，但在算力芯片之間移動數據，仍然比單一芯片內部移動數據低效，因此算力芯片內存容量的緩慢增速制約了更大規模的模型應用。1819HBM 基本涵義 HBM（High Bandwidth Memory，高帶寬存儲）是一種新型的CPU/

16、GPU內存芯片。從結構上看其特點有：（1）3D堆疊結構并由TSV互連：HBM 由多顆DRAM die堆疊成3D結構，使用TSV技術實現信號的共享與分配；（2）高I/O數量帶來高位寬：HBM的每顆DRAM Die包含多個通道，可獨立訪問。每個通道又包含多個I/O 口，位寬64/128bit，使 HBM的總位寬高達1024bit。資料來源：高帶寬存儲器的技術演進和測試挑戰（陳煜海等人），華金證券研究所HBM1 堆疊 DRAM 架構圖20不同類型的存儲芯片帶寬與單引腳最大I/O速度對比HBM2與傳統DDR存儲器的單引腳I/O帶寬功耗比對比HBM 與其他存儲芯片參數對比 u HBM2E和HBM3的單引

17、腳最大輸入/輸出（I/O）速度分別達3.2Gbit/s和6.4Gbit/s，低于GDDR5存儲器的7Gbit/s，但HBM的堆棧方式可通過更多的I/O數量使總帶寬遠高于GDDR5；例如HBM2帶寬可以達到307 GB/s；u 以DDR3存儲器單引腳I/O帶寬功耗為基準，HBM2的I/O功耗比明顯低于DDR3/DDR4和GDDR5，相比于GDDR5存儲器，HBM2的單引腳I/O帶寬功耗比數值降低42%。資料來源：華金證券研究所21HBM 采用的主要封裝技術 HBM 結構及相關技術圖示HBM 的邏輯芯片的功能區資料來源：SK海力士先進封裝技術在HBM 制造中大放異彩，包括 TSV（硅通孔）、Bum

18、ping（凸點制造）、堆疊鍵合等技術，在與邏輯芯片共封時又另外使用中介層、系統級封裝SIP等技術。22HBM 技術將追求更高帶寬 目前，三大存儲廠商已將HBM4已經列入研發計劃：1、堆疊層數：HBM4在堆疊層數上，除了現有的8/12層外，將再往16層發展，更高層數也將帶動新堆疊方式Hybrid bonding的需求。HBM4 12層將于2026年推出，而16層則預計于2027年問世。2、邏輯die：受到GPU/HBM規格更往高速發展帶動，Trendforce預計HBM最底層的Logic die（Base die）將采用12nm制程，該部分將由晶圓代工廠提供，使得單顆HBM需要結合晶圓代工廠與存

19、儲器廠的合作。3、客制化：根據韓國中央日報報道，SK海力士正在招募CPU、GPU等邏輯芯片的設計人員，目標是將未來的HBM4以3D堆疊的形式堆疊在英偉達、AMD等公司的邏輯芯片上，預計該HBM4內存堆棧將采用2048位接口。該方案未定，只是在討論中。資料來源：Yole，Techspace，各公司官網三大存儲廠商 HBM 技術路線圖23大 綱一AI 芯片：從MOSFET到CoWoS（HI）二CoWoS/HBM 技術與發展三AI 大算力芯片產業市場與投資四AI 大算力芯片產業發展趨勢2470012502250330040000500100015002000250030003500400045002

20、023(E)2024(E)2025(E)2026(E)2027(E)根據亞太芯谷科技研究院分析預測，2023年，全球GPU市場規模為700億美元，隨著人工智能科技的發展，全球GPU市場需求不斷增長，預計2027年全球GPU市場規模將達到 4000億美元，2023-2027年復合增長率54%，2032年達到5500億美元，2023-2032年復合增長率為25.7%。全球 GPU 市場為三足鼎立的寡頭競爭格局，英偉達在獨顯領域一家獨大，市場份額占80%以上，AMD占比約10%，英特爾占比約5%。中國大陸廠商華為正快速崛起，市場需求量呈現出爆發式增長。根據華為內部和采購方渠道透露的信息，2023年華

21、為算力GPU出貨量約十萬片，而2024年產能增加到幾十萬片，下單需求已經達到上百萬片。2023-2027 全球GPU市場規模預估（單位：億美元）2023-2027年CAGR：54%全球 GPU 市場規模預估資料來源：亞太芯谷科技研究院12243648608010012001.5481525385002040608010012014020232024(E)2025(E)2026(F)2027(F)2028(F)2029(F)2030(F)臺積電其他25全球 CoWoS 產能預估 2030單位：萬片資料來源：亞太芯谷科技研究院備注：圖中數量為CoWoS的12吋Wafer數量，平均每片12吋Wafe

22、r可以切出25個Interposer，每個Interposer對應一個GPU。2023年10月預估1236609012016021027001.561530406010005010015020025030020232024(E)2025(E)2026(F)2027(F)2028(F)2029(F)2030(F)臺積電其他單位：萬片2024年5月預估20232030年 CoWoS 總產能年復合增長率修正為 CAGR：63.2%20232030年 CoWoS 總產能年復合增長率 CAGR：46%26HBM 市場規模預估 2026 資料來源：SK海力士，亞太芯谷科技研究院由于更強的生成式人工智能（G

23、en AI）需求推動了更高的AI服務器出貨量和每個GPU中更高的高帶寬內存（HBM）密度，亞太芯谷科技研究院預計HBM市場規模將從2022年到2026年前增長15.64倍（4年復合年增長率77%），從2022年的 23 億美元增長至2026年的 230億美元。2022-2026 全球HBM市場規模預估（單位：億美元）2339168280360050100150200250300350400202220232024（E）2025（E）2026（E）272024：AI 芯片NT聯盟的三個千億里程碑2024年，臺積電，英偉達營收預估分別達到 1000 億美元，凈利潤預估合計 1000 億美元。公司名

24、稱2024 Q1 營收2024 Q1 凈利潤2024（預估）營收同比 2023營收增長2024（預估）凈利潤同比2023凈利潤增長市值（2024.06.30）臺積電188.51 億美元 71.72 億美元1000 億美元44.2%450 億美元67.29%0.90 萬億美元英偉達260.44 億美元 148.81 億美元 1000 億美元64.15%550 億美元84.81%3.04 萬億美元合計448.95 億美元 220.53 億美元 2000 億美元53.61%1000 億美元76.49%3.94 萬億美元資料來源：WInd，亞太芯谷科技研究院28NT 聯盟市值合計超過 4 萬億美元20

25、24年7月9日，臺積電盤中市值首次超過萬億美元，收盤回落至 9570 億美元。2024年7月9日，英偉達市值達到 3.23 萬億美元。NT 聯盟市值合計 4.19 萬億美元，占費城半導體指數總市值的 57%。資料來源：東方財富，Wind 備注：英偉達、臺積電均為前復權后的周K線走勢圖。29大 綱一AI 芯片：從MOSFET到CoWoS（HI）二CoWoS/HBM 技術與發展三AI 大算力芯片產業市場與投資四AI 大算力芯片產業發展趨勢30零零部部件件2 2x x I In nt te el l S Sa ap pp ph hi ir re e R Ra ap pi id ds s S Se e

26、r rv ve er r(標標準準C CP PU U服服務務器器)N Nv vi id di ia a D DG GX X H H1 10 00 0(A Al lG GP PU U服服務務器器)倍倍數數B B O O M M 占占 比比單單機機A AS SP PB B O O M M 占占 比比單單機機A AS SP PCPU17.7%$1,8501.9%$5,2002.8 GPU板組：8*GPU+4*NVSwitchBaseboard0.0%$-72.5%$195,000一內 存 D R A M37.5%$3,9302.9%$7,8602.0 硬 盤 N A N D14.7%$1,5361.

27、3%$3,4562.3 網絡接口卡SmartNIC6.2%$6544.1%$10,90816.7 機箱(機盒、背板、布線)3.8%$3950.2%$5631.4 主板3.3%$3500.3%$8752.5 散熱(散熱片+風扇)2.6%$2750.2%$4631.7 電源2.9%$3000.4%$1,2004.0 組裝和測試4.7%$4950.6%$1,4853.0 設備制造商利潤6.6%$68915.6%$42,00061.0 總成本100%$10.474100%$269,01025.7 英偉達 AI 服務器成本分析資料來源：semianalysis;Al Server Cost Analys

28、is2023.05.29，萬和證券研究所31Fan-in 與 Fan-out幾種載板材料32新架構GPU01面板級封裝 PLP02 PCB與新材料06 NVLink&UALink05 BONDING 07 熱導與散熱03 光模塊/CPO04 測試08資料來源：亞太芯谷科技研究院AI 大算力芯片產業發展趨勢33產業發展趨勢 01：新架構 GPU可重構架構的抽象模型可重構計算（CGRA）是指利用系統中的可編程計算資源（處理單元和互連網絡），根據應用的需要和計算任務的數據流特點，動態構造出最適配的計算架構，達到逼近專用集成電路的高性能。資料來源：清微智能扇出型板級封裝FOPLP，所謂的扇出（fan-

29、out）是相對于扇入（fan-in）來說的，其封裝的RDL線路和引腳不僅在芯片所處的投影面積之內，而且在投影面積的外圍也有分布。面板級封裝（PLP，panel level package），則是相對于晶圓級封裝（WLP，wafer level package）來說的，就是之前采用晶圓作為載板的封裝改為采用面板作為封裝的載板。這些載板的材質可以選擇金屬、玻璃和高分子聚合物材料。近日，有消息傳出，AI芯片龍頭英偉達最快將于2026年導入扇出型面板級封裝，借此緩解CoWoS先進封裝產能吃緊，導致AI芯片供應不足的問題，英特爾、AMD等半導體大廠后續也將逐步加入扇出型面板級封裝的陣營。Fan-in 與

30、 Fan-out幾種載板材料資料來源：亞太芯谷科技研究院產業發展趨勢 02：FOPLP 技術35FOPLP 技術的產業合作項目進展資料來源：TrendForce，亞太芯谷科技研究院廠 商客戶應用封裝尺寸狀 態力 成MTKPMIC,RF515*510mm現 有AMDPC CPU515*510mm小量規劃日月光QualcommPMIC,RF300*300mm暫 緩QualcommPMIC,RF600*600mm小量規劃AMDPC CPU600*600mm小量規劃硅 品NVIDIAAI GPU515*510mm評 估 中臺積電NVIDIAAI GPU515*510mm評 估 中AMDAI GPU51

31、5*510mm評 估 中群 創NXPPMIC620*750mm量產2H24STMicroPMIC620*750mm評 估 中Nepes600*600mmSEMCOSamsungPMIC,AP510*415mm現 有FOPLP 模式的封裝業務合作項目及進展概要1FOPLP技術目前有三種主要應用模式：OSAT（封裝測試）業者將消費性IC封裝從傳統方式轉換至FOPLP；晶圓代工廠和OSAT業者將AI GPU的2.5D封裝從晶圓級轉換至面板級；面板業者跨足消費性IC封裝領域。2、產業合作案例：以AMD與力成、日月光洽談PC CPU產品及高通與日月光洽談PMIC產品進展較大；在AI GPU封裝方面，AM

32、D及NVIDIA大廠最為積極，與臺積電、硅品洽談相關產品，雙方將2.5D封裝模式自晶圓級轉換至面板級合作，進一步放大芯片封裝尺寸、使單位成本更低，但由于技術的挑戰，相關業者對此轉換尚處評估階段。產業發展趨勢 03：熱導與散熱資料來源：仲德科技，Enerage,Inc.高結構強度均溫板（HSS VC）構造及工作原理石墨烯純物理法生產工藝及裝置Install in IGBT module（石墨烯）3637產業發展趨勢 04：CPOCPO（Co-packaged optics），光電共封裝，將硅光子模塊和超大規模 CMOS 芯片以更緊密的形式封裝在一起，從而使系統成本、功耗和尺寸都得到進一步優化。資

33、料來源：Yole38產業發展趨勢 05：NVLink&UALink NVLink 是英偉達近距離的連接技術，可以直接完成GPU之間內存的互相訪問，無需CPU的干預。目前英偉達NVLink已經更新到了第五代，第五代NVLink大幅提高了大型多GPU系統的可擴展性。單個NVIDIA Blackwell Tensor Core GPU支持多達18個NVLink 100 GB/s連接，總帶寬可達1.8 TB/s，比上一代產品提高了兩倍，是PCIe 5.0帶寬的14倍之多。近日，英特爾、谷歌、微軟、Meta以及其他科技巨頭宣布成立一個新的行業組織“Ultra Accelerator Link(UALin

34、k)推廣組”。UALink推廣組正在抓緊制定一項新的行業標準，用于推進數據中心內連接的大規模AI系統的高速和低延遲通信，擺脫英偉達NVLink在AI加速器連接方面的統治。資料來源：英偉達，亞太芯谷科技研究院39產業發展趨勢 06：PCB 與新材料資料來源：晶化科技TBF（Taiwan Build-Up Film）可取代 ABF（Ajinomoto Build-Up Film）產品40Hybrid Bonding技術最早的實際應用是SONY公司的高端CMOS Image Sensor產品。通過把圖像傳感器晶圓和數據存儲、處理芯片的晶圓直接鍵合，實現大規模圖像數據的高效并行傳輸，后來這個技術被廣泛采用到了邏輯芯片和存儲芯的3D互連里。2023年海力士在第三代HBM產品（HBM2e）中測試了混合鍵合技術，近日更宣布將在HBM4中采用更高技術規格的Hybrid Bonding。同時，三星的HBM4預計也將采用混合鍵合技術。HBM堆疊技術發展趨勢 Hybrid Bonding 混合鍵合技術 產業發展趨勢 07：Bonding資料來源：SK海力士，CEA-Leti，華金證券研究所41產業發展趨勢 08：測試資料來源：是德科技官網lnfiniiVision實時示波器lnfiniium實時示波器X 系列信號分析儀實時頻譜分析儀(RTSA)