《ODCC：2023數據中心224G可插拔模塊交換機方案研究報告（60頁）.pdf》由會員分享，可在線閱讀，更多相關《ODCC：2023數據中心224G可插拔模塊交換機方案研究報告（60頁）.pdf（60頁珍藏版）》請在三個皮匠報告上搜索。

1、1數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002編號 ODCC-2023-03002數據中心 224G 可插拔模塊交換機方案研究報告開放數據中心委員會2023-09 發布I數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002版權聲明版權聲明ODCC（開放數據中心委員會）發布的各項成果，受著作權法保護，編制單位共同享有著作權。轉載、摘編或利用其它方式使用 ODCC 成果中的文字或者觀點的，應注明來源：“開放數據中心委員會 ODCC”。對于未經著作權人書面同意而實施的剽竊、復制、修改、銷售、改編、匯編和翻譯出版等侵權行為，ODCC 及有關單

2、位將追究其法律責任，感謝各單位的配合與支持。II數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002編寫組編寫組項目經理：項目經理：陳亮阿里云計算有限公司工作組長：工作組長：王超阿里云計算有限公司貢獻專家：貢獻專家：黃一元阿里云計算有限公司劉偉銳捷網絡股份有限公司陶冶銳捷網絡股份有限公司廖栽宜銳捷網絡股份有限公司石博文華勤技術股份有限公司劉彪明華勤技術股份有限公司崔鵬深圳市騰訊計算機系統有限公司包貴新北京百度網訊科技有限公司黃斌東莞立訊技術有限公司劉繼軍東莞立訊技術有限公司吳國繼安費諾集團蔣修國Keysight王雪新華三技術有限公司孫聰中國信息通信研究院III數據中心

3、 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002前前言言通用人工智能離我們越來越近，全世界的關注和投入正在帶來日新“周”異的變化?；仡櫲斯ぶ悄艿恼Q生和發展歷程，人類計算能力的進步幾乎牽動了每一次的重大技術突破，當前的大模型熱潮更是如此，只是動輒千萬億參數級的模型體量，所需計算資源遠超單顆芯片的上限，因此超大規模的計算集群成為支撐技術發展和應用創新的關鍵基礎設施。超大規模智算集群對整個數據中心基礎設施提出了非常高的要求，能耗、網絡等基礎設施首當其沖。其中數據中心物理網絡的迭代需求再次被提速，如何構建大（規模）、快（速率&帶寬）、高（性能）、?。ǔ杀荆?、低（能耗）的網絡來滿足

4、 AI 計算大集群的需求，成為了一個擺在產業界面前亟待解決的挑戰。數據中心網絡交換機的單芯片容量即將進入 100Tbps 時代，SerDes 速率也將躍至每通道 200Gbps 水平，ODCC 2023 年網絡工作組立項了本課題，旨在為下一代數據中心物理網絡構建所需的相關新技術和系統方案進行初步的探索、研究和整理，以供業內參考。IV數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002目錄版權聲明.I編寫組.II前言.III一、背景介紹.1二、數據中心網絡交換機技術趨勢分析.3（一）芯片技術的演進趨勢.3（二）光互聯方案的演進趨勢.5（三）電互聯方案的演進趨勢.13三、

5、224G 可插拔模塊交換機系統方案可行性論證.16（一）電通道設計要點.16（二）224G 高速 PCB 設計.23（三）224G 高速銅纜.31（四）224G 高速 IO 連接器.32（五）224G 高速 IO 界面.32（六）224G 高速 IO 連接器.34四、224G 可插拔互操作界面測試方案.50（一）電界面測試方案.50（二）光收發機測試方案.53五、參考文檔.54V數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-030021數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002數據中心數據中心 224G224G 可插拔模塊交換機方案研究

6、可插拔模塊交換機方案研究一、一、背景介紹背景介紹隨著云計算作為社會基礎設施進入普惠化階段、AIGC 為代表的人工智能掀起的新技術浪潮，數據中心網絡作為核心競爭力和基礎設施底座，仍然保持著更加快速的發展，在帶寬、性能、穩定性方面有著永遠無法滿足的需求。核心觀點一：數據中心 3 年一代網絡帶寬翻倍，如今被 AI 計算的需求再次加速。商業網絡芯片和商業互聯方案進入更加繁榮的時代。核心觀點二：站在今天，通用計算時代的數據中心網絡，和 AI計算所需求的網絡不可同日而語。大帶寬（芯片容量）、大規模（芯片容量、鏈路帶寬）、高性能、高穩定性（AI 分布式并行計算對網絡故障的容忍度極低），這些指標在以以太網為代

7、表的通用計算場景下是可以 trade-off 的，但是，在 AI 計算場景下尤其是大模型訓練場景下，以上指標是需要同時被極致滿足的。核心觀點三：網絡各層次的技術生態、產業生態需要更多的開源、開放，以此來提高整個產業的生產效率、惠普性，來解決能源消耗問題、底層基礎技術對上層產業進步的支撐。核心觀點四：大帶寬、大端口數、可插拔（模塊）系統的網絡交換機能更好滿足未來智算數據中心的網絡需求，除非電通道完全2數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002無法滿足 224G-PAM4 信號的系統內有效傳輸長度需求，且除非 CPO或 NPO 等非可插拔系統能夠滿足可運維性、部

8、署成本、開放生態、標準化等方面的用戶需求。預計 2025 年將有 102Tbps 容量的商用芯片面世，預計 2027 年數據中心網絡將迭代至基于 102Tbps 容量的 800G/1.6T 網絡。224G-PAM4 SerDes 將是 102T 芯片的重要解決方案之一。本研究報告旨在研究未來面向 224G-PAM4 的可插拔（模塊）系統的設計方案。以典型的數據中心網絡架構設計需求為出發點，嘗試相對應的交換機系統的可行性設計。3數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002二、二、數據中心網絡交換機技術趨勢分析數據中心網絡交換機技術趨勢分析（一）（一）芯片技術的演

9、進趨勢芯片技術的演進趨勢數據中心網絡對交換機性能的渴求直接推動了以太網交換芯片的飛速發展。以 Broadcom 為數據中心開發的數據中心交換芯片Tomahawk 系列為例，第一代 Tomahawk 芯片于 2014 年下半年發布，帶寬 3.2Tbps，采用 25Gbps SERDES 技術，支持 32 個 100G 端口或者 128 個 25G 端口；2022 年下半年，Tomahawk5 發布，單芯片帶寬高達 51.2Tbps，采用 112Gbps SERDES 技術，支持 64 個 800G 端口或 256 個 200G 端口。芯片性能的急劇飆升必然帶動芯片總體能量消耗的增加。盡管芯片加工

10、工藝從 2014 年普遍采用的 22nm 制程快速演進到 2022 年最新的 5nm 制程的過程，以及芯片工作電壓的持續降低已經有效地幫助復雜芯片大幅降低功率，但是 16 倍的性能提升預計依然需要使芯片增加 4 到 6 倍的能量消耗（參考 Rakesh Chopra，“Cu Beyond112Gbps”估算）。巨大的能量消耗使得芯片的散熱面臨嚴峻挑戰。從公開的信息可以看出，為了降低芯片的熱阻，降低芯片散熱難度，與Tomahawk3 相比，Tomahawk5 去除了芯片的金屬頂蓋，采用 Bare-Die 的封裝形式，使得散熱器可以直接與芯片 Die 接觸。這樣做有效降低了芯片核心與外界的溫差，但

11、也將最脆弱的 Die 暴露在外，交換系統的散熱挑戰變成了散熱與機械沖擊的雙重挑戰。4數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002圖 1 Broadcom 公司的 Tomahawk3 和 Tomahawk5 芯片示意圖芯片的封裝改變還體現在尺寸上。一方面，8 年芯片帶寬擴大16 倍，這其中 SerDes 速率從 25Gbps 提高到 112Gbps 帶來了 4 倍的提升，而另外 4 倍增長則源于 SERDES PIN 數量增加的貢獻；其次，為了改善 SerDes 速率提升后的信號完整性水平（SI，SignalIntegrity），提高信噪比（SNR），高速 Se

12、rDes PIN 的周圍需要有更多的地 PIN 用來做保護和信號回流；最后，芯片功率的提升和工作電壓的下降意味著需要更多的電源和地 PIN 用于芯片供電。這一切都意味著芯片尺寸將顯著增加。當然，也有反向因素。為了改善高速信號的信號完整性水平，高速信號 PIN 與地 PIN 之間的距離需要縮小，這會減小芯片 PIN 之間的間距（Pitch），有助于部份環節芯片尺寸的增長速度，綜合以上因素，預計在 2014 到 2022 的 8 年間，芯片尺寸已經增長 23 倍（參考 Rakesh Chopra，“Cu Beyond112Gbps”估算），而且還有繼續增長的趨勢。這將給芯片的焊接帶來巨大的挑戰，而

13、芯片封裝也可能被迫做出進一步的改變。事實上，Tomahawk 4 芯片的部份型號曾經采用過不需要焊接的 LGA 封裝形式。5數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002圖 2 Broadcom 公司 Tomahawk4 芯片示意圖基于相關信息，我們預測下一代的以太網交換芯片的一些趨勢：考慮到基于 112Gbps SerDes 的網絡尚未規模商用，下一代的交換芯片很有可能將繼續沿用 112Gbps SerDes 作為 102.4T 容量的方案之一。芯片帶寬繼續翻倍，達到 102.4Tbps。這意味著將需要 1024-lane 112G-PAM4 SerDes 或

14、 512-lane 224G-PAM4 SerDes。芯片物理尺寸將進一步變大，芯片物理封裝方式、裝配方案將進一步受到挑戰。盡管可以預期使用 3nm 工藝節點，芯片電壓進一步降低，但芯片的功率將依然不可避免地進一步增加，存在單芯片超過 1000w 的可能。（二）（二）光互聯方案的演進趨勢光互聯方案的演進趨勢隨著交換機 SerDes 速率的迭代，光互聯技術一直在進行快速的迭代，這從各種層出不窮的 MSA 協議，以及對光口速率的不斷提升6數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002的要求，和對功耗降低的訴求等都可以看的出來。當前階段光口的速率已經步入 224G 的

15、代際，陸續有廠家推出了 224G 光信號的產品。就 112G/lane 的 400G 或 800G 產品來說，QSFP112，QSFP-DD800，OSFP 等封裝類型均為當前數據中心的主流，但到下一代基于224G/lane 的 800G 或 1.6T 帶寬的可插拔模塊以后，電光界面的信號完整性性能以及模塊功耗密度的挑戰進一步提高，對用戶來說合適的模塊封裝類型和交換機端口類型選擇將越來越收斂。不過隨著技術的進步，產品的單 bit 功耗也在逐步降低，系統散熱技術也有新的突破，這些都為 800G 或 1.6T 甚至 3.2T 可插拔的應用帶來了比較樂觀的前景。一方面部分設備廠家認為可插拔光模塊可以

16、支持到 1.6T 甚至3.2T，尤其是 LPO 方案（功耗大為降低）面世以來以及有些廠家提供了強大的 SerDes，業界對于可插拔模塊的應用更為樂觀。但市場上仍然陸續有廠家推出 CPO 原型機進行相關技術的實踐探索。對于CPO 的優劣勢分析已經持續很多年，CPO 是否會終結可插拔光模塊，或者部分應用采用 CPO 方案，就目前的情況來看，還需要生態、技術、用戶等諸多方面的成長。CPO 的部分本文就不在贅述。7數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002來源：Some slides on QSFP-DD 1600 motivation，Mark Nowell，Ci

17、sco圖 3 QSFP-DD 和 OSFP 演進路線圖 4 各個典型封裝所支持功耗能力以及各典型產品的典型和上限功耗1 1光模塊能耗分析光模塊能耗分析光模塊產品的功耗一直是數據中心交換網絡部分功耗的主要來源，占比約為 40%50%。因此降低光模塊的功耗也是業界的共識和努力的方向。當前光模塊產品功耗的最大貢獻主要來自 DSP，DSP 消耗的功耗約占光模塊總功耗的 50%。當前業界對于降低 DSP 功耗的主要努力有以下幾個方向：采用更加先進的制程，比如 5nm 相對于 7nm，DSP 功耗可以降低約為 13%；8數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002采用 L

18、PO 方案，取消 DSP。這種方式可以降低約 50%的總體光模塊功耗，可以輕易達到 10pj/bit 的業界目標。同時在其它方向上的降低功耗的努力也在同步進行：優化電芯片的設計，降低 Driver 和 TIA 上所消耗的功耗，預估可以降低 Driver&TIA 總體功耗的 10%左右；由于硅光技術的引入，在降低了光源的使用數量的同時，也采用集成度更高的解決方案，這同樣可以降低功耗。比如采用 1 to 8分光器的 TX PIC 或者薄膜鈮酸鋰方案進行 800G DR8 的設計，部分廠家優化了工藝和設計可以繼續降低總體插損，這樣總體功耗可以降低約 1W 的功耗；通過提高鏈路的通道速率（比如 112

19、G/lane224G/lane），降低通道數量（比如 8 通道4 通道），同樣可以達到降低功耗的目的，例如 224G/lane 的 800G DR4，相比 112G/lane 的 800G DR8 就會有一定程度的功耗降低。來源：800G and 1.6T Optics，Andreas Bechtolsheim，Arista，ECOC 2022圖 5 光模塊功耗在交換機系統中的占比9數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002來源：Linear Drive Pluggable Optics(LPO)，Andreas Bechtolsheim，Arista圖 6

20、 各種類型 800G 光模塊功耗對比2 2光模塊技術光模塊技術光模塊技術的演進趨勢可以拆解為 DSP、模擬電芯片和光芯片幾個部分。DSP：光模塊所需要的 DSP 已經演進到了可以滿足 224G/lane 的5nm 代際，近期部分廠家也已經可以提供樣品。滿足光口(TP2)為224G/lane 的模塊樣品目前已經有部分廠家推出。這個類別的光模塊目前需要 Gearbox 作為中介，跟 112G SerDes 進行連通。另外個別廠家已經規劃在 2024-2025 推出 3nm 工藝的 DSP。模擬電芯片：光模塊所需要的模擬電芯片，主要指的是 Driver和 TIA。這兩個類別的產品，已經有部分廠家推出

21、了可以滿足 224G的相關產品。對于 Driver 和 TIA 的需求，有兩個演進分支：1）部分廠家逐漸把 Driver 甚至 TIA 集成到 DSP 中，這樣可以降低功耗，節約成本，并有利于產品布局；10數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-030022）最新推出的 LPO 要求 Driver 中增加 CTLE 功能，TIA 中增加Pre-emphasis 的功能。這兩個功能在沒有 DSP 的情況下，可以一定程度上補償系統鏈路衰減，提升產品性能。光芯片：當前已經有廠家可以提供能夠滿足 224G 的 EML 激光器的樣品，有模塊廠家已經用來做出成品進行 Live

22、DEMO。其它方案，比如 VCSEL，DML，硅光等目前 224G 應用均還不成熟。甚至受限于目前的工藝和技術，其中有些光芯片暫時還看不到推進到 224G 代際的機會。由于薄膜鈮酸鋰具有帶寬優勢，其作為調制器的光芯片解決方案可能會是另一條通向 224G 的道路。LPO 技術：當前行業對 Linear driver pluggable optics（也就是線性模塊，也叫 LPO 模塊）熱潮正起。主要受惠于 Host 端DSP-based 112G SerDes 的超預期能力，讓數據中心級別的光互聯方案有了 Linear 方案的可行性。224G/lane 是否存在 LPO 模式的可行性尚待驗證。眾

23、多設備廠家、模塊廠家和芯片廠家，以及 OIF 等標準組織，均在積極推動該項技術向前發展。對于 LPO 來說，其主要優勢有低功耗、低成本、低延時等。這些特性對于 AI 智算應用來說，是非常有吸引力的。不過目前尚未解決 LPO 光模塊跟設備之間的解耦問題，相應的一致性界面指標問題將是關系到 LPO 產業化的重要因素。這些會成為 LPO 成功應用的主要挑戰。11數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002圖 7 LPO 光模塊示意圖CPO：CPO（co-package optics）光電共封裝的概念和樣機推出已經有一段時間了。這期間 OIF 也推出了相應的行業標準。

24、CPO 有其優點，比如可以大幅縮短電通道長度來提供高速率信號所需的帶寬，大為降低功耗，可以節約前面板空間等。也不停的有廠家推出CPO 交換機原型機。但其固有缺點也暫時沒有很好的解決，比如：由于其不可插拔特性，非常不利于維護和更換，這在用戶角度是難以接受的痛點，更還有成本問題。另外，CPO 與交換機主芯片緊密相關，目前 CPO 的整個部件基本被交換機芯片廠家掌握，對于傳統可插拔模塊廠家來說參與感很低。這非常不利于設備關鍵部件的解耦和開放，不利于產業鏈的健康發展。圖 8 CPO 示意圖12數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002來源：Perspective o

25、n Linear Direct Drive Pluggable Optics，Janet Chen，META圖 9 DSP/CDR Based 光模塊、LPO 光模塊 CPO 對比3 3光模塊工藝光模塊工藝當前數據中心應用的光模塊主要采用非氣密方案。制程工藝大多采用 COB（多模）、COC/COS（單模）工藝。其中固晶（die bond）和金線鍵合（wire bond）是至關重要的工藝，這兩項工藝已經非常成熟，對于行業應用沒有什么障礙。不過由于光模塊通道數和單通道速率的提升，在光模塊封裝領域逐漸出現了一些新的工藝：倒裝焊（FC，Flip chip）。通過 FC 工藝，可以將 bare die

26、貼裝到基板上，這樣可以降低芯片成本，節約布板面積，縮短信號路徑較小信號衰減等；載板或類載板。由于 bare die 的 pin pitch 越來越小，傳統PCB 工藝設計出來的基本已經無法滿足逐漸縮小的焊盤和焊盤間距。因此需要采用載板或者類載板工藝制作 bare die 基本，采用 FC 工藝貼磚這類芯片；13數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002混合封裝。為了在現有封裝內部安裝更多芯片和部件，出現了MCM（multi chip module）設計。這個設計允許芯片進行堆疊，進行 2.5D 的設計。這其中可能會用到 Interposer 和載板等中轉層。

27、通過 MCM，可以實現光電混合堆疊封裝，以更高的密度，向垂直方向延伸光電封裝。甚至將來可能會觸及到在 Flash 領域已經很成熟的 3D 封裝。圖 10 MCM 混合封裝（三）（三）電互聯方案的演進趨勢電互聯方案的演進趨勢224G-PAM4 速率下電通道帶寬進一步受到挑戰。前面板可插拔模塊交換機的電互聯方案主要有如下幾種：傳統 PCB 方案圖 11 傳統 PCB 方案該方案使用傳統 PCB 實現，可以是 ASIC 直出端口，也可以是經過扣卡或背板連接器到端口。當跨板接到面板端口的時候，根據實際鏈路損耗情況，有可能需要在鏈路中間增加 Retimer。除了需要14數據中心 224G 可插拔模塊交換

28、機方案研究報告ODCC-2023-03002解決各部分電連接器的 224G-PAM4 帶寬問題、長距離 PCB 傳輸線的損耗問題、該方案的關鍵點為大量的 SerDes 走線下的 PCB 層面規劃，板厚可能去到 6mm，在此條件下的 PCB 生產工藝難度是非常大的挑戰。NCC 方案圖 12 NCC 方案NCC 方案為線纜飛線方式，從 IO 連接器尾部直接出線纜接到ASIC 附近，整個鏈路只有較短的 PCB 走線，可以降低整個鏈路的損耗。該方案的關鍵點為 PCB 板內空間緊張，板內端子需要高密度連接器，可能只有少部分鏈路可以使用這種線纜飛線方式。線纜雖然可以代替 PCB 到提供更低的損耗，但是在

29、224G-PAM4通道上也同時帶來了多個連接器處的阻抗不連續性挑戰。更多的線束同時也帶來系統內風阻的影響，進一步調整了高功率模塊、芯片的散熱方案。CPC 方案15數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002圖 13 CPC 方案CPC 方案使用的 ASIC 芯片與常規芯片不同，在芯片上需要預留socket 座子，然后 IO 連接器尾部直接飛線到芯片上的 socket 座子。該方案特點是高速信號不走 PCB，對 PCB 板材損耗沒有特別要求，線纜直接從芯片連接到面板 IO。此方案的目標是和 CPO 技術共用界面。其相比 NCC 方案的電通道更具連續性，但是最大的

30、挑戰是高密度銅線封裝問題、線纜本身的性能挑戰。16數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002三、三、224G224G 可插拔模塊交換機系統方案可行性論證可插拔模塊交換機系統方案可行性論證（一）（一）電通道設計要點電通道設計要點較低速率下，基于 PCB 的互聯能夠滿足盒式設備的損耗要求；224G-PAM4 互聯 Nyquist 頻率提高到 53GHz，對損耗的要求進一步提高，在某些場景下，傳統的純 PCB 架構無法滿足損耗要求。一方面，通過銅纜降低損耗，銅纜進入設備框內帶來的新的硬件架構，例如NPC(Near package Cable)或 CPC(Co-pa

31、ckage cable)；另一方面，Vertical I/O 被提出，通過硬件架構的革新，縮短 PCB 內的走線，使得損耗滿足要求。如下圖展示了各種可能的 224G 互聯形態，圖中的尺寸、互聯長度和損耗數據為預估，僅作為參考。圖 14 各種 224Gbps 可插拔系統形態及參考互聯數據17數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002224G 系統互聯抽象到無源鏈路設計，可劃分為“傳輸”和“連接”?！皞鬏敗睘閭鬏斁€部分，包括了封裝走線、PCB 走線、銅纜以及連接器內部傳輸線，對信號的影響為“損耗”；“連接”實現不同傳輸線的轉換，包括 PCB/基板換層、焊接、壓接

32、，金手指連接等，對信號的影響為“反射”、“串擾”和“帶寬”等。1 1224G224G SerDesSerDes 能力能力224G 背板(KR)和銅纜(CR)應用的損耗預算，802.3 最新定義為die2die 的最大損耗為 40dB at 53.125GHz；802.3DF 對光模塊(C2M)應用提出兩種可能的損耗目標。中等損耗(Medium Loss)目標為bump2bump 22dB at 53GHz，高損耗(High loss)目標 bump2bump36dB at 53GHz；與 112G 損耗預算是 Pin2Pin，224G 由于頻點更高，封裝損耗占比提高不能忽略，224G 損耗預算

33、包括了封裝損耗。因此，224GMediumloss 給 設 備 PCB 鏈 路 損 耗 預 算 與 112GCR(7dB26.5Ghz)相當；224G High loss 給設備 PCB 鏈路損耗預算與 112G C2M(11.9dB26.5Ghz)相當。不同 C2M 的損耗預算，對光模塊 SerDes 的能力要求不同，highloss 需要 SerDes 更多資源和功耗。224G SerDes 在不同的應用場景下，為優化功耗 SerDes 可能存在差異化，無源鏈路設計需按照實際SerDes 能力進行損耗預算。18數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002圖

34、 15 802.3DF 224G C2M 損耗預算建議2 2傳輸損耗傳輸損耗傳輸線損耗包括介質損耗和銅箔損耗，介質損耗一般可由介電常數虛部 Df 表征，銅箔損耗和銅箔的粗糙度相關。隨著介質材料的Df 不斷下降，目前 PCB 材料 Df 已經下降到 0.001 量級，而 PTFE 材料最小 Df 下降到 0.0003，介質損耗不斷下降，等級越高的材料銅箔損耗占比越高，降低損耗最有效的方式是增加銅的橫截面周長，代價通常是犧牲密度。圖 16 不同介質傳輸線損耗(28Ghz)參考介質損耗和銅箔損耗將信號能量轉換為熱能，對差分信號，差模能量轉換為共模會造成信號損失。224G PAM4 信號 UI19ps

35、，對差分信號的 Skew 要求嚴格，如下圖 4ps 的 Skew 就能帶來 53GHz 額外19數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002的損耗。不局限于信號等長，任何差分信號的不對稱均可形成 skew，對 PCB 設計，銅纜的設計、制成和管控帶來挑戰。由于 ps 量級時域的量測困難，通常采用模式轉換進行 skew 的監控。圖 17 差分信號 skew 造成額外的損耗和模式轉換3 3反射和串擾反射和串擾電信號速率 224G-PAM4 意味著信道上對信號產生畸變影響的物理結構尺寸臨界值更低。同時，反射和串擾帶來的信號失真相比ISI 更難被接收機的 EQ 進行補

36、償和恢復。系統中傳輸線之間的轉換包括:Die micro-bump 到封裝基板扇出基板換層(上半部分換到下半部分)封裝到 PCB 扇出，可能為 BGA 焊接、Socket 或 direct attachPCB 內換層，主要為各種形態的過孔PCB 到連接器，包括 IO 連接器或線纜連接器20數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002IO 連接器金手指界面各連接位置對信號的影響包括：反射損耗、帶寬不足引起的損耗、多次反射噪聲以及串擾；通常會涉及到不同供應商涉及領域的交界面，需要不同廠家共同進行拉通設計。一般需要進行 3D 建模進行仿真優化，一些共性的影響列舉如下

37、。a)a)StubStub 效應效應如圖 18 所示，Stub 的多徑效應會造成輸入信號時域展寬形成ISI。Stub 越長，時域脈沖展寬越寬，頻域諧振頻率越低。在Pluggable 鏈路中，不可避免的 Stub 效應很多，包括：背鉆過孔殘留，過孔孔環，金手指插入等；這些 Stub 效應，都和工藝結構公差相關，減小此類 Stub 需要從設計工藝結構方面進行管控。從 SI 角度需求，PCB 內 Stub 長度需要控制在 6mil 以內，4mil stub 對信號的影響較小。圖 18 Stub 效應在時域和頻域的影響b)b)截止頻率截止頻率21數據中心 224G 可插拔模塊交換機方案研究報告ODCC

38、-2023-03002同軸線纜截止頻率如下，其中 d1 和 d2 分別為同軸線纜的內外徑，可見同軸的截止頻率和線徑成反比，減小介電常數也能提高截止頻率。224G 鏈路中，連接處的 SI 設計，信號模式盡量接近于同軸模式。例如同軸連接器在 PCB 的過孔，需要外圈 GND 回流過孔；可以把信號過孔對比為同軸結構的內徑，外圈回流孔對比為外徑。差分過孔換層，以及 BGA 封裝和扇出也類似。因此，GND 回流過孔的數量以及距離，會影響截止頻率；224G-PAM4 的基頻達到 56Ghz，有文章指出 224G BGA 封裝的間距需要小于或等于 0.8mm。4 4芯片封裝損耗芯片封裝損耗224G 交換芯片

39、的封裝尺寸很大，可能會達到 100mm*100mm 以上，該尺寸芯片的高速封裝損耗已不可忽略，參考 oif2022.465.01 文檔對 224G 芯片封裝做如下假設：22數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002圖 19 封裝模型假設圖 20 Host ASIC 封裝損耗23數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002圖 21 Module 封裝損耗在 224G 速率下，Host ASIC 封裝損耗在整個鏈路中的損耗占比越來越大，預估的最大損耗可達到 8dB53.125GHz 以上，同時在Module 端的封裝損耗也可達到

40、 2.5dB53.125GHz，所以留給系統內的損耗余量比較小。（二）（二）224224G G 高速高速 P PCBCB 設計設計PCB 是設備內高速信號最主要的載體，也是目前承載高速、電源互聯的最成熟和低成本的載體。224Gbps 對 PCB 的高頻損耗要求更為嚴格，同時對 PCB 的連接帶寬、阻抗一致性也有更高的要求。PCB材料和工藝的關鍵技術如下圖所示。24數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002圖 22 224G 高速互連關鍵技術需求1 1P PCBCB 傳輸線損耗管控傳輸線損耗管控覆銅板是 PCB 的材料核心，它是由樹脂、玻璃布和金屬銅箔三者結合

41、而成，三者的性能指標都會影響覆銅板的電氣特性。224G 板材 相 較 于 112G 板 材 預 計 Df 由 0.00210GHz 降 低 到 0.000814GHz，插損由-0.7db/inch28GHz下降到-0.5db/inch28GHz 以內，插損性能提升 28%。例如，樹脂采用 PPE+碳氫樹脂組合，搭配 Rz 在 0.30.5m 的 HVLP4 銅箔，優先選用Quartz Glass 玻璃布，進一步提升電性能。圖 23 高速銅箔粗糙度演進25數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002PCB 內層走線在加工制程中，損耗控制關鍵在于銅箔粗糙度的控制。

42、而棕化流程是對銅箔進行表面處理的最后一步，也是對銅箔粗糙度影響的關鍵步驟。棕化流程通過對銅箔表面的咬蝕增加銅箔粗糙度，通過增加銅箔粗糙度來增加 PP 與銅箔的結合進而保證產品可靠性，然而該做法必然導致損耗的增加。這對 224G 高速互聯 PCB是必須解決的一個矛盾。所以棕化工藝對此的發展趨勢是增加化學結合力，減少對銅箔粗糙度的增加。新一代及下一代的棕化藥水會在銅箔表面形成一層有機膜，有機膜通過化學鍵與 PP 結合，增加結合力，同時對銅面的粗化效果更小，達到保證可靠性的情況下保障插損能力的提升。不同的棕化藥水對插損的影響如下圖所示，目前業界較為成熟的是 HF&SF 級別的棕化藥水，Glicap

43、與 NovabondIT 為下一代棕化藥水。圖 24 低粗糙度棕化藥水2 2P PCBCB 連接過孔連接過孔 SISI 仿真仿真各種形態的過孔是 PCB 的 Z 向連接不可避免的形態，也是限制PCB 承載信號帶寬的關鍵因素。鉆孔、孔盤、反焊盤、信號孔間距、26數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002GS 間距、Stub 等多個因素均影響過孔的帶寬，完備的敏感性分析如下，指導 224Gbps 過孔的設計和制成工藝要求。圖 25 過孔參數說明及仿真設置通過 3D 全波仿真工具建模，參數化掃描了以下關鍵要素：DHS（鉆孔直徑）Pad Size（過孔焊盤直徑）An

44、tipad Size（過孔反焊盤直徑）S2S（差分信號孔中心距）S2G（信號孔與地孔中心距）Stub（過孔殘樁長度）GND Qty（地孔數量）鉆孔及焊盤尺寸掃描結果示例：鉆孔及焊盤尺寸掃描結果示例：27數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002通過遍歷不同的信號孔鉆孔直徑和過孔焊盤 PAD 尺寸，觀察過孔 Insertion Loss 及諧振頻率位置變化及趨勢掃描變量：DHS=8mil，10mil，12mil；Pad 直徑=12mil，14mil，16mil，18mil，20mil圖 26 鉆孔及焊盤尺寸掃描掃描結果：Drill=8mil 的小孔和 PAD=

45、12mil，SI 性能較好，實際產品需結合工藝能力綜合考量。S S2S2S 和和 S S2 2G G 間距掃描結果示例：間距掃描結果示例：通過遍歷不同的信號孔間距，觀察過孔 Insertion Loss 及諧振頻率位置變化及趨勢；掃 描 變 量：S2S=30mil，32mil，34mil，38mil，40mil；S2G=30mil，32mil，34mil，38mil，40mil28數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002圖 27 過孔 S2S 和 S2G 間距掃描掃 描 結 果：信 號 過 孔 間 距 S2S=30mil，信 號 和 地 過 孔S2G=30

46、mil，SI 性能較好。A Antipadntipad S Sizeize 和和 StubStub 掃描示例：掃描示例：通過遍歷不同的信號孔 Antipad 尺寸，觀察過孔 InsertionLoss 及諧振頻率位置變化及趨勢；掃描變量：AntiPad 直徑=28mil，32mil，36mil，40mil；ViaStub=0mil，2mil，4mil，6mil，8mil，10mil，12mil圖 28 過孔 Antipad 和 Stub 尺寸掃描29數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002掃描結果：Antipad=40mil，Stub=0 和 2mil 的

47、 SI 性能比較好，實際產品需結合工藝能力綜合考量。GNDGND QtyQty 掃描結果示例：掃描結果示例：通過遍歷不同的信號地孔數量，觀察過孔 Insertion Loss 及諧振頻率位置變化及趨勢；掃描變量：GND Qty=1，2，3，4，6圖 29 不同 GND 過孔數量及仿真結果掃描結果：4 地孔及 6 地孔的 SI 性能較好過孔關鍵參數掃描結果匯總圖 30 過孔參數掃描匯總30數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002綜合以上仿真結果，從過孔損耗維度和 PCB 工藝能力分析，最小損耗組合為 S2S=32mil，S2G=32mil，Pad=18mil

48、，Antipad=34mil，Stub=6mil，DHS=10mil，GND 數量=6。3 3PCBPCB 連接過孔制造工藝連接過孔制造工藝基于高速差分過孔帶寬最優模型仿真結果，同時兼顧 PCB 的可制造性，并綜合 PCB 行業主流制造商的工藝能力水平，224G 高速互聯 PCB 關鍵技術需求如下：224G 的 PCB 損耗要求極低，從系統角度分析，需要達到約1dB53.125GHz 的水準，板材需用 M9 或同等級材料為了解決大電流的問題，可能會需要 N+M 的疊構，將電源部分使用 M 板獨立出來，通過二次壓合完成 N+M 的單板設計，甚至為 N+M+M、階梯板等復雜疊構設計。224G 的系

49、統主板層次預計可達到 40 層以上，同時可兼顧高速損耗和電源通流要求，板厚最多可達到 6mm 左右，過孔的Stub 控制、層偏控制將挑戰極大 224G Pluggable 高速互聯系統對應可能演進新的產品架構，可能對 PCB 的工藝提出更多新的要求，需要行業持續關注并及時做好需求承接。表 1 224G 高速互聯 PCB 關鍵技術需求PCB 技術特征關鍵特性指標關鍵特性指標-Advance-Advance關鍵特性指標關鍵特性指標-Standard-Standard-M9 級別材料-一次壓合或者 N+N、N+M、N+M+M 壓合-層次 20-48L-板厚從 3.2-6.0mm插 損 波 動 偏 差

50、 0.03dB/inch插 損 均 值 偏 差 0.02dB/inch插損波動偏差0.04dB/inch插損均值偏差0.03dB/inch3.0mil 整體層偏3.5mil 整體層偏31數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002-子板成孔孔徑 4/5mil，通孔鉆孔 6/7mil-超低損耗或者無損棕化處理-內層銅厚 12 層 2OZ 或者 8 層3OZ-工藝組合：背鉆+POFV+深微孔 L1-5+臺階等2.5mil 相鄰層偏3.0mil 相鄰層偏Stub 4milStub 6mil內層4%阻抗公差內層5%阻抗公差壓接孔孔徑公差0.03mm壓接孔孔徑公差0.0

51、4mm壓接孔孔位公差1.6mil壓接孔孔位公差2mil（三）（三）224224G G 高速銅纜高速銅纜由于 224G 系統對損耗有著嚴格的要求，所以對于 DAC 而言，當前的 CR 通道預算預計在 1 米長度。如果有更長的應用場景，則需要使用 ACC 和 AEC 來實現，各銅纜廠家均在開發階段。圖 31 銅纜開發規格下圖為當前狀態下的 224G OSFP 銅纜的測試情況，相對于 112G銅纜，224G 銅纜插損的滾降頻率向后推到了 55GHz 以上，后續還會在此基礎上持續優化改進。32數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002圖 32 224G OSFP 銅

52、纜測試（四）（四）224224G G 高速高速 IOIO 連接器連接器基于 224G 速率的 802.3DJ 標準，目前還未發布，按照計劃約在2023 年 Q4 會發布 Draft1.0 版本。圖 33 802.3DJ 標準發布時間計劃（五）（五）224G224G 高速高速 IOIO 界面界面OSFP1600、OSFP-XD QSFP224 QSFP-DD160033數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002圖 34 802.3DJ 定義的 224G KR/CR 損耗要求當前 200G 開發進展：端口 IO 連接器（OSFP，QSFP，QSFP-DD）；重點

53、優化連接器與金手指的 mating interface 和連接器的 PCB footprint 部分；連接器主體性能一般都足夠好；改善 mating interface 處的阻抗；阻抗不連續最小化；最小化 mating 時的金手指 pad 處 stub 長度；減少mating 面和 footprint 處的串擾。圖 35 OSFP 112G 版本 vs 224G 版本仿真對比34數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002圖 36 QSFP 112G 版本（左）vs 224G 版本（右）仿真對比考慮到高速接口 I/O 需要對模塊向下兼容，并且兼顧可靠性與SI

54、性能，因此在向更高速率演進的過程中，電接口 I/O 的可優化空間非常小?；诋斍耙恍┲髁鲝S商在 OSFP 和 QSFP 224G 版本的設計結果來看，針對更高帶寬的支持比較困難。需要光、電器件相關廠商一起繼續進行相關方向的努力。（六）（六）224224G G 高速高速 IOIO 連接器連接器1 1P PCBCB 傳輸線損耗管控傳輸線損耗管控1.單 PCB 方案受 19 英寸機架寬度的限制，在使用雙層連接器使用 Belly-to-belly 方 式 設 計 的 情 況 下，單 PCB 方 案 最 多 能 夠 承 載 88 個QSFP/QSFP-DD 形態 I/O 連接器，或者 64 個 OSFP

55、 形態的 I/O 連接器。對于 1024-lane 的芯片，需要使用 128 個 8-lane I/O 連接器，或者64 個 16-lane I/O 連接器才能夠充分利用芯片所有的帶寬。35數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002圖 37 單 PCB 方案示意圖（1）圖 38 單 PCB 方案示意圖（2）因此，單 PCB 方案實際能夠承載的 102.4Tbps 芯片可能存在如下三種形態：使用 64QSFP-DD 或 64OSFP 的形態，支持 512224Gbps 規格的芯片，單口 1.6Tbps（224Gbps8）；使用 32OSFP-XD 的形態，支持

56、 512224Gbps 規格的芯片，單口 3.2Tbps（224Gbps16）；使用 64OSFP-XD 的形態，支持 1024112Gbps 規格的芯片，36數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002單口 1.6Tbps（112Gbps16）；系統尺寸與系統的散熱方案強相關，通常高度不小于 2RU。優勢：總體上設計簡單，器件通用劣勢：I/O 數量受限，如果需要更多端口，通常需要采用 break-out的方式雙層 I/O 對于大功率 I/O 模塊的散熱挑戰大來源：https:/ 39 單 PCB 方案交換機示意圖單 PCB 方案的通道阻抗連續性相對較好，其實

57、現難點仍然是如何最大限度減少 PCB 損耗，可從兩個方面重點考慮，一種是使用更先進的 PCB 材料，使得單位長度損耗足夠低，另外一種為通過合理的布線策略減少 PCB 走線長度，從而實現較小的 PCB 損耗。下圖為典型的不同損耗的 C2M 通道特性，僅供參考：37數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002圖 40 典型 C2M 通道特性2.多 PCB 方案多 PCB 方案常用于構建超過 64 個端口的系統，或者對 I/O 散熱要求高的系統。通常采用扣板或插卡的形式。以下一代 102.4Tbps系統為例，使用多 PCB 方案可以構建：128QSFP 形態，支持

58、512224Gbps 規格的芯片，單口800Gbps（224Gbps4）。64QSFP-DD 或 64OSFP 形態，支持 512224Gbps 規格的芯片，單口支持大功率 1.6Tbps（224Gbps8）模塊。使用 64OSFP-XD 的形態，支持 1024112Gbps 規格的芯片，單口支持大功率 1.6Tbps（112Gbps16）模塊。128 端口系統尺寸通常不小于 4RU，64 端口尺寸通常不小于 2RU。38數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002圖 41 多 PCB 方案示意圖（1）圖 42 多 PCB 方案示意圖（2）39數據中心 224

59、G 可插拔模塊交換機方案研究報告ODCC-2023-03002優勢：支持的端口數量多；端口模塊化，可以提供靈活配置端口的能力；可以為模塊提供更好的散熱能力。劣勢：SI 挑戰大，部份情況可能需要增加信號調節元件；需要使用較多（扣板或背板形式的）板間高速信號連接器。來源：https:/ 43 多 PCB 方案交換機示意圖(1)-128 端口40數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002圖 44 多 PCB 方案交換機示意圖(2)-128 端口多 PCB 方案的難點在于如何板間連接器的性能能否支持到 224G信號的傳輸，在整個通道中增加一個板間連接器，相當于增加了

60、多處阻抗不連續點，會使得扣板端口的信號急劇惡化。高密度的壓接板間連接器形式，能否保持較高的一致性，可能會是系統成敗的關鍵。軟板/電纜方案軟板/電纜方案可以理解為多 PCB 的一種特殊形式，將交換芯片部份或者全部的高速信號通過軟板/電纜的形式連接到 I/O 連接器或者連接器附近。因為電纜對電信號的傳輸損耗顯著小于 PCB 傳輸線，在 I/O 側能夠得到更好的信號質量，能夠有效提高多端口復雜系統的設計可行性，降低對高性能 PCB 材料的依賴。因為電纜/軟板的靈活性，整個交換系統的端口組合更為靈活多變，上述單 PCB 和多 PCB 的端口組合都可以實現。41數據中心 224G 可插拔模塊交換機方案研

61、究報告ODCC-2023-03002圖 45 電纜方案示意圖優勢：形態靈活，SI 風險相對較低。劣勢：連接器多，整機失效風險高。電纜的 PCB 方案，在芯片四周會有若干電纜連接器的座子，高密度的連接器座子是 PCB 布局的關鍵，所有座子總帶寬需達到102.4T。由于電纜損耗較低，所以 SI 風險相對較低，但很有可能由于裝配等原因引起的一致性問題。4.Vertical I/O 方案42數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002還有一類特殊的 I/O 方案，可能有助于解決 224G Pluggable 交換機的 SI 困難。這類連接器沒有采用傳統 I/O Rig

62、ht Angle 的設計形態，而是采用 Vertical 的形式，這就使得光模塊可以垂直于 PCB的方向插入系統，而不是傳統的平行于 PCB 方向。這種形態帶來的一個好處是，將原本只能沿 PCB 一條邊擺放 I/O 連接器的一維端口布置方式，升級成了二維，可以將 I/O 安置在整個 PCB 表面上。因此，只要 PCB 足夠大，就可以容納相當多的 I/O 端口；而且，因為可以在一張 PCB 上容納所有的 I/O 連接器，高速信號也不需要像多PCB 方案或者電纜/軟板方案那樣跨多個連接器傳輸，減少了傳輸通道上阻抗不連續點、stub 等結構的數量，對于改善信號頻帶內通道線性度和損耗有一定幫助。圖 4

63、6 Vertical I/O 方案示意圖（1）側視圖43數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002圖 47 Vertical I/O 方案示意圖（2）正視圖圖 48 Vertical 和 Right Angle 的 I/O 連接器圖 49 Vertical 和 Right Angle 的 I/O 模組形態基于以上分析，該連接器方案可以承載多種基于 102.4Tbps 芯片的交換機形態：44數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002基于 512224Gbps 規格的芯片1)128QSFP 形態，單口 800Gbps（224G

64、bps4）2)64QSFP-DD 或 64OSFP 的形態，單口 1.6Tbps（224Gbps8）3)32OSFP-XD 的形態，單口 3.2Tbps（224Gbps16）基于 1024112Gbps 規格芯片1)256QSFP 形態，單口 400Gbps（112Gbps4）2)128 QSFP-DD 或 128 OSFP 的 形 態，單 口 800Gbps（112Gbps8）3)64OSFP-XD 的形態，單口 1.6Tbps（112Gbps16）Vertical 連接器的物理長度，相對于 Right Angle 連接器要更短，因此損耗性能表現更好，下圖為 QSFP224 的插損性能可供參

65、考：圖 50 Q224 插損 VT 對比 RA45數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-030022 2系統散熱方案系統散熱方案1 1）風冷風冷基于假設構建的一種支持 641.6Tbps Spine 交換機，Spine交換機單 PCB 方案前面板，全風冷架構示意圖：圖 51 單 PCB 方案 Spine 交換機散熱模型示意圖以整機熱耗散特性 3kW（不含 Cooling fans）預估，目標 4RU全風冷系統風量預估在 700CFM 以上，可配置 88080/8086 高性能方案對整機散熱。102.4Tbps 交換芯片使用的風冷散熱器，可以使用本地 VC 均熱，也

66、可以考慮多熱管 VC 復合拉遠等方案，以應對 Bare-die 芯片應力風險方面的風險。單 PCB 板方案支持 64 個 OSFP1600 散熱，有限前面板寬度下使用 24cage 方案，對于單光模塊 24w 功耗來說存在散熱挑戰，建議考慮在 OSFP 模塊上下面均集成翅片散熱。46數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002圖 52 帶有底部散熱翅片的 OSFP16002 2）冷板冷板基于 假設 構建的 一種 支持 64 1.6Tbps Spine 交換 機，Vertical I/O 方案前面板，可能使用 OSFP1600 風冷+Switch ASIC冷板冷

67、卻方案的散熱模型示意如下。圖 53 Vertical I/O 方案 Spine 交換機散熱模型示意圖基于 102.4Tbps 交換芯片功率約 1000w 的假設，8K 溫差下使用去離子水冷板流量需達到 1.8LPM，為降低設計流量和供液功耗，提高冷板內換熱效率較為關鍵；同時 ASIC 冷板方案下，其余器件仍需風冷流量預估為 470CFM。冷卻液導熱系數(W/mK)比熱容(kJ/kgK)密度（kg/m3）運動粘度/(mm2/s)冷板流量(LPM)去離子水0.634.29920.65521.825%丙二醇 PG0.492.48110141.37082.9825%乙二醇 EG0.512.347102

68、71.16853.1147數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002特殊 I/O 方案下交換芯片安裝在垂直于系統氣流的背板 PCB 上，因此交換芯片需要考慮使用冷板方式或虹吸熱管的方式進行散熱，對路徑上傳熱效率要求較高。3 3系統電源方案系統電源方案系統電源預估基于上述 102.4Tbps（224Gbps512）帶寬的交換芯片和OSFP1600 光模塊的功率推演，整機系統功耗預估將達到 4500W，其中 PSU 所需輸出功率約 4200W。同時節能低碳政策驅動 PSU 效率持續提升，部分國家和地區已經強制要求滿足鈦金能效標準，鈦金PSU 產業鏈正在加速催熟，

69、當前業界大量應用的鉑金 CPRS 電源面臨升級?；诂F有連接方式，預估通流損耗占比3%，綜合成本和效率，12V 母線仍為首選?；谏鲜鲈u估，下一代交換機系統供電預設如下：1）單 PSU 輸出功率需求 2000W 及以上2）維持 12V 輸出，3+1 冗余3）效率從當前鉑金 94%提升至鈦金 96%，同時伴隨 GaN 等器件產業鏈成熟，最終達到超鈦金 97%4）PSU 仍然可以采用當前主流 CPRS 電源尺寸板載 DC-DC48數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002板載供電的挑戰來源于不斷增加的交換芯片和光模塊功耗。預估 102.4Tbps 芯片，CORE

70、 電流將達到 1100A，導致 PCB 損耗顯著增加甚至超過 VR 電源損耗。同時傳統分立橫向供電方案需要占用大量PCB 空間，進一步增加了 PCB 設計難度?；谏鲜鎏魬?，參考 AI 超算產業，供電器件可能從傳統分立器件演進至集成模組方案降低占板空間，供電形態可能從傳統橫向供電演進至垂直供電形態降低PDN 阻抗，進而顯著減小 PCB 損耗。來源：https:/ 54 VR 集成模組示意圖來源：https:/ 55 垂直供電形態示意圖49數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002另一方面，大量高功率光模塊將使得供電功率預估將達到1500W。而為了確保光模塊的

71、可靠性，在提供大功率的同時需要兼顧端口故障隔離功能，可能的方案如下：集中式供電+端口 EFUSE 組合優勢：a)占板面積小，布局靈活；劣勢：a)PCB 壓降控制困難；b)電源失效會導致部分端口不能工作。圖 56 端口集中供電+eFuse 示意圖分布式供電優勢：a)供電解耦，可靠性高；50數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002劣勢：a)占板面積較大，對布局有一定約束；圖 57 端口分布式供電示意圖基于上述兩種端口供電方式均有一定的優勢和弊端，可采用兩者融合的模式，結合產品實際的可靠性和其他技術需求，規劃可接受的端口故障隔離顆粒度，進而達成方案成本和布局的平

72、衡。四、四、224G224G 可插拔互操作界面測試方案可插拔互操作界面測試方案（一）（一）電界面測試方案電界面測試方案測試 224G-Pluggable 電接口目前主要遇到的挑戰包括：224G電接口尚未規范化，測試方法主要面向預研測試，以及對仿真的支持與對照；224G 信號對連接器性能、PCB 損耗、反射和串擾更加敏感，在電接口測試時使用的夾具、連接線、轉接頭等附件的性能要求會更高；由于 224G 信號符號率的提升，對測試儀表的帶寬和信噪比等性能，也相對于 112G 接口測試有更高的要求。51數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002電接口測試包括發射機測試

73、和接收機測試，以及端口回波損耗測試等內容。發射機測試主要使用采樣示波器，對 224G 電信號眼圖和波形進行測試和分析。使用 80GHz 以上電口帶寬的示波器可以支持 112G 波特電信號的測試，主要限制在硬件的時鐘恢復速率支持上。由于目前尚無儀表支持 100G Baud 以上速率信號的時鐘恢復，可以使用被測件的同步輸出通道輸出分頻后的數據信號，或輸出分頻時鐘信號進行測試。對于實時示波器則不需要提供分頻時鐘，可以用高帶寬實時示波器進行數據采集后，通過軟件恢復時鐘進行分析。圖 58 224G 電發射機測試對于 224G 電接收機的測試，可以使用誤碼儀產生標準數據信號，并添加抖動、噪聲、碼間干擾等壓

74、力，對接收機壓力容限進行測試。為了測量接收機誤碼率，通常需要被測件將接收到的信號進行環回輸出，再使用誤碼儀或實時示波器進行誤碼統計。另一種方式是使用 224G 接收機內部的誤碼統計功能，這種方式需要被測件 DSP 支持標準碼型的誤碼率記錄。52數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002圖 59 Designcon2023 上 224G 接收機測試系統演示對 224G 電接口進行回波損耗測試，需要使用網絡分析儀搭配HCB/MCB 測試夾具，對交換機和可插拔模塊的電口反射進行測試。目前對于 224Gbps 回波損耗測試的頻率范圍沒有具體要求，但預計不會低于 50

75、GHz。在接收機預研測試中，可以通過標準 PCB 通道模擬傳輸通道所需的衰減。下圖是 224Gbps 電接口預研測試中使用的 ISI 測試版，通過 1mm 接口的 PCB 走線模擬傳輸通道，組成 224G 電口接收機測試系統。圖 60 224G ISI 測試板53數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002（二）（二）光收發機測試方案光收發機測試方案224G 光口規范尚在討論階段，因此對于光收發機的測試方案也主要針對研發測試應用。對于 112G 波特光信號，標準接收機的帶寬預估為 56GHz，使用光采樣示波器提供大于 56GHz 帶寬的光口硬件可以支持。由于光

76、采樣示波器需要硬件提供同步時鐘觸發，而目前光時鐘恢復硬件最高只支持到 64G 波特率，因此需要被測件使用另一路同步輸出提供分頻時鐘信號，或同步的分頻數據信號用于硬件時鐘恢復。圖 61 224G 光發射機測試需要說明的是目前 224G 光口測試對信噪比要求很高，在使用光示波器測試時，需要注意測試軟件設置，對信號中的噪聲進行有效的處理和表征，才能準確測量光信號參數。對于 224G 光口未來的一致性測試，還需要從測試軟件算法和測試設備硬件性能兩方面進行提升，才能保證商用 224G 光口測試的準確性和重復性。54數據中心 224G 可插拔模塊交換機方案研究報告ODCC-2023-03002224G 光接收機的測試由于目前缺少對應速率標準光發射機，可以使用經過發射機測試驗證過的光信號進行接收機測試，通過添加光衰減器或長光纖通道進行接收機靈敏度和誤碼率的測試。五、五、參考文檔參考文檔1 Cu Beyond 112Gbps，Rakesh Chopra，CISCO2 oif2022.465.01-224G C2M VSR Channel Analysis3 802.3dj CR Considerations for Insertion Loss BudgetBaseline