1、1交換機 56G PAM4 前端口設計方案研究白皮書ODCC-2023-05006編號 ODCC-2023-05006交換機 56G PAM4 前端口設計方案研究白皮書開放數據中心委員會2023-09 發布I交換機 56G PAM4 前端口設計方案研究白皮書ODCC-2023-05006版權聲明版權聲明ODCC（開放數據中心委員會）發布的各項成果，受著作權法保護，編制單位共同享有著作權。轉載、摘編或利用其它方式使用 ODCC 成果中的文字或者觀點的，應注明來源：“開放數據中心委員會 ODCC”。對于未經著作權人書面同意而實施的剽竊、復制、修改、銷售、改編、匯編和翻譯出版等侵權行為，ODCC 及

2、有關單位將追究其法律責任，感謝各單位的配合與支持。II交換機 56G PAM4 前端口設計方案研究白皮書ODCC-2023-05006編寫組編寫組項目經理：項目經理：劉軍篆芯半導體工作組長：工作組長：郭亮中國信息通信研究院貢獻專家：貢獻專家：郭亮中國信息通信研究院王星篆芯半導體柳雷篆芯半導體潘君長沙星融元數據技術有限公司劉軍思科科技（北京）有限公司張超思科科技（北京）有限公司蔣星思科科技（北京）有限公司龔傳奇東莞立訊技術有限公司劉繼軍東莞立訊技術有限公司程偉強中國移動王瑞雪中國移動文旭中國電信包貴新百度黃一元阿里陳亮阿里崔鵬騰訊孫玉勤京東陳琤京東邱子雋快手III交換機 56G PAM4 前端口

3、設計方案研究白皮書ODCC-2023-05006岳樹燁美團何強英偉達楊凱浪潮信息程曉光浪潮信息吳迅亮浪潮思科石博文華勤技術劉彪明華勤技術IV交換機 56G PAM4 前端口設計方案研究白皮書ODCC-2023-05006前前 言言隨著信號速率上升到 56G-PAM4，交換機前端口設計，尤其是信號集成，制作工藝等也變得越來越有挑戰。相較于上一代基于25G-NRZ的前端口技術，現有技術的信號速率從 25G-NRZ上升到56G-PAM4，前端口在通道密度上也演進出兩條技術路線：基于四通道的 QSFP56設計，和基于雙密度 8 通道的 QSFP-DD 設計。2016 年，QSFP-DD MSA小組開始

4、計劃開發 QSFP-DD 高速接口，之后該國際組織發布了包含圖紙在內的 QSFP-DD 硬件規格的 1.0 版本。發展至今，QSFP-DD MSA已較為完善，各大領先的光模塊廠商的 QSFP-DD 光模塊先后上市，相較于 QSFP高速接口，QSFP-DD的高密度優勢使其迅速占領了市場中的重要地位。目前主流的 QSFP-DD高速接口連接器分為插針型和表貼型兩種。插針型連接器在制作 PCB時，需要給連接器插入接觸的通孔保留一定的金屬長度，以保證其安裝的穩定性。而表貼型連接器的設計不存在此類問題，在連接過孔的設計上較為靈活。在其生產制作上，表貼型連接器在 PCB上的設計制造由于有明顯的成本優勢而成為

5、行業內的研究重點。采用 4通道連接器的交換機設計既可以平滑升級到 56G-PAM4交換機；也可以平滑升級到下一代 112G-PAM4 交換機。本白皮書研究了市場上 QSFP-DD 正反表貼型連接器的發展現狀，對比分析了 QSFP-DD 高速接口在 PCB設計上的多種技術方案，旨V交換機 56G PAM4 前端口設計方案研究白皮書ODCC-2023-05006在為交換機設計人員提供較為全面的高速 400G 連接器貼裝法的技術參考。VI交換機 56G PAM4 前端口設計方案研究白皮書ODCC-2023-05006目目 錄錄版權聲明.I編寫組.II前 言.IV一、項目背景.1二、項目目標.2三、專

6、用術語.2四、QSFP-DD 背對背貼裝技術方案綜述.2（一）前端口設計技術路線的行業現狀.21.PCB+扣板方案.32.PCB+Flyover cable 方案.43.插卡方案.4（二）8通道前端口 QSFP-DD 背對背貼裝解決方案.5（三）基于 QSFP-DD 前端口的 PCB 設計的相關技術方案分析.61.插針型方案.62.表貼方案一.73.表貼方案二.84.表貼方案三.105.表貼方案四.116.表貼方案五.14（四）前端口為 4通道與 8通道實現的交換機方案對比.15（五）不同 QSFP-DD 前端口方案成本對比.15（六）小結.16VII交換機 56G PAM4 前端口設計方案研

7、究白皮書ODCC-2023-05006五、4 通道、8 通道前端口仿真與測試.16（一）信號完整性仿真.17（二）測試板制作及測試環境.20（三）測試結果.22六、引用的文檔和資料.231交換機 56G PAM4 前端口設計方案研究白皮書ODCC-2023-05006交換機交換機 56G56G PAM4PAM4 前端口設計方案研究白皮書前端口設計方案研究白皮書一、一、項目背景項目背景隨著全球數據中心的發展和大規模的部署，數據中心的硬件成本和運營成本大幅度增加，降本增效越來越得到用戶的重視。數據中心希望能用更大的帶寬實現互聯。相較于 4 通道的高速接口如QSFP56，8 通道的 QSFP-DD

8、在同樣橫截面大小的接口上可獲得雙倍于 QSFP56的帶寬。一方面 QSFP-DD 技術具有低功耗、低延時、易于部署、低成本等優勢。例如，原有的 4RU 128 個端口 x 200G 的交換機，通過使用SMT 2x1 QSFP-DD 高速連接器可設計成 2RU 64 個端口 x400G 的交換機。由于交換機內部所需高速板材，板間連接器以及外部的光模塊數目都可以減少，從而降低了交換機的制作和運營成本。另一方面，在使用 QSFP-DD 背對背貼裝時，其高密度的特性會對 PCB連接器處的信號集成設計帶來極大的挑戰。目前市場上 4 通道前端口和 8 道前端口兩種技術路線同時并行演進。鑒于背對背貼裝的 8

9、 通道前端口技術的成本優勢，解決QSFP-DD 背對背貼裝時連接器處高速信號扇出的技術問題，成為了行業內的研究熱點。2交換機 56G PAM4 前端口設計方案研究白皮書ODCC-2023-05006圖 1 QSFP-DD SMA 定義的 QSFP 在 PCB 上的足跡引腳二、二、項目目標項目目標QSFP-DD 背對背貼裝技術的設計目標是實現前端口帶寬翻番；降低硬件成本，提高運營效率。三、三、專專用術用術語語本白皮書使用的專業術語說明：QSFPQuad Small Form factor PluggableQSFP-DDQSFP-Double DensitySMTSurface Mount Te

10、chnologyVIPPOVia-in-Pad Plated Over四、四、QSFPSFP-DDDD 背背對對背貼裝背貼裝技術方技術方案綜述案綜述（一一）前端前端口口設計技術設計技術路線路線的行業現的行業現狀狀國內互聯網企業數據中心在構建數據中心交換機的互聯部分，以 4通道的前端口為常見，如：QSFP28，QSFP56等。4 通道前端口3交換機 56G PAM4 前端口設計方案研究白皮書ODCC-2023-05006由于在連接器處的扇出實現相比 8 通道在信號集成上難度相對較低，易于硬件設計實現。圖 2 128 個 4 通道前端口的交換機為實現上圖交換機的設計，有多種技術方案可選：1.1.P

11、CPCB+扣板扣板方方案案此方案需要 4RU 高度的機箱，前端口選用 4 通道連接器，在機器中間設置一張交換主板，然后在其上方和下方各設置一張扣板，扣板與主板之間使用扣板連接器進行連接。該方案的優點是方案成熟、端口散熱無風險；可改進之處是 C2M鏈路需要通過一級連接器，信號集成實現有一定難度，且存在扣板連接器選型以及加工可靠性的技術問題。圖 3 PCB+扣板方案示意圖4交換機 56G PAM4 前端口設計方案研究白皮書ODCC-2023-050062.2.PCPCB+FlFlyo overer cacablele 方方案案該方案需要 4RU 高度的機箱，前端口使用 4 通道連接器，在機器下半部

12、分中部設置一張交換主板，然后通過 Flyover cable 構建機器上半部分的前端口。該方案線纜無信號集成風險，但整機實現有難度且成本相對較高。圖 4 PCB+Flyover Cable 方案示意圖3.3.插卡插卡方方案案該方案需要 4RU 高度的機箱，前端口使用 4 通道連接器，在機器后部中間設置一塊交換主板，通過板間正交連接器連接 8塊子板。每塊板上需要有 PHY作為高速信號的中繼。此方案成熟，架構簡單，端口靈活，無技術難點，但相對功耗較大，并且成本高。5交換機 56G PAM4 前端口設計方案研究白皮書ODCC-2023-05006圖 5 插卡方案示意圖上述數據中心核心設備可選方案在前

13、端口均可使用 4 通道的連接器實現，在連接器處的高速信號扇出處均不存在信號集成風險。（二二）8 8 通通道道前端前端口口 QSFPSFP-DDDD 背背對對背貼裝解決背貼裝解決方方案案此方案在實現上述交換機同等帶寬時，只需要 2RU 高度，前端口使用 8 通道連接器。在機器中間只需設置一塊交換主板，主板兩端背對背貼裝堆疊的 QSFP-DD 連接器。此方案架構簡單、機箱成本最低。其限制在于只能實現 8 通道前端口的連接器方案。且技術難點在于 PCB布線在連接器處的扇出技術難度較大。圖 6 8 通道前端口 QSFP-DD 背對背貼裝解決方案6交換機 56G PAM4 前端口設計方案研究白皮書ODC

14、C-2023-05006（三三）基于基于 QSFPSFP-DDDD 前端前端口口的的 PCPCB 設計的設計的相相關技術方關技術方案案分析分析1.1.插針插針型方型方案案該方案可以實現雙倍密度 QSFP56的走線在連接器處完全扇出，由于該連接器屬于插針型連接器，需要在 PCB 上的特定位置設置特定形狀的過孔，且不能對該孔進行信號完整性優化。為保證插針的安全可靠性，需要給過孔保留一段較長深度，其背鉆殘樁必須滿足上述要求。因此其第 3 層不能作為高速信號的扇出走線層，從而增加了 PCB 的疊層層數與厚度，為 PCB 的制作和生產帶來挑戰并使PCB最終成本上升。該方案由連接器廠家推出，由于連接器和底

15、板耦合度較高，故在實際操作中，作為典型參考設計，在國內使用較為普遍。7交換機 56G PAM4 前端口設計方案研究白皮書ODCC-2023-05006圖 7：插針型連接器推薦使用的疊層信息圖 8：插針型連接器處所有走線扇出疊加示意圖2.2.表貼表貼方方案案一一8交換機 56G PAM4 前端口設計方案研究白皮書ODCC-2023-05006該方案通過使用多次層壓的高級 PCB 制作工藝，分別制作 PCB疊層的上半層和下半層，通過這種方式制作的上半層的過孔和下半層的過孔在水平方向不存在相互間制作工藝的限制以及信號完整性問題。該方案可以很好的解決 QSFP-DD 背對背貼裝連接器處的高速信號扇出問

16、題，但多次層壓會對 PCB 制作工藝帶來挑戰從而大幅提高了整個 PCB的制作成本。圖 9 表貼方案一：QSFP-DD 背對背貼裝頂表面網格示意圖圖 10 表貼方案一：QSFP-DD 背對背貼裝底表面網格示意圖3.3.表貼表貼方方案案二二9交換機 56G PAM4 前端口設計方案研究白皮書ODCC-2023-05006該方案在 PCB 頂層表面和底層表面分別設置一個或多個盲孔；通過各盲孔扇出分別貼裝于 PCB 的頂層表面和底層表面的兩個待貼部件的一個或多個信號線；盲孔的數量和位置根據 PCB 的頂層表面或底層表面上貼裝部件時布線空間的大小進行配置；PCB 的頂層表面或底層表面設有將待貼裝部件中未

17、通過盲孔扇出的信號線進行扇出的一個或多個過孔。該方案利用盲孔和通孔相結合的方式，解決了在 PCB 表層，底層相同位置同時安裝 QSFP-DD 連接器時信號線的順利扇出，并保證了較好的信號完整性。圖 11 表貼方案二：流程示意圖圖 12 表貼方案二：在頂表面的貼裝網格示意圖10交換機 56G PAM4 前端口設計方案研究白皮書ODCC-2023-05006圖 13 表貼方案二：在底表面的貼裝網格示意圖4.4.表貼表貼方方案案三三該方案分析了 QSFP-DD 背對背貼裝連接器在頂表面和地表面所有信號沿同一方向扇出的缺點，指出需要在頂表面和地表面在不同方向的扇出，同時利用盲孔這種高級 PCB技術，實

18、現了在有限空間內同時扇出頂表面信號和底表面信號，該方案可以有效地實 QSFP-DD 背對背貼裝連接器所有高速線的扇出，但是在某些情況下需要給回流地孔也設置盲孔，從而影響到了回流路徑和阻抗控制。圖 14 表貼方案三：焊盤及切面方案示意圖11交換機 56G PAM4 前端口設計方案研究白皮書ODCC-2023-050065.5.表貼表貼方方案案四四該方案在 PCB頂表面和底表面的連接器引腳足跡指向的兩個180度相反方向設置高速信號過孔，同時為滿足高速信號線扇出的需求，利用盤中過孔的高級 PCB制作技術來設置表底兩層的不同電連接過孔，最大程度保證了相鄰兩層焊盤之間的空間可以被一對高速信號線安全通過。

19、在對電連接過孔背鉆時，對背鉆的一面周圍的連接器在 PCB上的引腳足跡進行了削盤處理，以此保證背鉆過程的生產安全性。該方案利用焊盤的兩個方向設置電連接過孔出線的方式，有效降低了單方向高速信號線高密度扇出帶來的問題，同時利用盤中孔等高級 PCB制作技術，保證了高速信號在背對背貼裝QSFP-DD 連接器處扇出滿足信號完整性要求，而成為一種非常有效的技術方案。12交換機 56G PAM4 前端口設計方案研究白皮書ODCC-2023-05006圖 15 表貼方案四：頂表面足跡引腳排列網格示意圖13交換機 56G PAM4 前端口設計方案研究白皮書ODCC-2023-05006圖 16 表貼方案四：底表面

20、足跡引腳排列網格示意圖14交換機 56G PAM4 前端口設計方案研究白皮書ODCC-2023-05006圖 17 表貼方案四：在 PCB 中連接器高速信號在其中一個信號層的扇出路由6.6.表貼表貼方方案案五五表貼方案五在實現技術可行性的前提下，追求極致的成本控制。借助連接器引腳焊盤兩個相反方向扇出表層走線的經驗，并把個別高速信號孔拉出連接器引腳足跡區域，通過優化設計，在取消了不15交換機 56G PAM4 前端口設計方案研究白皮書ODCC-2023-05006必要多次層壓，不必要 VIPPO 并且不必要制作盲孔的基礎上，實現了 QSFP-DD背對背貼裝連接器的扇出。鑒于該方案避免使用多次層壓

21、、盲孔和 VIPPO 的高級 PCB 技術，從而最大程度節省了 PCB制作的成本。（四四）前端前端口口為為 4 4 通通道道與與 8 8 通通道道實現的實現的交交換機換機方方案案對對比比表 1 4 通道前端口與 8 通道前端口的交換機方案對比如下：對比項4 通道方案8通道方案優勢：前端口連接器高速走線密度較低，有多種技術路線可選，易于硬件實現；國內多采用此類方案，有利于平滑升級。雙倍帶寬于 4 通道前端口，可以用更少的前端口實現同等帶寬交換機的制作，降低了交換機的制作成本和運營成本?？筛倪M處：單個前端口的帶寬較低，制作同等帶寬交換機時需要更多的前端口，增加了交換機制作成本以及運行成本。高 速

22、走 線 雙 倍 密 度 于QSFP 連接器，在連接器的高速信號扇出處的信號完整性問題挑戰較大。從上表可看出，對于高速端口（56Gbps），4 通道前端口方案構建交換機的方案較為成熟，易于硬件實現。8 通道前端口方案如QSFP-DD 可以在同樣橫截面的大小實現互聯帶寬的翻倍，相對 4 通道前端口設計，節省了交換機的制作成本和互聯成本。由于 4 通道設計具有歷史延續性，成本也由于部署數量較大和成熟的生態鏈而獲得整體下降。（五五）不同不同 QSFPSFP-DDDD 前端前端口口方方案案成成本本對對比比表 2 不同廠商 QSFP-DD 背對背安裝方案比較QSFP 背對背貼裝方案PCB疊層層數是否使用V

23、IPPO是否使用多層層壓是否使用盲孔成本評估16交換機 56G PAM4 前端口設計方案研究白皮書ODCC-2023-05006插針型方案26否否否高表貼方案一24否是否高表貼方案二22是否是中表貼方案三22否否是低表貼方案四22是否否低表貼方案五22否否否優（六）（六）小結小結綜上各方案對比分析：采用 4 通道前端口技術易于硬件實現，互聯效率有提升空間，交換機制作成本相對較高。采用 8 通道前端口技術有效的提高單位面積前端口內的互聯帶寬；雖然前端口處設計難度較高，但由于最終可以降低交換機制作和互聯成本，有助于降本增效，故而成為業內的一種發展趨勢。結論：8 通道前端口技術方案在提高交換機單位面

24、積端口內的互聯帶寬，降低交換機的制作成本方面有優勢，從組網以及長期看，成本優勢更加明顯。4 通道前端口技術方案技術成熟，應用時間久，覆蓋面廣，通過大規模部署可降低整體成本。五、五、4 4 通通道道、8 8 通通道道前端前端口仿真口仿真與與測試測試17交換機 56G PAM4 前端口設計方案研究白皮書ODCC-2023-05006（一一）信信號完整號完整性性仿真仿真通過仿真的方式研究和分析了 4 通道和 8 通道這兩種不同的前端口及相應通道的信號完整性性能。為方便討論，假設 3 種場景如下：場景 1：基于傳統的 4 通道前端口信號完整性性能。場景 2：基于傳統的 8 通道前端口信號完整性性能。場

25、景 3：基于表貼方案五下的 8 通道前端口信號完整性性能。假設仿真通道拓撲如圖 17 所示。換層孔模型和內層走線模型在三種場景中完全相同。需要強調的是所有連接器模型包括表貼方案五下的連接器模型，均由國內連接器廠商根據自己模型附帶連接器在 PCB上的足跡引腳來仿真產生。圖 17 三種場景下的仿真拓撲圖18交換機 56G PAM4 前端口設計方案研究白皮書ODCC-2023-05006常溫條件下這三種場景下的損耗情況如圖 18 所示。需要注意的是 3 種場景分別有兩家連接器廠商提供連接器相應模型用以驗證仿真。圖 18 5 種情況下的通道損耗這里：紅色曲線是場景 1 在基于 Y 廠商 QSFP56

26、模型的通道總損耗；紫色曲線是場景 1 在基于 L 廠商 QSFP56模型的通道總損耗；綠色曲線是場景 2 在基于 Y廠商 QSFP-DD 模型的通道總損耗；黑色曲線是場景 2 在基于 L 廠商 QSFP-DD 模型的通道總損耗；橙色曲線是場景 3 在表貼方案五下基于 Y 廠商 QSFP-DD 模型的通道總損耗。藍色曲線是場景 3 在表貼方案五下基于 L 廠商 QSFP-DD 模型的通道總損耗。19交換機 56G PAM4 前端口設計方案研究白皮書ODCC-2023-050063 種場景 6 類情況下的 Tx 設置和 Rx 設置完全相同，Tx 的emphasis 是-0.05 0.8-0.15,

27、Rx 設置為 IEEE802.3bs 定義的 6dBCTLE。如圖 19a 到圖 19f 所示，統計眼圖分析同樣表現出 3 種場景下的 6 類情況下沒有明顯的區別。在相同情況下通過無源分析和統計眼圖分析，可以得到以下結論：4 通道連接器和 8 通道連接器，從信號完整性角度來看沒有明顯區別。在 8通道連接器下，傳統貼裝法和表貼方案五沒有明顯區別。圖 19-a:例 1 通道眼圖基于連接器廠商 Y圖 19-b:例 1 通道眼圖基于連接器廠商 L圖 19-c:例 2 通道眼圖基于連接器廠商 Y圖 19-d:例 2 通道眼圖基于連接器廠商 L20交換機 56G PAM4 前端口設計方案研究白皮書ODCC

28、-2023-05006圖 19-e:例 2 通道眼圖基于連接器廠商 Y圖 19-f:例 2 通道眼圖基于連接器廠商 L表 3 頻域仿真與時域仿真對比Case頻域仿真損耗13.28GHz時域仿真眼高 BER=1e-6IEEE 眼高 Spec例 1-Y11.768 dB49 mV32 mV例 1-L11.606 dB49 mV例 2-Y12.065 dB46mV例 2-L11.752 dB50mV例 3-Y12.075 dB46mV例 3-L11.889 dB48 mV（二二）測試板測試板制作制作及測試及測試環環境境為了驗證表貼方案五的信號完整性性能，特別制作測試板并使用先進 SerDes IP

29、以及高級測試儀表進行測試驗證工作，測試環境如圖 20所示。21交換機 56G PAM4 前端口設計方案研究白皮書ODCC-2023-05006圖 20 表面貼裝方案測試環境測試板信息與測試所用設備總結如下表所示。表 4 測試板信息匯總測試板的重要元件屬性材料Megtron 6GSMA連接器2.4mm SMA前端口連接器QSFP-DD 表貼型連接器走線層位置內層走線傳輸線長度7 inches表 5 不同測試環境信息匯總測試環境屬性示波器Keysight N1000SerDes IP112G-PAM4 SerDes（降速使用）環境溫度25攝氏度22交換機 56G PAM4 前端口設計方案研究白皮書

30、ODCC-2023-05006Tx Emphasis完全相同均為3,63,9Rx CTLE完全相同均為 6dB（三三）測試結果測試結果測試板的測試結果如下面圖、表所示?？梢钥吹皆谙嗤l送端均衡和示波器內相同 CTLE 均衡設置下，表貼方案五的結果相較于傳統表貼方案的眼高差了大約 3mV，這與仿真結果的趨勢完全一致。從而驗證表貼方案五可以在最低成本的基礎上實現良好的信號完整性性能。由于 SerDes IP對其測試板的知識產權保護，僅對仿真與測試做不同方案趨勢分析而非仿真測試對比分析。表 6 測試結果總結測試結果眼高 BER=1e-5表貼方案五51.1 mV傳統表貼方案53.7 mV圖 21 表貼方案五的測試結果23交換機 56G PAM4 前端口設計方案研究白皮書ODCC-2023-05006圖 22 傳統表貼方案的測試結果六六、引引用的用的文檔文檔和和資料資料OCP組織公開資料；Molex連接器公開資料；中國專利局公開專利資料。