軟件定義全光交換在高性能計算和數據中心應用-張華.pdf

《軟件定義全光交換在高性能計算和數據中心應用-張華.pdf》由會員分享，可在線閱讀，更多相關《軟件定義全光交換在高性能計算和數據中心應用-張華.pdf（16頁珍藏版）》請在三個皮匠報告上搜索。

1、知識和理性知識和理性軟件定義全光交換軟件定義全光交換在高性能計算和數據中心應用在高性能計算和數據中心應用凌云光技術股份有限公司張華2023年6月目目 錄錄1.HPC1.HPC和和數據中心互聯挑戰數據中心互聯挑戰2.OCS2.OCS全光交換應用方案全光交換應用方案3.OCS3.OCS技術和產品技術和產品4.4.總結和展望總結和展望LUSTER ConfidentialGoogle TPUGoogle TPU集群規模演變集群規模演變AIAI模型模型規模的演進規模的演進 ChatGPTChatGPT引爆了人工智能引爆了人工智能(AI)/(AI)/機器學習機器學習(ML)(ML)新的需求高潮，當前新的

2、需求高潮，當前GPUGPU互聯端口已采用互聯端口已采用800G(2x400G)800G(2x400G)，下一代會演進到，下一代會演進到1.6T(2x800G)1.6T(2x800G)，數據中心對光互聯的帶寬需求越來越高。數據中心對光互聯的帶寬需求越來越高。伴隨著帶寬增長，伴隨著帶寬增長，AI/MLAI/ML集群規模從幾百張加速卡到上萬張擴展，集群互聯距離從數十米到上百米延伸，集群規模從幾百張加速卡到上萬張擴展，集群互聯距離從數十米到上百米延伸，Al/MLAl/ML集群互聯對低功耗和低集群互聯對低功耗和低延遲需求迫切，現有電交換面臨瓶頸。延遲需求迫切，現有電交換面臨瓶頸。1.1 1.1 HPCH

3、PC發展趨勢發展趨勢和挑戰和挑戰LUSTER Confidential1.2 1.2 大規模大規模數據中心數據中心互聯互聯挑戰挑戰挑戰挑戰1 1：SpineSpine交換機成為性能瓶頸交換機成為性能瓶頸 Spine交換機一般會提前預部署，但隨著速率不斷升級，低速Spine交換機成為新技術應用的性能瓶頸。Spine交換機成本和功耗在整個數據中心占比40%，升級Spine交換機，將會帶來一系列問題，如耗時，費錢，增加功耗。挑戰挑戰2 2：能效提升進入平臺期：能效提升進入平臺期 隨著速率提升，200G及以上速率單純依賴硬件升級能效提升不明顯，需要通過架構重構等方式進一步提升能效，降低運營成本。目目

4、錄錄1.HPC1.HPC和和數據中心互聯挑戰數據中心互聯挑戰3.OCS3.OCS技術和產品技術和產品4.4.總結和展望總結和展望LUSTER Confidential2.12.1 OCSOCS全光交換簡介全光交換簡介入射到光纖中的任意光信號均可被交換入射到光纖中的任意光信號均可被交換是是全光全光交換交換 不是光電轉換交換不是光電轉換交換 全光域切換全光域切換：純光信號輸入，純光信號交換，純光信號輸出。光纖級切換光纖級切換：光信號從一根光纖切換到另一根光纖。無時鐘抖動，無延遲，不讀取數據，無泄漏風險。無時鐘抖動，無延遲，不讀取數據，無泄漏風險。是是線路線路交換交換 -不是分組交換不是分組交換 不

5、選擇路由不選擇路由IPIP數據包。數據包。交換光纖上傳輸的全部數據。交換光纖上傳輸的全部數據。光信號光信號完全透明完全透明傳輸，支持光纖中傳輸，支持光纖中任意速率任意速率/任意調制格式任意調制格式/任意通信波長任意通信波長光信號交換光信號交換 任意速率/任意調制格式的數字信號：如數據中心400 Gbps+，CPRI,Ethernet等 任意速率/任意調制格式的模擬信號：如RoF,視頻,傳感數據(即油井傳感器數據)任意通信波長850nm,1260nm-LUSTER Confidential2.2 2.2 OCSOCS全光交換在全光交換在HPCHPC實施方案實施方案-Google TPUv4-Go

6、ogle TPUv4可靠性提升可靠性提升 如果使用常規的固定互聯架構，有一小部分的芯片出故障，可能會影響整個系統工作。采用可重配置的OCS，只需要把出故障的芯片旁路切換到備用節點，不會影響整個系統的工作。不同不同TPUTPU切片下，切片下，TPUTPU主機可靠性和系統平均性能的曲線主機可靠性和系統平均性能的曲線(如圖如圖)。不使用OCS時，主機可靠性必須做到99.9%99.9%，才能保證TPU切片有較好的性能；而使用使用OCSOCS之后，99.0%99.0%和99.5%99.5%的主機可靠性仍能保證TPU切片有較好的性能。當主機可靠率在99%和1000片TPU切片的情況下，使用OCS可使系統的

7、性能提升6 6倍以上倍以上。取得以上收益，光交換互聯方案包括取得以上收益，光交換互聯方案包括OCSOCS，光模塊及光纖占總體超算節點光模塊及光纖占總體超算節點 成本成本5%5%功耗功耗3%Leaf-Spin引入OCS-消除Spin，僅保留OCS和Leaf層.采用采用SDNSDN動態調整拓撲路由適配流量變化：動態調整拓撲路由適配流量變化：流量工程流量工程(traffic engineering,TE,適應秒分鐘級變化)和拓撲工程拓撲工程(topology engineering,ToE，適應以天為單位變化)扮演重要角色，適配異質速率(speed heterogeneity)和實時應用通信模式。過

8、去過去(10(10年前年前)中間過渡中間過渡現在現在(Direct-Connect(Direct-Connect架構架構)LUSTER Confidential收益：收益：網絡網絡CAPEXCAPEX降低30%，功耗下降40%。成本下降主要來自兩方面：(1)消除多代Spine交換機和相關光模塊和光纖硬件成本;(2)降低功耗。Fabric拓撲重構速度提升10倍以上。流完成時間(FCT)提升10%，吞吐量提升30%。難點：難點：拓撲和路由控制復雜性2.3 2.3 OCSOCS全光交換在數據中心實施方案全光交換在數據中心實施方案-Google Jupiter-Google Jupiter數據中心網絡

9、數據中心網絡目目 錄錄1.HPC1.HPC和和數據中心互聯挑戰數據中心互聯挑戰2.OCS2.OCS全光交換應用方案全光交換應用方案4.4.總結和展望總結和展望LUSTER Confidential1.DirectLightDirectLight技術，采用壓電陶瓷材料帶動準直器旋轉，空間直接耦合對準（“針尖對麥芒”），實現任意端口光路切換，目前矩陣規模最大576x576;3.1 OCS3.1 OCS技術一覽技術一覽2.2D/3D MEMS技術，采用微型鏡片在二維/三維方向轉動，對輸入信號反射，實現任意端口光路切換，目前無阻塞矩陣規模最大320 x320.3.其他光開關技術 Other switc

10、hing technology 液晶光開關，Silica PLC，熱光開關，電光開關“基于基于壓電陶瓷壓電陶瓷的的光交換技術光交換技術在插入和回波損耗在插入和回波損耗方面具有方面具有先天先天優勢，如果基于優勢，如果基于MEMSMEMS的解決方案的解決方案的的良率良率和和可靠性可靠性不再易于管理，則可能會在給定不再易于管理，則可能會在給定的的交換交換端口數量上向該技術傾斜端口數量上向該技術傾斜”“Piezo-based switching has some fundamental Piezo-based switching has some fundamental advantages in i

11、nsertion and return loss,which may tip advantages in insertion and return loss,which may tip the scales to this technology at a given switch port the scales to this technology at a given switch port count if yields and reliability for MEMS-based solutions count if yields and reliability for MEMS-bas

12、ed solutions are no longer manageable.are no longer manageable.”-引自引自GoogleGoogle論文論文“Mission Apollo:Landing OpticalMission Apollo:Landing Optical Circuit Switching at Datacenter ScaleCircuit Switching at Datacenter Scale”LUSTER Confidential3.2 SDN3.2 SDN使能控制使能控制支持支持WebUI(webWebUI(web瀏覽器瀏覽器)、TL1TL1、

13、SCPI SCPI、SNMP(SNMP(網管網管)、RESTCONFRESTCONF、NETCONF(SDN)NETCONF(SDN)等多種控制協議；等多種控制協議；HW InterfaceOXCOPMBSPLogicControlsReportsDataUser servicesSCPISNMPTL1WebUINETCONFAPIRESTCONF3rd Party NMS/SDNAPIsNSOAPIsAPIsAPIsNetwork Op CenterHW InterfaceOXCOPMBSPLogicControlsReportsDataUser servicesSCPISNMPTL1Web

14、UINETCONFAPIRESTCONF3rd Party NMS/SDNAPIsNSOAPIsAPIsAPIsNetwork Op CLUSTER Confidential3.3 3.3 DirectLightDirectLight技術成熟度技術成熟度 基于基于DBSDBS技術的矩陣光開關自從技術的矩陣光開關自從20032003年商用化以來，已經廣泛應用于各種場合，穩定性和可靠性已經年商用化以來，已經廣泛應用于各種場合，穩定性和可靠性已經得到充分驗證。得到充分驗證。Since matrix optical switch based on DBS technology has been rel

15、eased in 2003,it has been widely used to verify the stability and reliability.智能監控系統智能監控系統 Intelligence Monitoring Systems國際空間站國際空間站 International Space Station光學測試自動化光學測試自動化 Optical Test Automation數據中心數據中心/超算中心超算中心 Data Centers/Supercomputer視頻信號路由視頻信號路由 Video Signal Routing光通信鏈路保護光通信鏈路保護 Fiber Opti

16、c Communications Protection油井傳感器油井傳感器 Oil field sensors 累計現網運行時間累計現網運行時間150150億億+端口小時端口小時;4500+4500+套套系統已鋪設系統已鋪設;300+300+個個客戶在使用；客戶在使用；只要需要光信號動態路由的地方，都有矩陣光開關應用只要需要光信號動態路由的地方，都有矩陣光開關應用Anywhere there is a need to dynamically route optical signals目目 錄錄1.HPC1.HPC和和數據中心互聯挑戰數據中心互聯挑戰2.OCS2.OCS全光交換應用方案全光交換應

17、用方案3.OCS3.OCS技術和產品技術和產品LUSTER Confidential4.OCS4.OCS應用總結和展望應用總結和展望HPCHPC和數據中心規模日益增長，對功耗、延遲、成本等要求越來越高，和數據中心規模日益增長，對功耗、延遲、成本等要求越來越高，OCSOCS全光交換方案可以很好適配全光交換方案可以很好適配這些需求，并且在以這些需求，并且在以GoogleGoogle為代表的超算和數據中心已成功應用。為代表的超算和數據中心已成功應用。隨著數據中心隨著數據中心OCSOCS應用將進一步下沉應用將進一步下沉(Spine-Leaf)(Spine-Leaf)，需要，需要更快切換速度更快切換速度、小端口低成本小端口低成本OCSOCS，適配，適配TORTOR匯聚交換機之間突發流量。匯聚交換機之間突發流量。未來隨著集群規模擴展，將需要未來隨著集群規模擴展，將需要更大端口更大端口OCSOCS，同時需提升，同時需提升OCSOCS可靠性可靠性和和插回損插回損性能，性能，DirectLightDirectLight OCSOCS技術方案會有更廣闊應用前景技術方案會有更廣闊應用前景;與您攜手，邁向人工智能大時代！與您攜手，邁向人工智能大時代！