《先進計算產業發展聯盟:2023基于區塊鏈的算力并網交易平臺研究報告(39頁).pdf》由會員分享,可在線閱讀,更多相關《先進計算產業發展聯盟:2023基于區塊鏈的算力并網交易平臺研究報告(39頁).pdf(39頁珍藏版)》請在三個皮匠報告上搜索。
1、 基于區塊鏈的算力并網交易平臺研究基于區塊鏈的算力并網交易平臺研究 先進計算產業發展聯盟先進計算產業發展聯盟 2023 年年 12 月月 I 研研 究究 報報 告告 要要 點點 本課題分析了當前算力交易平臺的發展現狀,總結了算力用戶的需求,包括交易效率、交易模式、激勵機制、資源調度機制、可監管、數據隱私安全以及行業標準等。針對以上需求,本課題需要研究的關鍵技術包括區塊鏈、跨鏈技術、異構聯盟鏈監管技術、數據訪問控制、可信交易技術、隱私保護、智能合約、激勵機制、資源調度、前沿密碼學方法等。本課題的研究內容主要包括(1)基于區塊鏈的算力交易技術;(2)算力交易激勵與資源調度機制;(3)面向監管友好的
2、算力交易數據隱私安全。研究目標是構建面向算力并網的高性能區塊鏈算力交易平臺,實現高效的算力交易方法、安全靈活的交易模式、多維度激勵機制、合理的資源調度、可監管以及符合行業標準的技術方案。研究單位:浪潮電子信息產業股份有限公司、中國移動研究院、天翼研究單位:浪潮電子信息產業股份有限公司、中國移動研究院、天翼云科技有限公司、中國信息通信研究院云科技有限公司、中國信息通信研究院 課題參加人:趙雅倩、張課題參加人:趙雅倩、張 闖、陳燕軍、安雨順、林群陽、劉陸陽、闖、陳燕軍、安雨順、林群陽、劉陸陽、孫麗明、王翰華、黃孫麗明、王翰華、黃 璜璜 完成日期:完成日期:2023 年年 12 月月 II 目目 錄
3、錄 一、研究背景.1(一)算力交易平臺國內發展現狀.1(二)算力交易平臺海外發展現狀.2 二、問題與挑戰.5 三、關鍵技術.7(一)分布式數字身份與可信憑證技術.7(二)鏈上鏈下結合的交易處理技術.9(三)多維度激勵機制.9(四)數據訪問控制.10(五)算力資源調度.11(六)區塊鏈監管.11 四、解決方案.13(一)數字身份鏈.13(二)交易鏈.14 1、交易模式.14 2、數據訪問授權機制.18 3、激勵機制.18 4、資源調度機制.20 5、交易監管.26(三)算力交易平臺 DAPP.28(四)交易服務通道控制器.28 五、總結與展望.34 術語與縮略詞表.35 參考文獻.36 1 一、
4、研究背景一、研究背景 2020 年以來,國家發布了以“新基建”為導向的一系列加快數字化基礎設施建設的政策,旨在提升“聯結+計算”能力,重塑產業升級模式。2021 年 5 月,國家四部委發布全國一體化大數據中心協同創新體系算力樞紐實施方案,提出“東數西算”架構,打通網絡傳輸,提升跨區域算力調度水平。隨著網絡通信設備、云計算、邊緣計算等基礎設施算力能力持續提升,算力泛在化已成為趨勢,呈現云網邊端多級計算服務架構。算力并網可以整合各種算力資源,形成一個統一的算力網絡,對各類應用提供普適多樣的算力服務。區塊鏈的防篡改、可追溯、分布式等特性可以為算力并網提供交易技術支撐,激發算力服務提供商的積極性,同時
5、為用戶提供安全、可靠且便捷的統一算力服務交易接口,有助于構建基于算力的價值網絡,推動基于算力的共享經濟和數字經濟的發展。(一)算力交易平臺國內發展現狀(一)算力交易平臺國內發展現狀 國內目前算力并網技術主要以政府機構為主導,聯合上游硬件廠和下游云計算、科學計算和網絡服務提供商,構建算力交易平臺。比較有代表性的有寧夏的“東數西算”一體化算力交易平臺、國家新興互聯網交換中心主導的上海算力交易平臺(SHIXP)以及中國信通院牽頭的全國一體化算力算網調度平臺?!皷|數西算東數西算”一體化算力服務平臺一體化算力服務平臺 東數西算一體化算力服務平臺 2023 年 2 月 24 日在寧夏銀川正式上線運營。作為
6、國內首個算力交易平臺,該平臺通過資源整合,已將曙光、華為、中興、阿里云、天翼云等國內大算力領先的企業,國家信息中心、北京大數據研究院等國內主要的大數據機構,以及商湯、百度等大模型頭部企業共計 27 家納入平臺。該平臺作為國內首個可以支持算力交易調度的應用系統,為智算、超算、通用算力等各類算力產品提供算力發現、供需撮合、交易購買、調度使用等綜合服務,將有效結合東西部算力發展需求,助力形成自由流通、按需配置、有效共享的數據要素市場,賦能東西部數字化發展。上海算力交易平臺上海算力交易平臺 2 在 2023 年 4 月 26 日舉辦的“算力浦江”(首屆)數字經濟發展論壇上,上海算力(試運行)交易平臺正
7、式啟動,這是依托國家(上海)新型互聯網交換中心(簡稱“SHIXP”)平臺交換架構的獨特性,先行先試探索打造的全國首個算力交易集中平臺。依托 SHIXP,上海算力(試運行)交易平臺的近景目標是:到2023 年底,初步建成算力調度平臺,探索算力交易運營機制;進一步擴大交換流量規模,實現上海市內算力資源調度。據悉,上海電信、上海移動、上海聯通、上海鐵塔、東方有線、騰訊云、有孚云等已入駐上海算力(試運行)交易平臺。本次論壇上,14 家首批入駐算力交易平臺的企業與 SHIXP 分別簽約,將展開深度合作,資源共享、協同合作,共同推進數字產業的發展。目前上海算力指數排名位列全國第一,綜合算力指數排名位列全國
8、第二。截至 2022 年底,上海在用標準機架數 41.5 萬,同比增長 15%,算力總規模近 9E flops。全國全國一體化一體化算力算網調度平臺算力算網調度平臺 2023 年 6 月 5 日,由國家工業和信息化部主辦,中國信息通信研究院等承辦的“算力創新發展高峰論壇”在京召開。會上,中國信通院聯合中國電信共同發布我國首個實現多元異構算力調度的全國性平臺“全國一體化算力算網調度平臺(1.0 版)”。該平臺統一整合通用算力、并行算力、邊緣算力等多源異構算力資源,實現不同廠家、不同硬件結構資源池的算力只能管理分發調度。尤其在對算力要求較高的 AI 訓練應用中,該平臺通過整合跨資源池、跨平臺、跨廠
9、商的異構算力實現分配調度。目前,已有天翼云、華為云、阿里云等云服務廠家接入該平臺?!叭珖惑w化算力算網調度平臺”的發布,不僅有利于貫徹落實國家“東數西算”工程要求,促進東部數字經濟產業鏈向西部延伸拓展,同時還將推動算力資源的精準配置和按需獲取,有效降低算力能源消耗,助力區域協調發展和信息通信行業碳達峰、碳中和目標達成。(二)算力交易平臺海外發展現狀(二)算力交易平臺海外發展現狀 海外算力并網項目大多基于現有的分布式計算(Distributed computing)和云計算(Cloud computing)項目進行開發和擴展。本節主要介紹兩個規模和知名度最高的項目:美國的 BOINC6和歐盟的
10、EGI7。3 伯克利開放計算網絡(Berkerley Open Infrastructure for Network Computing,BOINC)BOINC 是由伯克利提出的網絡計算開放基礎設施項目。其主要面向志愿計算(Volunteer computing,是一種分布式計算構架)的開源中間件分布式計算系統。BOINC 最早設計是用于支持 SETIHome 項目,該項目旨在通過計算分析外太空無線電信號來探索地外生命和文明的研究計劃。目前 BOINC 已經在醫藥學、分子生物學、數學、語言學、氣候變化研究、環境科學以及星體物理學等領域展開了廣泛的應用。截止 2021 年 11 月,BOINC
11、項目包含了 34236 名志愿者、136341 臺活躍計算節點共計 20.164PetaFLOPS 算力。BOINC 的軟件系統可以將并入計算網絡中結點的空閑 CPU 和 GPU 用于共享計算網絡中的科學計算任務。2008 年 BOINC 與英偉達合作開發了 BOINC 系統的 CUDA 支持。2009 年與ATi/AMD 合作新增了 ATi/AMD GPU 的計算支持。BOINC 系統中有一套可信計算系統(Credit system),通過該系統來防止故障硬件和欺詐。同時對返回的計算結果進行校驗,保證計算結果的可靠性。目前 BOINC 正在與區塊鏈技術進行整合,通過 BOINC 完成的計算任
12、務會反饋積分,用戶可以將積分兌換 COP 代幣。目前 BOINC 和區塊鏈結合方式還比較簡單,主要就是積分,未來 BOINC 計劃基于智能合約讓其產生真的代幣,同時也會和一些知名的公鏈進行合作,在區塊鏈上進行深耕。歐洲網格計算基礎設施(European Grid Infrastructure,EGI)2008 年 5 月,為了利用網格計算技術促進科學計算和科技進步,歐盟提出建立 EGI,歐洲網格計算基礎設施。EGI 旨在通過利用網格計算技術將歐盟成員國的計算基礎設施進行連接,共同服務于歐盟在生物醫藥、星體科學、高能物理、生物信息學等領域的科學計算項目。截止 2021 年,EGI 項目已經累計為
13、 78,100位用戶提供了 508 萬云 CPU 時、支撐了 27 項歐盟科研計劃和 450 萬次作業提交,參與貢獻的有超過 800 個終端和多達 150 個數據中心。根據不同的應用實例,EGI 向科研人員和社區提供包括批量計算(Batch computing)、交互計算(Interactive computing)、聯邦數據訪問(Federated access and data federation)、數據空間(Data space)以及服務部署(Service hosting)等服務。批量計算服務為用戶提供批量計算訪問的 API 接口,其通過 EGI 計算集 4 群提供的高吞吐量計算、在
14、線云存儲和負載管理模塊根據計算任務需要提供量化、可擴展和成本資源優化的計算服務。交互計算服務基于 Jupyter Notebooks 提供交互式數據分析和可視化的接口,同時通過 EGI 社區提供的云存儲、云計算以及相關技術服務支持為用戶提供一站式、易用的交互式科學計算體驗。聯邦數據訪問和數據空間服務基于聯邦學習技術,提供安全、透明的數據訪問與計算服務,為EGI 社區提供安全、高效、多樣化的數據訪問與使用技術解決方案。服務部署模塊基于 EGI 聯邦計算集群和 EGI 網絡,提供安全、高效、高可用的專用服務器節點供用戶部署計算服務。5 二、問題與挑戰二、問題與挑戰 基于區塊鏈的算力并網交易平臺面臨
15、的挑戰主要包括以下幾方面:交易效率、交易安全、交易多樣性、交易激勵因素復雜性、交易可監管性以及資源調度。交易效率 交易數據上鏈過程的開銷大且比較耗時,簡單概括上鏈過程包括交易數據入記賬隊列、打包新區塊、交易共識(如 DPOS、PBFT 共識)、以及廣播到所有節點進行存儲。由此可見,數據上鏈的開銷包括共識開銷、計算開銷、網絡開銷及存儲開銷,而且上鏈過程受隊列調度、共識算法處理、網絡廣播等因素影響,會產生時間延遲。因此并不是所有數據都應該上鏈,而要充分考慮開銷和效率,讓無需上鏈的數據(如:非全局性的、無需多方共識的、數據量大的、計算繁雜的)放到鏈下處理。以下棋為例進行說明,棋手的每一步棋并不需要實
16、時上鏈,而在棋局結束時,比如總共下了幾百手,那么將這幾百手的記錄匯總起來,連同輸贏結果上鏈,以便記錄戰績。對弈雙方的每步棋的數據可以通過鏈外系統進行通信,可以達到實時、高效的數據傳輸。算力交易具有小額、高頻交易特征,給系統處理性能帶來很大挑戰。交易安全 交易安全問題,主要涉及兩方面,包括數字身份安全和數據(包含交易數據和用戶數據)隱私安全。(1)數字身份安全 針對分布式系統,用戶身份被假冒會造成很大損失,比如在 NFT 平臺藝術家勞夫曼的作品在他不知情的情況下被拍賣。因此用戶數字身份安全認證及數字身份管理對交易平臺來說至關重要。(2)數據隱私安全 對于分布式交易系統,交易數據是否公開,不公開的
17、話應該允許哪些用戶查看,另外也要解決用戶隱私數據保護問題。交易多樣性 算力供應商和用戶對計費的策略需求不盡相同,因此,如何支持豐富多樣的算力交易模式,提出一種可以滿足用戶和供應商多樣性需求的算力交易模型也是本項目的一個難點。另外還需要解決信息孤島問題,支持交易數據在不同平臺之 6 間可信流轉。交易激勵因素復雜性 常見的競價機制是按價格優先與時間優先的原則排序,將買賣指令配對競價成交,但算力交易平臺需要結合激勵條件(如低碳、綠色能源優先、電力利用率、公益、慈善等社會效益)對算力競價機制做一些調整,構建一套結合競價與激勵機制的參數模型,把多維度的數據綜合考量,達到更好的社會效益。交易可監管性 監管
18、對于保障交易系統的用戶權益至關重要,因此需要對區塊鏈交易進行監管,設計出可追溯可屏蔽的面向監管友好的區塊鏈交易平臺。目前公有鏈在國內不被法律允許,因此普遍使用聯盟鏈技術,聯盟鏈監管存在以下挑戰:一方面,不同平臺間未建立有效的信息共享機制,不互通不協同,存在封閉性、敏感性、異構性的難題;另一方面,傳統的監管技術往往難以涵蓋持續變化的監管需求,也難以適應各種異構底層區塊鏈技術。資源調度 算力資源調度機制主要根據用戶提供的需求與現有算力資源實例之間按照預定的評分函數和規則進行匹配,然后選擇得分較高的算力解決方案為用戶進行分配和調度?,F有資源調度方案中預設的評分函數和規則往往是根據經驗調整好的固定參數
19、,難以根據市場和用戶需求的變化來動態地進行調整。因此,構建一套基于數據驅動的算力調度方案有助于平臺適應市場需求變化并提高用戶滿意度。7 三、關鍵技術三、關鍵技術 本平臺涉及的關鍵技術包括:分布式數字身份與可信憑證技術、鏈上鏈下結合的交易處理技術、多維度激勵機制、數據訪問控制、算力資源調度及區塊鏈監管。(一)分布式數字身份與可信憑證技術(一)分布式數字身份與可信憑證技術 隨著數字經濟的發展,越來越多的事務處理依賴數字身份及數字憑證。物理身份無法滿足在線使用的要求,因為物理文檔的數字副本很容易偽造,而且合法性難以進行遠程驗證。傳統的物理憑證及其電子化憑證無法有效應對高頻請求、海量數據、隱私安全和不
20、斷出現的新型數字化場景的挑戰。為了解決這些挑戰,分布式數字身份技術被提出并得到快速發展,自2019年W3C分布式身份標識符工作組(DIWC:Decentralized Identifier Working Group)發布分布式身份標識符的首個工作草案以來,分布式身份標識相關的標準與規范持續擴展完善,目前主要有5個技術規范,如下表所示。表 1 分布式身份標識相關的技術規范 序號序號 規范名稱規范名稱 描述描述 1 分布式身份標識符(DID:Decentralized Identifier 1)DID 是一種全局唯一的數字身份標識符,具有分布式、可解析性及可驗證性。與傳統標識符的區別是數據自主存
21、儲而不是集中托管,標識自生成、自分配、自管理而不是統一分配,數據真實性由加密算法背書而不是由權威機構背書。2 DID 文檔(DID Document)DID 文檔并不包含用戶身份數據相關的內容(如姓名、年齡、住址、手機號等),而只是包含描述 DID 相關的一些信息(包含 DID 標識符、公鑰列表、公鑰詳細信息諸如持有者、加密算法等),它通常儲存在一個與 DID 關聯 8 的分布式系統中,可以通過 DID 檢索到。3 DID 解析器(DID Resolver)DID 解析器的作用是通過 DID 來獲取 DID 文檔,其接口 API 用于接收 DID 查找請求、執行相應的 DID 方法以檢索對應的
22、 DID 文檔、并返回文檔。4 可驗證憑證(VC:Verifiable Credential 2)可驗證憑證 VC 通常是權威實體為另一個實體的某些屬性做背書而發出的描述性聲明,并附加自己的數字簽名;VC 規范定義了可驗證憑證的數據格式,形成數據跨域跨機構交互的一種標準。5 身份存儲庫(Identity Hub)身份存儲庫允許用戶以安全而隱私的方式存儲其敏感數據,未經用戶授權不允許訪問;即數據由用戶控制,用戶可以選擇以任何方式存儲數據,且只有通過用戶授權后,才可以允許第三方訪問。以上5個技術規范被廣泛應用到分布式數字身份與可信數字憑證系統的構建中,確保數字身份和數字憑證可以在不同網絡和平臺上的
23、互操作。分布式數字身份與可信數字憑證系統通常包含以下4種用戶:憑證持有者、VC簽發者(Issuer)、VC驗證者及權威機構。權威機構是一種特殊實體,具有認證用戶身份的能力,例如認證某一個用戶為VC簽發者。VC簽發者通常是授權機構(如學校、醫院、政府部門等),可注冊憑證模板、簽發可驗證憑證。一個VC憑證的主要操作過程包括:(1)VC簽發者根據業務特征設計并定義憑證模板,在模板中可以要求憑證聲明內容包括哪些屬性或數據字段,并規定哪些屬性是必需的或可選的。(2)VC簽發者公布憑證模板,并提供相應憑證的簽發服務;(3)憑證申請者(即持有者)選擇一個憑證模板,填寫憑證聲明內容,并提交憑證創建申請;(4)
24、VC簽發者獲取憑證創建申請后,審核對應的憑證聲明內容,當審核通過,簽發該VC憑證,為憑證簽名等。(5)憑證持有者拿到VC憑證后,可根據需要把該憑證出示給VC驗證者。(6)VC驗證者檢驗憑證是否真實,具體包括校驗憑證是否是由 9 VC簽發者簽發的、校驗持有者和VC簽發者的身份、驗證披露的數據是否真實。(二)鏈上鏈下結合(二)鏈上鏈下結合的交易處理技術的交易處理技術 區塊鏈的去中心化、分布式存儲、數據防篡改、可追溯、依靠密碼學提供信任背書、按智能合約自動執行等特點為分布式交易平臺提供了有力的技術支撐。在比特幣、以太坊等公有鏈上的交易往往通過加密貨幣(如比特幣、以太幣)實現。在比特幣網絡中,每一筆交
25、易都需要全網廣播,通知礦工,并產生一些費用打賞礦工(作為記賬激勵),而且網絡的記賬規則大大限制了交易速度,對于小額高頻交易的場景非常不適用。針對以上問題,業界提出了鏈上鏈下結合的交易處理技術,閃電網絡就是屬于此類技術方法,其目的是為了實現高效且低成本的交易。原先所有交易都在比特幣網絡上進行,交易記錄都被記載在比特幣網絡這個大賬本上,也就是說數據都是上鏈的。而閃電網絡是比特幣網絡在鏈下的擴充,在閃電網絡上進行的交易并不會記錄到比特幣的大賬本上,這些交易是在鏈下完成的,它允許交易雙方建立交易通道,并成為兩個閃電網絡節點,后續雙方的交易都通過該通道完成,中間的交易數據不上鏈,因此也不用付手續費,交易
26、效率得到了很大提高。已建立的支付通道可以被后續其它交易使用作為支付中轉通道,從而形成一個依附于比特幣網絡的支付通道網絡。只有在建立通道和關閉通道才需要在比特幣網絡上進行,這兩個過程要全網廣播上鏈。由于其高效和低成本的特點,閃電網絡技術也被其它區塊鏈系統所采納使用。(三)多維度激勵機制(三)多維度激勵機制 目前,基于區塊鏈的算力網絡或資源分配調度的激勵方法,主要有以下3種:BOINC6是由伯克利提出的網絡計算開放基礎設施項目,是全球最大的分布式計算項目。它是一種面向志愿計算(Volunteer computing)的開源中間件分布式計算系統。當前該平臺正在與區塊鏈技術進行整合,其主要激勵機制是通
27、過積分與COP代幣實現,激勵機制簡單描述如下:算力供給用戶在BOINC平臺上完成計算任務后會獲得反饋積分,積分可以進一步兌換成COP代幣,COP代幣就是其主要激勵。未來BOINC計劃基于智能合約讓其產生專用的代幣。10 BCERA9是由北京郵電大學和首都師范大學共同提出了一種區塊鏈賦能的資源調度算法,不同于現有的資源調度方法,BCERA是依賴于一個區塊鏈結構來實現的分布式計算資源調度方法,BCERA中的區塊鏈節點通過求解任務調度優化問題來實現區塊鏈的共識,從而避免了共識所帶來的額外開銷和時延,同時還提升了系統的可擴展性和魯棒性。BCERA的激勵機制主要由兩部分組成,分別是(a)獎勵:設定任務發
28、布者使用資源的獎勵。(b)處罰:對未能完成計算任務或提供虛假信息的節點予以處罰。ShareBC8是由中山大學提出了一種區塊鏈賦能物聯網數據共享激勵框架,利用分片技術把區塊鏈網絡分割成多個支持并行處理數據共享交易的異步共識區,從而形成一個分層的數據共享方案;ShareBC利用智能合約實現了一種支持分層的數據拍賣模型的共享激勵機制,解決了多層數據分配優化問題,優化的目標時最大化共享數據資源給用戶帶來的效用與訪問數據資源的傳輸成本之間的差值。以上方法并未考慮多維度的激勵因素,包括低碳、節能、慈善、公益等。(四)數據訪問控制(四)數據訪問控制 在傳統訪問控制下,用戶披露的信息往往超過了獲取權限需要的范
29、圍,這種授權方式嚴重加大了用戶隱私泄露的風險。為了增強隱私安全策略,可以使用證明代替明文、零知識證明、屬性加密、匿名憑證等一系列策略和算法,使用戶盡量減少甚至消除敏感信息的披露。設計基于密文-策略的屬性加密,構建由ANDGate(表示屬性滿足該節點下的所有屬性條件)、ORGate(代表屬性集合滿足該節點下的某一屬性集合條件)及LeafNode(代表屬性節點)構成的帶訪問權限設置的訪問樹結構;基于屬性的訪問控制(包括對主體屬性、客體屬性、環境屬性以及訪問控制規則或策略的評估計算)實現細粒度的授權管理;基于匿名憑證,對聲明信息僅提供有關聲明結果的密碼學驗證方法,并不包含聲明數據的明文或密文(例如對
30、年滿18周歲的認證,而不實際提供出生日期)?;谝陨厦艽a學方法與策略,可以對身份數據及數字憑證的內容屬性做選擇 11 性信息披露,支持披露信息最小化,且防范第三方利用披露信息推測實體的現實身份或在其它場景中的身份,增強隱私保護。(五)算力資源調度(五)算力資源調度 目前算力資源調度方法主要有以下幾種:方案 1,季玲玲等人10面向數據中心與超算中心提出了一種基于評分排序的算力調度方法。其通過給定候選計算結點的算力滿足程度、調度成本、算力性能、網絡響應時間等特征帶入預先定義好的評分函數打分,最后獲取得分最高的算力資源結點作為調度目標算力資源節點。方案 2,王洪全等人11提出了一種面向容器集群的算力
31、調度方法,該方法在構建集群時需要對計算資源的基準算力進行標定,然后根據用戶給定的計算需求與標定的計算資源算力進行比較,篩選得到算力大于等于用戶計算需求的結點;當篩選后滿足用戶需求的計算節點為多個時,根據節點剩余內存數最大的結點作為當前最優分配結點。前述方案 1 和方案 2 都是針對現有云計算基礎設施的資源調度方法?,F有方案均適配算力交易平臺構架,在獲取用戶需求后對自身資源池進行匹配,然后根據資源池內滿足用戶計算需求結點的其他屬性選擇最優的向用戶提供服務。在該應用場景下,資源調度問題實際上轉化為一個檢索重排序問題。通過閱讀這些方案可以發現其存在以下缺陷:(1)評分函數結構和參數固定,難以反映用戶
32、的歷史需求偏好,即所有用戶共享相同的評分函數;(2)在對檢索結果進行排序時選取的標準固定、單一,即機械地按照結點剩余內存或延遲等特定參數選擇“最優”的結點提供服務。針對上述缺陷,基于計算最優傳輸理論,本課題提出一種數據驅動的算力交易平臺資源調度方法。(六)區塊鏈監管(六)區塊鏈監管 采用不同區塊鏈底層技術的業務鏈的數據結構和通信協議互不相同,業務鏈與監管系統之間的通信協議接口也不一樣,因此業務鏈之間、業務鏈與監管系統之間互通難、互認難、互信難、互訪難。為了實現對區塊鏈上交易數據的監管,本課題研究新型區塊結構、哈希鎖定、公證人機制和側鏈/中繼、數據訪問泛化等技術,提出了即插即用、高可擴展、自適應
33、強等特點的聯盟鏈自適應監管技術,12 支持聯盟鏈與監管系統之間數據可靠傳遞,適應主流區塊的不同區塊結構,實現監管系統與業務鏈之間的數據交互;支持在不可篡改前提下,滿足監管需求的違規數據屏蔽。13 四、解決方案四、解決方案 基于區塊鏈的算力并網交易平臺系統架構如圖1所示,它包括數字身份鏈、交易鏈、算力交易平臺DAPP(去中心化應用程序)、以及與交易鏈節點關聯的交易服務通道控制器(Service Channel Controller)。圖 1 算力交易系統架構(一)數字身份鏈(一)數字身份鏈 數字身份鏈上保存用戶的數字身份DID文檔、用戶相關的數字可驗證憑證(如某種算力服務資質VC證明)。用戶注冊
34、DID身份后,系統會給用戶分配一個DID號,DID的私鑰由用戶保管,而對應的公鑰保存在DID文檔中,DID文檔會寫入數字身份鏈(即上鏈存儲)。用戶分為算力供給用戶(簡稱供給用戶),算力消費用戶(簡稱消費用戶)以及權威機構用戶;當一個用戶注冊為算力供給用戶時,權威機構用戶可以為其提供身份認證服務,比如基于KYC(Know Your Customer)認證(一種實名認證機制,一般通過諸如提供身份證明和常住地址等手段來核實用戶身份),當認證通過后,供給用戶成為一種具有DID身份的授權機構(憑證簽發者即Issuer)用戶,Issuer可以注冊交易憑證模板,并簽發交易VC憑證。算力消費用戶的注冊認證也
35、14 是由權威機構用戶完成的,與算力供給用戶相比,其認證相對寬松與簡單,算力消費用戶是一個具有DID身份的普通用戶。權威機構用戶是一種特殊用戶,它通常是該系統的管理用戶,具有為供給用戶和消費用戶提供身份認證的能力;同時權威機構會注冊供給用戶的資質認證憑證模板,并為供給用戶提供資質憑證簽發服務。(二)交易鏈(二)交易鏈 交易鏈上保存與交易相關的數據,所有交易數據以可驗證憑證的方式保存到交易鏈上。算力交易通常包含一項交易啟動事件,該事件表示交易雙方對某一個交易合同或協議達成共識并開始按該協議進行交易;同時算力交易一般是按時計費的,所以要求具有定時結算的機制;在交易雙方結束交易時,也會觸發一個交易結
36、算?;谒懔灰椎囊陨咸攸c,本方案提出了一種支持靈活交易模式的算力交易方法,基于可驗證數字憑證(W3C的VC標準)設計交易數據模型,允許算力供給用戶定義并發布定制的交易模式。另外在交易鏈上,本方案提出一種算力交易激勵方法,設計智能合約程序,綜合考慮多種激勵條件,形成一種滿足不同用戶需求的交易方案推薦與撮合機制;在資源調度方面,提出了一種數據驅動的算力資源調度方法;在交易監管方面,提出了一種異構聯盟鏈自適應監管架構以及多種面向聯盟鏈監管的數據屏蔽方法。1、交易模式、交易模式 本方案提出了以下4個關鍵數據結構包括2種CPT(Claim Protocol Type)模板和2種VC憑證,如下:(1)C
37、PT(Claim Protocol Type)模板 CPT 模板,一種數字憑證模板,它定義了憑證聲明包含的數據字段及各字段的數據類型,并聲明哪些字段是必需的。交易啟動CPT模板 啟動一個交易的模板,由供給用戶定義并注冊,一個模板樣例如下:15 title:模板名稱,description:模板描述,type:object,properties:pdid:type:string,description:供給用戶 DID ,cdid:type:string,description:消費用戶 DID ,spec:type:string,description:算力規格,如每秒多少 GFLOPS,MF
38、LOPS,TFLOPS 或 PFLOPS ,price:type:float,description:每分鐘的價格,單位元 ,minCost:type:float,description:最小開銷即起步計價,單位元 ,checkinCptId:type:integer,description:結算模板 ID ,encryption:type:string,description:加密方式,如:明文、CP-ABE ,required:pdid,cdid,spec,price,checkinId 其中properties是聲明內容包含的數據字段,required定義了哪些字段是必需。交易結算CPT
39、模板 進行交易結算上鏈的模板,由供給用戶定義并注冊,模板樣例如下:title:模板名稱,description:模板描述,type:object,properties:pdid:type:string,description:供給用戶 DID ,cdid:type:string,description:消費用戶 DID ,cost:type:float,description:結算費用,單位元 ,startTs:type:TIMESTAMP,description:結算周期起始時間 ,endTs:type:TIMESTAMP,description:結算周期結束時間 ,tradeType:ty
40、pe:string,16 description:交易額類型,如:小額,大額,中等數額等 ,credentialId:type:string,description:消費用戶提交的 VC 憑證申請 ID ,encryption:type:string,description:加密方式,如:明文、CP-ABE ,required:pdid,cdid,cost,startTs,endTs,tradeType (2)VC 憑證 交易啟動VC憑證 交易啟動VC憑證是由消費用戶提交數據及申請,再由供給用戶簽發。憑證的聲明數據根據交易啟動CPT模板的字段要求及實際數據填寫。交易啟動VC憑證參考樣例如下:c
41、ontext:https:/ minCost:10,checkinCptId:1002 ,proof:.,type:VerifiableCredential,original 簡單說明各個字段的含義:context:版本信息 id:憑證ID號 cptId:CPT模板ID號 Issuer:簽發者DID issuanceDate:簽發時間 expirationDate:過期時間 claim:聲明內容與數據 proof:簽名數據結構體 17 type:憑證類型 交易結算VC憑證 交易結算VC憑證是由消費用戶或服務通道代表消費用戶提交數據及申請,再由供給用戶簽發。憑證的聲明數據根據交易結算CPT模板的
42、字段要求及實際交易結算數據填寫。交易結算VC憑證參考樣例如下:context:https:/ 算力供給用戶(Issuer)需要注冊交易啟動CPT模板和交易結算CPT模板,同時要處理對應的可驗證憑證(如交易啟動VC憑證,交易結算VC憑證)的簽發請求。交易啟動CPT模板,可以類比為交易合同或協議模板,它定義了啟動該交易的所需數據字段,通常包含供給方DID、消費方DID、算力的規格、算力單位價格、結算方式(如:按最小時間單位付費)、起步計價、數據加密方式、交易結算CPT模板ID等。交易啟動CPT模板可以根據供給方需求自己定義,支持一些復雜的交易模式,比如不同時段使用不同的算力報價。交易結算CPT模板
43、定義了一筆交易結算包含的數據字段,通常包括供給方DID、消費方DID、費用、起止時間、數據加密方式、交易額類型(如小額、中等數額、大額,具體交易額類型可由系統管理員定義)等。18 2、數據訪問授權機制、數據訪問授權機制 算力供給用戶(Issuer)需要對登記到交易鏈的交易啟動VC憑證申請或交易結算VC憑證申請做簽發處理,以確認對應的操作(如:交易啟動或交易結算)。根據VC憑證中的數據加密方式選項可以對VC聲明中的指定數據字段進行加密,可以采用基于屬性加密技術,如基于密文策略的屬性加密(Ciphertext-Policy Attribute-Based Encryption,簡稱CP-ABE3)
44、,制定密文訪問策略,如允許“交易雙方OR授權查看用戶OR監管或審計用戶”訪問并解密密文。第三方用戶可以查看鏈上的交易VC憑證(包括交易啟動VC和交易結算VC)數據,當該交易VC憑證數據包含密文時,第三方用戶可以提交查看密文內容申請,只要申請被批準(即授權)后,便可解密并查看交易VC憑證包含的密文信息。通過這種方式可以有效保護交易數據以及交易用戶信息。3、激勵機制、激勵機制 圖2是基于區塊鏈的算力交易激勵方法及系統的一個實現示例,它包括兩種區塊鏈分別是算力需求鏈、算力供給鏈(如圖2的算力供給鏈A和B)和跨鏈模塊(如圖2的跨鏈模塊A和B)。圖 2 基于區塊鏈的算力交易激勵系統架構(1)算力需求鏈
45、19 算力需求鏈為算力消費用戶服務,主要存儲算力消費用戶的賬戶信息、算力資源數據(包括來自多個供給鏈的數據)、算力交易數據等;在算力需求鏈上部署算力交易撮合智能合約(簡稱撮合智能合約)。算力消費用戶和跨鏈模塊可以通過撮合智能合約定義的合約接口與區塊鏈的賬本數據進行交互。(2)算力供給鏈 算力供給鏈為算力供給用戶服務,主要存儲算力供給用戶的賬戶信息、算力資源數據(包括各自的激勵向量)、算力分配數據等;在算力供給鏈上部署算力交易激勵智能合約(簡稱激勵智能合約)。算力供給用戶通過激勵智能合約定義的合約接口進行登記或更新算力資源(包括算力類型、算力服務處理能力、規格、報價、空閑處理能力、激勵因子向量等
46、)以及查看或追加激勵因子向量。(3)跨鏈模塊 跨鏈模塊分別與一個算力供給鏈和一個算力需求鏈相連接,完成數據的轉移和鏈間交互。比如跨鏈模塊會把算力供給鏈登記的算力資源數據同步到算力需求鏈上;跨鏈模塊作為算力供給鏈的用戶代理,在算力需求鏈上維護并管理交易賬戶數據,并把每個供給用戶對應的權益登記到算力供給鏈;跨鏈模塊在算力供給鏈上進行算力資源的分配調度處理,維護各個供給用戶的算力資源數據。(4)算力交易激勵機制 假設交易鏈上所有的算力供給用戶集合為P,對于任一算力供給用戶p P,p提供的算力服務總處理能力為Rp,空閑處理能力為Lp,算力規格集合為,對應報價為,其中Cpm(1mK,K為不同算力規格數量
47、)是算力規格Spm的價格;激勵因子向量表示為,其中Epj(1jN,N為激勵因子數量)表示某一激勵因子的效用(如碳中和收益)。算力供給用戶可以通過激勵智能合約的Register或Update接口來登記或更新以上數據。對于一個算力消費用戶U,U可以通過撮合智能合約的獲取推薦交易方案接口輸入激勵偏好B和算力要求D,并獲取滿足該激勵偏好的推薦方案;激勵偏好可以用一個向量表示,Bj(1jN)表示為對應激勵因子效用設置一個倍數,該倍數值越大,則代表對應激勵因子影響權重越大,即用戶越看重這個激勵因素(如低碳)。算力要求D包含所需的算力類型Dt、規格Dq(如多少GFLOPS,MFLOPS,TFLOPS或PFL
48、OPS)、是否可分片處理等。20 則激勵機制的目標就是獲取滿足公式(1)或(2)的最優解:(i)當算力要求 D 不可分片處理 EXP(D,B)=min Cpq Epj Bj=1 s.t.Spq=Dq,LpDq,pP(ii)當算力要求D可分片處理 EXP(D,B)=min (Cpq Epj Bj=1p P)s.t.Spqp P=Dq,LpDq 滿足公式(1)或(2)的最優解方案是在滿足算力消費用戶的算力要求的前提下,使算力費用減去所有激勵因子與激勵偏好的積之和,獲得的結果最小。4、資源調度機制、資源調度機制 基于計算最優傳輸理論,本課題提出一種數據驅動的算力交易平臺資源調度方法。首先,將算力交易
49、平臺的資源調度問題轉化為一個最優化問題:給定用戶需求的情況下,最小化用戶需求和根據候選結點的調度屬性(如報價、傳輸延遲、計算延遲、資源占用率等)之間的損失問題。其次,為了捕捉個性化的用戶需求和用戶間共性需求,提出了一種帶有融合用戶特征和全局共性特征的損失函數來刻畫候選解決方案滿足用戶需求的代價函數,該代價函數由兩部分構成:用戶個性化權重和全局共享權重。用戶個性化權重是僅針對當前用戶生效的參數,用于刻畫用戶的個性化需求。全局共享權重則是所有用戶共享的特征,通過該權重模型可以學習到用戶無關的調度權重,同時避免冷啟動問題。最后,基于計算最優傳輸理論(Computational optimal tra
50、nsport)13利用熵正則(Entropy regularization)和辛克霍恩算法(Sinkhorn algorithm)14求解該最優化問題,求解得到與用戶需求相似度最高的若干最優解決方案推送給用戶選擇。用戶需求建模 算力交易平臺的資源調度需要根據用戶的需求來執行。而用戶需求根據對業務的影響可以大致分為“必須需求”和“非必需需求”?!氨仨毿枨蟆倍x為無論如何必須滿足的資源要求以保證應用可被正確地運行,例如通用 CPU 算力需求、并行 GPU 算力需求、非易失內存空間需求等。對于非必需需求或稱服務質(1)(2)21 量需求,我們將其定義為不影響用戶計算任務的執行,但對用戶的服務體驗有較
51、大影響,例如平均網絡傳輸延遲、計算網絡延遲、非易失存儲 IO 速度等。因此,我們將用戶的需求形式化定義為:=,nec ,+為用戶需求向量,其中nec為用戶必須需求,qos為用戶服務質量需求。為了滿足用戶細粒度的需求,我們將平臺的資源調度問題建模成一個“檢索重排序問題”,因此資源調度機制主要涉及 2 個重要功能:必須需求匹配和解決方案重排序。必須需求匹配 用戶必須需求匹配模塊主要根據給定的用戶必須需求nec向連接到算力交易平臺的計算服務提供商(CSP)發起資源查詢匹配請求。用戶發起算力請求時,用戶將自己的需求提交到算力交易平臺,算力交易平臺創建一個服務請求。算力平臺將用戶的需求拆分為必須需求和服
52、務質量需求,然后將必須需求轉發給各計算服務商進行算力資源進行查詢,其流程如圖3 所示:圖 3 用戶向平臺發起資源查詢匹配請求 然后,待各計算服務商返回查詢結果后,算力交易平臺將結果混合匯總形成候選解決方案集合=(,)|i=0,1,2,,其中(,)為其中某個解決方案,為解決方案配置對象,為當前解決方案的服務質量屬性集合(例如計 22 價方案、延遲等解決方案屬性)。然后算力交易平臺對候選解決方案重新排序將更符合用戶服務質量需求和使用習慣的解決方案推送給用戶。圖 4 平臺向計算資源服務商查詢后,平臺篩選結果并反饋給用戶 解決方案重排序 候選解決方案重排序模塊主要根據用戶的需求向量和候選解決方案集合S
53、的某種測度來進行重排序。與現有技術只使用單一的資源使用率進行重排序的方案不同,我們提基于學習排序框架(Learn to rank)15和計算最優傳輸理論(Computational optimal transport)提出了一種數據驅動的個性化資源調度方法,將資源調度問題定義為求解如下最優化問題:=min(,)C(,)即給定用戶需求時,最小化用戶需求和解決方案調度屬性的損失C(,)的最優化問題。其中為候選解決方案的個數,(,)為該最優化問題的解。上式可以解釋為:給定候選解決方案集合和用戶需求的情況下,找到個使得損失函數最小的解決方案推薦給用戶。由于最優傳輸的原問題是一個線性規劃問題,求解速度、
54、求解規模與可導性上存在不足。一種常見做法是引入熵正則化(entropic regularized)來求解:23=min(,)C(,)(),H()=,(log,1),其中H()為熵正則化項,C為代價函數。為了體現用戶個性化的需求,我們設計了一個用戶網絡來構建用戶代價函數。具體地,對于每一個用戶有用戶向量 ,使用對應的多層感知機映射網絡將用戶向量映射為用戶權重矩陣:=MLP()=(Linear()(+)同時,對于所有用戶共享一個全局權重矩陣,于是個性化代價函數則定義為:=(+),(+)(,)上式中為服從正態分布的隨機系數,ReLU()為激活函數,該激活函數保證了代價函數是非負的。根據文獻13使用辛
55、克霍恩算法(Sinkhorn algorithm)求解該最優化問題,其算法偽代碼如下:算法算法 1:基于辛克霍恩的最優傳輸方案求解:基于辛克霍恩的最優傳輸方案求解 Input:代價函數:代價函數,用戶需求向量,用戶需求向量 Initialize:=()=While and is not converged do:=24 End While =()()Output 上述算法在熵正則約束下時可以在有限次迭代后收斂。返回結果(+)矩陣為上述最優化問題的解,利用帶入下式求得最優傳輸解時的代價值:d,=()上式計算結果d,即為給定用戶需求和候選解決方案之間在最優傳輸解下的代價函數值,其中為矩陣的哈達瑪積
56、。d,可以作為衡量用戶需求和候選解決方案之間的距離,距離越小則意味著候選解決方案越契合用戶的需求。實際應用場景時,往往是一個用戶需求對應多個候選解決方案,因此,為了提高計算效率我們可以將上式進行變換并歸一化,即對于用戶需求 1(+),和個候選解決方案集合=|,則有用戶需求和候選解決方案集合的相似度向量:,=1 ()=|=1,2,上式可以通過一次并行計算得到一個用戶需求向量與個候選解決方案的歸一化相似度。需要注意的是,,跟d,單調性相反,,中值越大則意味著候選解決方案越契合給定的用戶需求。因此,根據該距離進行升序排序然后取前k個結果即可得到推薦給用戶的最優候選解決方案列表。為了自動地對用戶網絡中
57、的參數進行整定,文獻4可知,計算,和辛克霍恩算法都是基于矩陣的初等函數運算,這意味著梯度可以穿透上述環節從而影響到用戶個性化損失函數C中涉及的神經網絡單元,因此為了訓練整個算法模型,我們需要根據數據來設計損失函數從而產生訓練梯度更新整個算法。25 具體地,針對訓練數據:用戶查詢 +和對應的用戶正反饋候選解決方案集合=,|=0,1,,則以用戶為單位的訓練數據集Corpus=(,)。這里使用排序學習中常用的交叉熵損失函數作為模型的目標函數:=,log,+(1 ,)log(1 ,)其中如果 i則y,=1否則y,=0,上式可以解釋為:最大化用戶標注標簽候選解決方案的輸出相似度,同時最小化未標注候選解決
58、方案的相似度得分。該損失函數可以使用隨機梯度下降算法進行優化。綜上,該模型訓練階段時的流程如圖5所示。圖 5 訓練階段流程圖 26 待模型訓練完成后,模型推理階段流程圖如圖6所示:圖 6 推理階段流程圖 由于該模型是數據驅動型的,因此收集必要的標注數據對于模型性能提高至關重要,因此在推理階段我們對用戶在平臺上選擇的解決方案進行標注作為系統迭代更新的數據,以持續提高用戶體驗。5、交易監管、交易監管 為了滿足監管系統與異構業務鏈之間的數據通信需求,我們在核心數據結構、區塊鏈交互模式和事務管理上提取業界主流聯盟鏈區塊結構中的關鍵字段的公共子集,并基于自描述技術設計一種標準化的區塊結構,區塊頭包含了對
59、區塊數據結構定義的描述,可以適配主流區塊結構,監管系統在獲取區塊鏈數據后,可以根據自描述信息解讀區塊數據并進行分析監管。27 自適應監管技術架構如圖7所示,采用統一框架和標準化組件,實現業務聯盟鏈與監管系統之間的通信協議自動轉換,達到自適應監管的效果。每條業務聯盟鏈及監管系統都與一套自適應監管組件進行連接,自適應監管組件之間采用通用鏈間消息傳輸協議進行數據通信。業務聯盟鏈A自適應監管組件業務聯盟鏈B自適應監管組件業務聯盟鏈C自適應監管組件監管系統A監管系統B 圖 7 自適應監管架構 為了防止違法違規交易信息上鏈以及在不可篡改前提下實現對鏈上違規信息的屏蔽,我們提出了多種鏈下鏈上結合的數據屏蔽方
60、法,如下:(1)支持動態策略的聯盟鏈數據屏蔽方法,解決了不可篡改前提下的數據屏蔽問題,本方法引入客戶端實體,在鏈下完成數據屏蔽,并支持動態策略的識別框架,針對不同數據類型匹配不同的檢測算法,適用于上鏈后的數據屏蔽處理。(2)基于分級協作的聯盟鏈數據屏蔽方法,解決方法(1)的性能瓶頸及處理延遲大的問題,時延開銷減少約90%,各處理單元分工協作,對訪問的用戶完全透明,適用于上鏈過程中及上鏈后的數據屏蔽處理。(3)基于智能合約與加密策略的聯盟鏈數據屏蔽方法,解決鏈上數據屏蔽問題,利用加密屏蔽策略,結合智能合約,對上鏈數據做預處理,適用于上鏈前及上鏈過程中的數據屏蔽,對業務鏈的改動較小,實施成本低。2
61、8(4)基于提示學習的聯盟鏈關鍵信息智能檢測與屏蔽方法,解決違規文本智能檢測與屏蔽問題,結合預訓練語言模型和領域專家違規知識體系,既支持少量樣本,也支持通過增大訓練樣本提高準確性,準確率達到80%,適用于上鏈前、中、后的數據屏蔽。(三)算力交易平臺(三)算力交易平臺 DAPP 算力交易平臺DAPP(簡稱交易平臺DAPP)是一個分布式應用程序,它分別與數字身份鏈和交易鏈的一個節點相連接,同時終端用戶可以通過它訪問數字身份鏈和交易鏈上的數據。交易平臺DAPP主要包括算力交易模塊、DID服務模塊以及可驗證憑證VC服務模塊。(1)交易模塊主要包括交易啟動處理和交易結算處理兩個部分 交易啟動處理:匯總創
62、建服務通道所需的參數,調用交易鏈的智能合約接口,獲取一個交易服務通道。交易結算處理:轉發定時結算消息,處理交易結算 VC 憑證及其相關的消息。(2)DID服務模塊主要包括注冊身份DID、身份驗證以及身份查詢與更新 注冊身份 DID:生成一個 DID,生成 DID 文檔并保存到數字身份鏈上。身份驗證:根據 DID,判斷數字身份鏈上是否存在;根據 DID 查詢DID 文檔(常以 JSON 格式),驗證 DID 身份描述信息。身份查詢與更新:查詢 DID 屬性、設置 DID 屬性、為 DID 添加認證和服務信息等。(3)VC服務模塊主要包括CPT模板管理和憑證管理兩個部分 CPT 模板管理提供了對
63、CPT 模板的注冊、更新、查詢等操作。憑證管理提供憑證的簽發和驗證操作、可驗證表達(Verifiable Presentation)的簽發和驗證操作。(四)交易服務通道控制器(四)交易服務通道控制器 交易服務通道控制器是一個交易服務通道的控制程序,它可以動態地啟動或停止一個服務通道。每個服務通道供交易雙方交互數據使用,可以把一個服務通 29 道看作是一個數據傳輸管道及交易服務程序。交易服務通道控制器與一個交易鏈節點相連接,它可以部署在交易鏈節點上作為節點的一個擴展程序,也可以部署到節點之外的主機上并通過網絡與節點相連接。交易鏈節點可以通過遠程調用API接口(如RESTful API)調用關聯的
64、交易服務通道控制器去創建或關閉一個服務通道。(1)創建新交易服務通道流程 創建新交易服務通道流程如圖8所示,當供給用戶A和消費用戶B,通過交易平臺DAPP完成一個新交易的創建(創建新交易流程見圖9)后,交易平臺DAPP會調用本地的交易啟動處理程序,匯總創建服務通道所需的參數(如:交易雙方DID、對應的公鑰信息、交易啟動VC憑證數據、交易結算CPT模板等),調用交易鏈的智能合約接口-1,獲取一個交易服務通道;智能合約接口-1的合約處理程序會獲取輸入的參數,并返回一個服務通道信息給交易平臺DAPP;交易鏈節點在收到創建新通道消息后,會調用關聯的交易服務通道控制器創建一個服務通道,同時把建立連接所需
65、的認證信息以及交易結算所需數據(如交易啟動VC憑證數據和交易結算CPT模板等)傳入到服務通道程序。圖 8 創建新交易服務通道流程(2)創建新交易的消息流程 創建新交易的流程如圖9所示,當消費用戶B通過交易平臺DAPP獲得交易報價信息后,做出交易決策,選擇來自供給用戶A的報價方案;消費用戶B從報價方案中獲取對應的交易啟動CPT模板ID,并通過交易平臺DAPP從交易鏈上獲取CPT模板數據;獲取交易啟動CPT模板數據的智能合約接口為合約接口-2,合約接口處理程序從區塊鏈賬本中讀取指定ID的交易啟動CPT模板數據并返回給調用者;消費用戶B根據報價數據及交易啟動CPT模板要求,填寫交易啟動VC憑證,并通
66、過交易平臺DAPP發起交易啟動VC憑證申請,交易啟動VC憑證申請記錄存 30 入交易鏈;交易啟動VC憑證申請記錄上鏈是通過合約接口-3完成,合約接口處理程序獲取輸入的交易啟動VC憑證申請記錄數據(通常包括消費用戶DID、目標供給用戶DID、憑證ID、算力規格和價格、交易結算CPT模板ID、數據加密方式等),并將其存入交易區塊鏈賬本中。交易平臺DAPP在調用合約接口-3之前,對輸入參數會根據加密方式將指定數據字段加密成密文。供給用戶A通過交易平臺DAPP獲取到交易啟動VC憑證申請請求后,判斷憑證聲明中各個數據字段值是否與報價方案匹配,一旦滿足條件,則供給用戶A通過交易平臺DAPP簽發該交易啟動V
67、C憑證;否則拒絕或不做響應(依據系統具體需求)。交易啟動VC憑證的簽發記錄會由交易平臺DAPP通過智能合約接口-4寫入區塊鏈賬本中,合約接口-4的處理程序讀取輸入的交易啟動VC憑證的簽發記錄數據(包括簽發方即供給用戶DID、消費用戶DID、憑證ID、算力規格和價格、數據加密方式、簽名數據等)。交易平臺DAPP在調用合約接口-4之前,對輸入參數會根據加密方式將指定數據字段加密成密文。圖 9 創建新交易的消息流程(3)鏈下交易處理流程 鏈下交易處理流程如圖10所示,當供給用戶A和消費用戶B通過創建新交易服務通道流程獲得一個(交易)服務通道的信息后供給用戶A和消費用戶B會嘗試連接服務通道并完成身份許
68、可認證。服務通道的實現可以有多種方式,比如服務通道可以是一個基于TCP的數據 31 收發程序,則通道連接地址通常是一個IP+Port的地址對(即IP地址+TCP端口號),服務通道程序會綁定地址并監聽該端口號上的連接請求,一旦有新連接建立,則開始身份許可認證,這個認證過程可以基于連接端(如供給用戶A或消費用戶B)的DID公鑰、私鑰完成,服務通道程序保存著允許接入的DID列表,并利用對應DID公鑰加密一個隨機數據發送給連接端,由連接端利用自己DID的私鑰進行解密并返回給服務通道程序,從而完成一次身份許可認證。服務通道還可以基于消息隊列(Message Queue,簡稱MQ)或消息發布訂閱機制來實現
69、,例如可以使用開源項目ZooKeeper的消息發布訂閱組件,或使用開源項目Kafka的消息隊列組件,實現消息管道及數據傳輸功能。此外服務通道還可以基于開源聯盟鏈FISCO BCOS提供的鏈上信使協議(Advanced Messages Onchain Protocol,簡稱AMOP)實現,AMOP為聯盟鏈提供一個消息信道,它包括兩種話題模式分別是普通話題和私有話題,普通話題允許所有接收者訂閱且訂閱者會收到該話題相關的消息推送(類似組播),而私有話題用于特定的接收者才能收到消息的場景。AMOP私有話題需要進行身份認證,通過認證的訂閱者才能收到訂閱消息,認證過程:首先由發送方生成一個隨機數,訂閱方
70、用私鑰對隨機數簽名,發送方用所配置的公鑰驗證這個簽名來確定對方是否是自己指定的訂閱方。交易雙方(即供給用戶A和消費用戶B)一旦完成了服務通道的接入認證流程,就可以利用服務通道進行定時結算消息(如每1分鐘或5分鐘一個)的發送及確認。這些定時結算消息都是在鏈下交互完成的,定時結算數據并未上鏈,因此結算處理效率得到了很大提高;同時一個服務通道的創建由交易鏈節點通過交易服務通道控制器完成,每個服務通道程序都是運行在與一個交易鏈節點關聯的交易服務通道控制器所在的主機系統上,因此可以避免出現Hub節點(即局部中心節點)現象;服務通道的接入認證流程可以保證只有指定的交易用戶才可以加入,交易安全得到有效保障;
71、除了以上優點,服務通道還可以通過可調整時間跨度的上鏈策略控制交易結算上鏈處理整體負載,如經過N個定時結算周期后,由服務通道發起一個交易結算上鏈處理請求,當區塊鏈的上鏈數據處理隊列較長(即交易結算上鏈處理負載較大)時,就可以通過增大N的數值,來調控(即減少)交易結算上鏈請求的并發數量,從而減輕系統的上鏈處理壓力。32 圖 10 鏈下交易處理流程 (4)交易結算數據上鏈流程 交易結算數據上鏈流程如圖11所示,當鏈下交易完成N(數值可調整)次定時結算后,服務通道會觸發一次交易結算上鏈處理,根據交易結算CPT模板的要求及當前的交易數據,填寫交易結算VC憑證的聲明內容并創建一個交易結算VC憑證申請。服務
72、通道通過合約接口-5把交易結算VC憑證申請記錄(包括供給用戶DID、消費用戶DID、憑證ID、交易數額、起止時間、加密方式等)上鏈;合約接口-5的接口程序讀取輸入的交易結算VC憑證申請記錄數據并把輸入數據寫入交易鏈賬本中;服務通道在調用合約接口-5之前,對輸入參數會根據加密方式將指定字段加密成密文。服務通道程序給供給用戶A發送消息通知它去完成指定憑證ID號的交易結算VC憑證簽發處理。供給用戶A收到通知消息后,會通過交易平臺DAPP完成指定ID號的交易結算VC憑證簽發。憑證簽發后,交易平臺DAPP通過合約接口-6完成交易結算VC憑證簽發記錄(包含帶供給用戶A簽名的VC憑證數據)數據上鏈;合約接口
73、-6的接口處理程序把輸入的交易結算VC憑證簽發記錄寫入到交易鏈賬本中;交易平臺DAPP在調用合約接口-6之前,對輸入參數會根據加密方式將指定字段加密成密文。最后供給用戶A向服務通道程序發送一條交易結算VC憑證簽發確認消息。33 當交易終止時,會由交易雙方觸發一條交易結束消息。服務通道完成交易結算上鏈處理后,會關閉服務通道。圖 11 交易結算數據上鏈流程 34 五、總結與展望五、總結與展望 隨著人工智能、元宇宙、AR/VR 渲染、自動駕駛等應用的發展,對算力的需求日益增強。算力供給端與算力需求側之間需要一個能支撐安全、高效、靈活交易服務的算力交易平臺。本文首先介紹了算力交易平臺國內與國際的發展現
74、狀,然后闡述了涉及到的關鍵技術包括分布式數字身份與可信憑證技術、鏈上鏈下結合的交易處理技術、數據訪問控制策略、多維度激勵機制、資源調度機制以及監管技術等,最后提出了一種基于區塊鏈的算力并網交易平臺的解決方案,包括數字身份鏈、交易鏈、算力交易平臺 DAPP 以及交易通道控制器,在交易鏈中重點闡述了采用的技術方法包括交易模式、數據授權訪問機制、激勵機制、資源調度機制以及交易監管。本研究課題的目標是構建一個基于區塊鏈的算力并網交易平臺,為所有用戶(包括算力供給用戶、算力消費用戶等)提供統一、開放、規范的服務及服務接口,更好地促進算力服務及基于算力的各種應用水平的提高,推動基于算力的共享經濟和數字經濟
75、的發展。目前的方案還會在后續研究與實踐中,不斷優化不斷完善,我們期盼與各合作伙伴一起,匯聚行業力量,共同打造高效、開放的算力并網交易平臺。35 術語與縮略詞表術語與縮略詞表 英文縮寫英文縮寫 英文全稱英文全稱 中文全稱中文全稱 W3C World Wide Web Consortium 網際網路聯盟 DIWG Decentralized Identifier Working Group 分布式身份標識符工作組 DID Decentralized Identifier 分布式身份標識符 VC Verifiable Credential 可驗證憑證 CPT Claim Protocol Type
76、憑證聲明模板 CP-ABE Ciphertext-Policy Attribute-Based Encryption 基于密文策略的屬性加密 DAPP Decentralized Application 去中心化應用程序 CSP Computing Service Provider 計算服務提供商 DPOS Delegated Proof Of Stake 權益委托證明 PBFT Practical Byzantine Fault Tolerance 實用拜占庭容錯 BOINC Berkerley Open Infrastructure for Network Computing 伯克利開放計
77、算網絡 EGI European Grid Infrastructure 歐洲網格計算基礎設施 SHIXP ShangHai new-type internet Exchaange Point 上海新型互聯網交換中心 FLOPS Floating-point Operations Per Second 每秒浮點運算次數 CUDA Compute Unified Device Architecture 英偉達推出的通用并行計算架構 36 參考文獻參考文獻 1.分布式數字身份 DID 技術規范,https:/w3c.github.io/did-core/2.可驗證數字憑證 VC 技術規范,http
78、s:/w3c.github.io/vc-data-model/3.Ciphertext-Policy Attribute-Based Encryption.IEEE S&P.2007 4.蔡維德,王榮,何 娟等.分布式數字資產交易平臺的問題與評估.軟件學報,2022 5.中國移動,2022 年算力網絡技術白皮書 6.BOINC 平臺,https:/boinc.berkeley.edu/7.歐洲網格基礎設施(EGI),https:/www.egi.eu 8.蔡 婷,林 暉,陳武輝,鄭子彬,余 陽.區塊鏈賦能的高效物聯網數據激勵共享方案.軟件學報,2021 9.衷璐潔,王目.區塊鏈賦能的算力網絡協
79、同資源調度方法.計算機研究與發展,2023 10.季玲玲,龍岳,蔣成,等.算力調度方法,裝置及介質:202211696732P.11.王洪泉,徐飛,吳棟,一種容器集群算力調度方法及相關裝置:202211554106.7P.12.衷璐潔,王目.區塊鏈賦能的算力網絡協同資源調度方法J.計算機研究與發展,2023,60(4):750-762.DOI:10.7544/issn1000-1239.202330002.13.Peyr,Gabriel,Cuturi M.Computational Optimal TransportJ.Working Papers,2018.DOI:10.48550/arXiv.1803.00567.14.Feydy J,S journ,Thibault,Vialard,Fran ois-Xavier,et al.Interpolating between Optimal Transport and MMD using Sinkhorn DivergencesJ.2018.DOI:10.48550/arXiv.1810.08278.15.Liu,Tie-Yan.Learning to Rank for Information RetrievalC/ACM.ACM,2010:904-904.DOI:10.1145/1835449.1835676.