福建政務大數據架構演進實踐.pdf

《福建政務大數據架構演進實踐.pdf》由會員分享，可在線閱讀，更多相關《福建政務大數據架構演進實踐.pdf（16頁珍藏版）》請在三個皮匠報告上搜索。

1、福建政務大數據架構演進實踐石福仁福建大數據一級開發有限公司自 主 創 新 引 領大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會福建省公共數據體系介紹政務大數據平臺架構演進0 01 10 02 2目 錄Contents大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員

2、會福建省公共數據體系介紹Chapter 01大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會數字福建發展歷程2000年提出“數字福建”建設目標“數字福建”實施131計劃一個規劃、三個工程、一項政策2001年“數字福建”實施339計劃三個工程、三類項目、九個系統2002年2003年省級政務信息共享交換平臺2016年福建省政務數據管理辦法2018年福建舉辦首屆數字中國建設峰會“以信息化驅動現代化，加快建設數字中國”福建省數字政府改革

3、和建設總體方案福建省大數據發展條例福建省公共數據資源開放開發管理辦法2022年福建省一體化公共數據體系建設方案福建省加快推進數據要素市場化改革實施方案2023年一體化公共數據體系建設至今“數字福建”“十五”建設規劃福建省公用信息平臺福建政務信息網絡工程福建空間信息工程研究中心福建省信息共享政策公眾信息服務平臺、網絡安全監控中心、分布式基礎數據庫電子商務、信息技術改造傳統產業、電子公文傳輸系統示范工程環境生態監測、國土資源、海洋生態、公安信息、儲備糧油信息、國民經濟動員、國民經濟與社會信息、文化信息和計劃生育大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推

4、進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會堅持“全省一盤棋、上下一體化建設”原則，建設一張網、一朵云、三大一體化平臺、一個綜合門戶，支撐N個應用的“1131+N”一體化體系，對內構筑“一網統管”應用體系，對外深化“一網通辦”應用體系。數字政府“1131+N”體系用戶交互層政策制度體系組織保障體系標準規范體系安全保障體系業務應用層閩政通（政務版）閩政通（公眾版）中國福建（網站集群）自助終端熱線服務.改革管理系統三醫一張網一網統管一網通辦一網協同數字抗疫數字發改應急指揮網格化.業務應用組件集成低代碼統一開發一體化

5、移動應用支撐統一組件支撐業務統一集成支撐渠道整合政務服務整合已建系統集成數據集成運維數據共享交換資源配置管理統一監控告警運維自動化運維流程管理運維數據可視化運維智能分析.數據匯聚統一身份認證電子證照數字證書和電子印章公共信用視頻會議空間信息統一支付福建碼.一個綜合門戶N個應用一體化應用支撐平臺公共服務能力支撐一體化運維監管平臺數據存儲數據治理數據確權數據共享數據開發數據開放數據交易服務公共數據應用支撐層社會數據其他數據基礎庫主題庫專題庫一體化公共數據平臺一朵云業務區數據區信創區測試區政務網（一張網）基礎設施層數據資源層大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數

6、據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會福建省一體化公共數據體系堅持全省一盤棋理念，打造標準統一、布局合理、管理協同、安全可靠的全省一體化公共數據體系；通過三大公共數據平臺，接入公共和社會數據，實現國家、省、市三級縱向貫通和省級部門的橫向打通。福建省一體化公共數據平臺數據開發服務平臺數據交易社 會數 據醫院公共企事業學校水電煤 數據交易平臺部門數據資源專區基礎庫A部門專區數據統一開放平臺數據可用可見數據可用不可見按需匯聚省級公共數據資源區匯聚治理 共享應用按需接入數據產品能力支撐國家政務大數據平

7、臺主數據主題庫市級數據匯聚共享平臺省級單位數據中心/業務系統設區市級聯系統系統連接標準規范管理機制安全保障一體化運營互聯互通共享應用省級匯聚共享區（行業共享數據）數據匯聚共享平臺B部門專區.部門專區大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會政務大數據平臺架構演進Chapter 02大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會

8、大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會政務大數據平臺迭代數據共享平臺ETL（1.0）數據匯聚共享平臺（集中式）RMDB（2.0）數據匯聚共享平臺（分布式）Hadoop（3.0）一體化公共數據平臺湖倉一體（4.0）特性：平臺不存儲數據，更多的啟了”橋梁“作用弊端：同一份數據如有多方申請，需要多次向數源部門取數特性：數據一次匯聚多次共享，支持數據多手段共享交換弊端：數據集中存儲引起瓶頸，非結構化文件存儲難特性：支撐海量結構化數據與非結構化數據匯聚，實時數據的接入，數據質量檢測、數據賦能應用場景弊端：表關聯分析需要搬家，缺少數據治理工具（如：標簽、指標等）特性：打造

9、流批一體、存算分離、多樣化數據存儲能力，實現數據匯聚、治理、開發、共享全生命周期的多層級租戶運營，助力數據要素價值發揮。政務大數據平臺由數據共享、數據匯聚共享逐步演進至數據存儲、加工治理、共享的一體化公共數據平臺，實現“業務驅動技術，技術賦能業務”。大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會一體化公共數據平臺一體化公共數據平臺桶1對象存儲計算引擎存算分離匯聚治理開發共享API接口數據訂閱數據查詢目錄服務打造流批一體、存算分

10、離、多樣化數據存儲能力，實現數據匯聚、治理、開發、共享全生命周期的多層級租戶運營，助力數據要素價值發揮。數據集成離線開發實時開發數據標簽數據指標數據超市數據交換.桶2.桶N計算 節點1.廳局A廳局B廳局C廳局D廳局E.DBDBDBDBDBDB數據脫敏租戶管理計算 節點2計算 節點N計算 節點3桶3大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會多層租戶SaaS化運營部門數據資源專區依托一體化公共數據平臺多層級租戶空間機制，實現集

11、約化建設，各數據專區采用“自治”模式，各專區的計算、存儲等資源獨立分配、物理隔離、線性擴展，減少財政資金投入。根空間一級空間系統維護A業務空間B業務空間二級空間物理 隔離省級部門數據專區地市部門數據專區A-a業務空間A-n業務空間三級空間邏輯 隔離B-a業務空間B-n業務空間邏輯 隔離A-a空間市場項目A-a-1項目A-a-nA-n空間市場項目A-n-1項目A-n-n空間項目業務項目B-a空間市場項目B-a-1項目B-a-nB-n空間市場項目B-n-1項目B-n-n邏輯 隔離邏輯 隔離邏輯 隔離邏輯 隔離大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進

12、委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會簡化技術標準化SQL對象存儲計算引擎計算 節點1HiveSparkDB自帶元數據管理HiveSQLSparkSQL.Hadoop體系存算分離體系桶1桶2桶3桶.桶1桶2桶3桶.內置索引標準SQL元數據無索引全表掃數據分區事務支撐差計算 節點2計算 節點3計算 節點.相較于傳統Hadoop體系，存算分離架構技術棧簡化，無需各類組件支撐不同場景，可使用標準化SQL完成所有操作，通過內置索引減少全表掃描場景快速定位數據大數據技術標準推進委員會大數據技術標準推進委員會大數據技術

13、標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會匯聚共享：高效入庫，實時共享S3對象存儲匯聚服務計算節點數據服務計算節點數據推送計算節點簡化數據匯聚共享流程，數據全生命周期采用計算與存儲節點分離技術，業務系統按需流式推送匯聚數據，計算節點實現批量入庫，入庫效率可達2億行數據每小時，數據共享準實時廳局A軌跡庫廳局B廳局.DB廳局A流式批式入庫DB廳局BDB廳局.流式廳局A合并庫廳局B廳局.開發平臺主動被動開放平臺廳局系統.內置stream流式重復數據去重數據大數據技術標準推進委員會大數據

14、技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會數據集市：資源獨立，數據共享不同數據資源專區租戶獨立擁有計算與存儲資源，可通過數據集市服務實現數據主動共享、被動共享、共享周期設置等，實現數據不搬家廳局A廳局A專區廳局B廳局C.廳局D廳局E對象存儲廳局B專區廳局C專區廳局D專區廳局E專區.專區計算引擎廳局A租戶廳局B租戶廳局C租戶廳局D租戶廳局E租戶.租戶業務系統SQLSQLSQLSQLSQLSQL大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準

15、推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會實踐場景：優化性能，降本增效全表55億行數據統計476秒Hive1秒存算分離全表55億行數據按年聚合查詢統計600秒Hive5秒存算分離6TBOracle2TB存算分離Oracle庫740張表數據壓縮547秒創建1W張表5.8萬條/秒100并發100張表寫入1242秒100并發100張表讀取8.3 萬條/秒100并發100張表修改62秒100并發100張表翻頁平均400ms100并發100張表點查匯聚業務場景數據稽核場景相較于傳統大數據集群與

16、關系型數據庫，存算分離架構數據統計性能由分鐘級提升至秒級，數據存儲壓縮接近3倍大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會存算分離技術發展規劃引入云原生技術實現資源動態調度能力，支持機器學習實現向量化訓練、二進制數據解析等場景。對象存儲計算引擎資源池A廳局A計算節點1計算節點2計算節點.計算節點1資源池B廳局B計算節點2計算節點.計算節點1資源池.廳局.計算節點2計算節點.機器學習向量計算桶1桶2桶3桶4桶.大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會THANKS感謝聆聽自 主 創 新 引 領大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會