車聯網全景監控數據時空超融合數據庫方案-企業級云原生數據庫最佳實踐分論壇（20頁）.pdf

1、車聯網全景監控數據時空超融合數據庫方案王成名上海市新能源汽車公共數據采集與監測研究中心技術總監Contents目錄01數據中心平臺業務簡介02平臺技術架構03平臺愿景與目標數據中心平臺業務簡介01數據中心平臺簡介市級新能源汽車公共服務平臺上海市經濟和信息化委員會指導下成立第三方新能源汽車公共數據服務平臺，成立于2014年，實現在滬銷售新能源汽車數據全接入。根據GB/T 32960.1-2016電動汽車遠程服務與管理系統技術規范采集124項數據字段。全國最大新能源汽車監管平臺上海市唯一，全國接入量最大的地方新能源政府監管平臺，目前已接入超過100家車企100個品牌，接近1000個車型，超過58萬

2、量新能源汽車數據。占全國新能源汽車推廣量的10%左右。包含乘用車、商用車、物流、大巴等。新能源汽車數據采集項數據項：38項靜態數據(車企+車型+VIN)+80項動態數據=118 車輛狀態 充電狀態 運行模式 車速 累計里程 總電壓 總電流 SOC DC-DC狀態 檔位 絕緣電阻 制動踏板狀態 加速踏板行程值整車數據 車輛狀態 充電狀態 運行模式 車速 累計里程 總電壓 總電流發動電機數據 單體電池總數 儲能裝備電流 單體電池電壓 可充電儲能（電池單體）最高報警等級 通用報警標識 動力電池故障總數N1 動力電池故障代碼列表 驅動電機故障總數N2 驅動電機故障代碼列表 發動機故障總數N3 發動機故

3、障列表 其它故障總數N4 其它故障代碼列表報警數據 定位狀態 經度 緯度位置數據 最高電壓電池子系統號 最高電壓電池單體代號 電池單體電壓最高值 最低電壓電池子系統號 最低電壓電池單體代號 電池單體電壓最低值 動力電池中最高溫度總成號 最高溫度探針在總成中代號 動力電池中最高溫度值 動力電池中最低溫度總成號 最低溫度探針在總成中代號 動力電池中最低溫度值動力電池極值數據 驅動電機序號 驅動電機狀態 驅動電機控制器溫度 驅動電機轉速 驅動電機轉矩 驅動電機溫度 電機控制器輸入電壓 電機控制器直流母線電流驅動電機數據 燃料電池電壓 燃料電池電流 燃料消耗率 燃料電池溫度探針總數 探針溫度值 氫系統

4、中最高溫度 氫系統中最高溫度探針代號 氫氣最高濃度 氫氣最高濃度傳感器代號 氫氣最高壓力 氫氣最高壓力傳感器代號 高壓DC-DC狀態燃料電池極值數據數據中心平臺簡介1+X多源異構數據中心電池溯源數據電池溯源管理平臺電動汽車數據新能源汽車數據平臺政府委托燃料汽車及加氫站數據氫能源車站一體化平臺政府委托政府委托可再生能源數據GEF可再生能源管理平臺國際合作項目智能網聯汽車數據智能網聯汽車管理平臺政府委托平臺業務介紹數據接入：在滬銷售全接入、數據質量政策制定、執行、后評估：充電設施規劃、核查、法人購車資格、二手車交易資格核查、節能減排成效評估等標準建設：地標國標參編安全監管：高危車輛識別、安全報警響

5、應、事故核查等政府服務市場服務數據評價：數據質量（治理）市場營銷：消費者畫像（行駛、充電行為分析-4S店選址規劃）、定制化報告后市場：二手車交易、電池梯次利用、保險、有序充電等數據開放：面向高校和科研機構的數據開放服務（人才培養、算法創新、實訓基地）平臺系統架構02平臺系統架構：數據流TCP/IPGetWay網關校驗/轉發采集熱存儲壓縮存儲數據分析/挖掘MLib對外服務APIBI工具應用程序平臺系統架構數據中心數據平臺數據源數據采集存儲分析溫存儲（HDFS）高速緩存（Redis）熱存儲（Hbase）靜態數據（RDS）多協議數據采集平臺網聯網網關（LMQ）文件日志（flume）消息隊列（Kafk

6、a）結構化數據數據接口API加氫站數據電池溯源數據新能源汽車數據智能網聯汽車數據半結構化數據物聯網時序數據文件數據流媒體數據數據多級緩存架構面向應用及開放-統一數據服務中間件（one service）以業務對象+萃取標簽為架構構建（OneId體系）數據應用大屏展示可視化報表平臺數據管理平臺數據監控平臺數據可視化及應用多源異構數據平臺冷存儲（OSS）平臺系統架構：數據結構化物聯網時序數據結構化處理xxxxx10:0180%VIN時間socxxxxx10:01800VIN時間總里程xxxxx10:01socVIN時間車輛狀態xxxxx10:0178VIN時間實時車速xxxxx10:0279%xxx

7、xx10:02801xxxxx10:02socxxxxx10:0280 xxxxx10:0378%xxxxx10:03802xxxxx10:03socxxxxx10:0370 xxxxxxxxxxxxxxxVIN車輛動力類型車輛狀態開始時間結束時間時長（分）Soc開始Soc結束起始經緯度 結束經緯度行駛里程平均車速BEVPHEVFCV充電行駛怠速18:007:0012:0023:009:0013:003001206010%95%89%95%20%70%018000720119.97.27.32119.97.31.32119.97.27.32119.97.27.32119.97.31.32119

8、.97.27.32平臺系統架構：問題與挑戰技術棧復雜多組件融合搭配技術棧高度復雜維護成本高存儲碎片化數據同步機制實現和維護數據查詢維護數據生命周期管理數據高度冗余開發門檻高不同技術棧所用不同開發語言及工具開發門檻高難以標準化平臺擴展性挑戰容量規劃資源利用率擴縮搬遷平臺系統架構：阿里云Lindorm電動汽車智能網聯汽車加氫站數據電池溯源數據數據分析spark網關服務器多模數據存儲BI報表l 低成本 高可用 彈性靈活 自動數據冷熱分離 低延遲數據應用及報表數據分析數據上傳端到端的產品一體化，大幅減少開發與維護成本，提升易用和穩定性u支持HBase的增量數據實時自動歸檔為Parquet格式，并定期合

9、并、清洗，供Spark分析uSpark分析結果BulkLoad到HBaseu能力產品化封裝，支持通過UI和API調用，并具備自動容錯、分布式擴展、監控報警、高性能等能力Executor0DriverExecutorXSpark引擎定時調度start/stopconfighlogHBase增量歸檔.歸檔分析regionhfileExecutor1BulkLoad數據回流控制流數據流BDS數據同步服務全量歸檔數倉/data/202101/data/202102/data/202103/data/202112/tmp/20211018/tmp/20211019/tmp/20211020/tmp/20

10、211021/列存數據工作臺平臺系統架構：阿里云Lindorm平臺愿景與目標03安全監管事故分析：基于行駛數據和駕駛行為進行數據分析在安全監管方面提供數據支撐。數據開放電池健康度預測應用案例愿景及目標構建智能化新能源汽車及智能網聯汽車數據生態政府監管/城市規劃/交通管理部門保險/再保險行業電池再利用/電池殘值評價車輛后市場用戶汽車制造用戶高校及科研機構新能源汽車數據/充電數據路網/POI/網點數據EV消費者畫像供應商電池健康度算法供應商交通出行場景算法供應商其它算法供應商有質量保障的數據經驗證算法包具有特征標簽的數據電動汽車大數據分析應用開放生態平臺安全電池健康安全監管氫車氫站安全監管政策交通規劃能源環境網聯信息安全監管氫燃料示范政策補貼監管2025炭達峰數據評估電動汽車數據賦能智慧交通電動汽車交通流數據共享數據賦能充電基礎設施規劃數據賦能城市電力需求規劃電動汽車移動儲能與V2G汽車數據賦能電網公治有序充電數據驅動炭排放評價交易數據賦能電池溯源體系建設1+X數字底座新能源汽車數據平臺氫燃料車站一體化管理平臺電池可追溯平臺新能源汽車換電站管理平臺智能網聯汽車管理平臺網聯汽車信息安全管理平臺X數字底座共治共建共享愿景及目標THANKS