清華蘇研院：面向多場景的智能環境感知技術研究及應用.pdf

1、 1張怡歡2023-03面向多場景的智能環境感知技術研究及應用Intelligent Perception Technology for Multi-scenario Applications 2清華大學蘇州汽車研究院n 成立于2011年，是清華大學第一所面向產業應用的專業化派出研究院n 面向汽車應用技術研發、高端產業服務和科技成果轉化，已為國內外110+企業提供了委托研發服務n 建立了“科技研發、科技金融、科技產業”三輪驅動的產業創新模式，累計孵化企70余家n 江蘇省制造業創新中心智能網聯汽車創新中心 3CONTENTSn多樣化場景的挑戰 Challenge of Diverse Scena

2、rios n智能環境感知技術 Intelligent Perception Technologyn應用案例 Applications 4多樣化場景的挑戰 感知 Challenge of Diverse Scenarios-Perception理想場景 Ideal常見場景 Reality特殊場景 Special邊角場景 Cornerp 可進化 Evolvablep 可擴展 Scalablep 可評價 Evaluable采標訓一體化的數據閉環平臺Data Closed-Loop Systemp 通用數據集覆蓋范圍有限 Limited coverage in general datasetp 特定場

3、景下需要特定數據集 Specific dataset is needed 5理想場景 Ideal開闊、無遮擋 Open wideGNSS信號穩定 Stable GNSS常見場景 Reality城市峽谷、多徑效應 Urban canyon,Multipath effect高架下方無/弱GNSS信號 Under highway/weak GNSS特殊場景 Special特征退化（隧道）Feature degradation(tunnel)重復場景（地下停車場）Similar/Repeated scenes動態場景 Dynamic動態變化（行人、貨物）Dynamic environment 室內外切

4、換 Indoor/Outdoor switch多樣化場景的挑戰 定位 Challenge of Diverse Scenarios-Localizationp 特定場景GNSS弱/丟失 GNSS lost in many scenesp 不同場景特征差異大 Diverse features in various scenesp 穩定 Stablep 精確 Precisep 快速 Fast多傳感器融合的建圖定位平臺Mapping and Localization System 6我們的目標 Motivation構建一個數據閉環的、可快速部署多種場景的、可擴展功能的智能感知平臺。自動駕駛Autom

5、ated Driving大數據服務Big Data車路協同Vehicle-road Cooperation一個平臺多款硬件N種解決方案 7CONTENTSn多樣化場景的挑戰 Challenge of Diverse Scenarios n智能環境感知技術 Intelligent Perception Platformn應用案例 Applications 8智能感知平臺 Intelligent Perception Platform應用Applications硬件Hardware平臺Platform激光雷達LiDAR數據采集Acquire清洗標注Clean&Label模型訓練Train mode

6、l測試驗證Evaluate路側感知Road-side perception超視距感知Over-sight數采工具Data Acquisition多源融合Sensor fusion特征提取Extract feature地圖構建Build map高精定位Localize協同定位Co-locating目標檢測系統 Object Detection System攝像頭Camera組合導航GNSS/IMU通信設備OBU/RSU定位設備UWB/Wifi工控機IPC邊緣計算單元IPU工具鏈 Toolchains標注工具Data Labeling模型訓練工具Model Training建圖定位工具SLAM測試

7、評價工具Test evaluation融合定位系統 Localization System協同系統 Cooperation System 9智能感知平臺 Intelligent Perception Platform標注結果感知模型測評結果三維地圖定位信息云平臺I-Cloud邊緣終端IPU任務Task輸出Output數據采集真值標注目標檢測地圖構建位姿估計車路協同p 邊緣終端（IPU）能夠支持多種傳感器，幫助客戶快速搭建數據采集系統；p 標注及模型訓練工具能夠完成客戶定制化的標注類別及感知模型需求；p 建圖定位工具能夠針對運行場景進行定制化地圖構建和定位算法適配；數據測評Evaluate數據分

8、析Analyse工具優化Optimize迭代Iterate“云平臺+邊緣終端”構成，數據閉環持續迭代 10點云目標檢測技術 Object Detection點云目標檢測方法框架11 Yihuan Zhang,Liang Wang,Yifan Dai,PLOT:A 3D Point Cloud Object Detection Network for Autonomous Driving.Robotica,2022點云目標檢測結果提出了一種基于深度神經網絡的激光點云目標檢測算法PLOT，能夠在邊緣計算平臺上完成實時目標檢測p 支持10fps以上的處理幀率（車輛、行人、騎行者）p 支持最多2個12

9、8線點云數據處理（30萬點）p 支持自定義類別訓練（錐桶、三輪車等）11傳感器多傳感器融合技術 Sensor Fusion第一人稱視角提出了一種多傳感器信息融合的目標檢測、跟蹤、預測方法，能夠提供準確、全面的目標物信息p 支持PTP、PPS、GPIO等多種時間同步方式，時鐘同步精度us級p 支持攝像頭、激光雷達、慣導等傳感器聯合標定p 支持后處理目標融合、源數據前融合目標檢測p 支持目標ID、置信度、預測軌跡等目標物信息輸出第一人稱視角時間同步點云檢測圖像檢測前融合檢測后處理目標融合多目標跟蹤行為預測車輛行人騎行者 12激光點云建圖技術 Point Cloud Mapping2 Yihuan

10、Zhang,Liang Wang,Chen Fu,Yifan Dai and John M.Dolan,ENCODE:a deep point cloud odometry network.ICRA,2021激光雷達LiDAR激光點云序列Point cloud sequences激光里程計Odometry點云地圖Map提出了一種基于深度神經網絡的激光點云地圖構建算法，能夠適應多種場景三維地圖構建點云地圖構建方法框架2實驗結果p 支持特征抽象學習，無需手動指定特征（角點、面等）p 支持后端優化、回環檢測等模塊接入 13車輛定位技術 Localization3 Yihuan Zhang,Liang

11、 Wang,Yifan Dai,An efficient LiDAR-based localization method for self-driving cars in dynamic environments.Robotica,2021提出了一種基于特征匹配與概率搜索的激光點云地圖匹配算法，能夠實現車輛高精度定位動態場景下的定位結果p 支持動態場景下的車輛定位，平均定位誤差20cm左右p 支持GNSS、輪速計、激光雷達的融合定位p 支持圖像特征及毫米波雷達結果融合動態障礙物濾除車輛定位算法框架3 14CONTENTSn多樣化場景的挑戰 Challenge of Diverse Scenar

12、ios n智能環境感知技術 Intelligent Perception Platformn應用案例 Applications 15應用案例 Applications車端智能感知解決方案（Vehicle-side Perception Solution,VPS）時間同步目標檢測目標跟蹤地圖構建精確定位數據采集融合標定離線回放p 指定目標物識別精度提高（30%-90%）p 實現數據樣本的增量式學習p 實現數據采集-標注-訓練-部署全流程貫通p 指定特征融合的定位精度提高（20cm-10cm）p 實現無/弱GNSS場景下的多源定位p 實現場景地圖的快速構建及特征提取 16應用案例 Applicat

13、ions高精度地圖構建及定位解決方案（Mapping and Localization Solution,MLS）p 支持三維多通道點云地圖的實時生成，兼容多款激光雷達、攝像頭等傳感器；p 支持室內外連續高精度實時定位，平均定位誤差小于20cm，支持自定義重定位功能；17應用案例 Applicationsp 支持多種激光雷達、攝像頭等傳感器，快速標定及現場部署；p 支持場景目標物定制檢測開發，快速適配不同目標物的檢測需求；全息路口解決方案（Holographic Intersection Perception Solution,HIPS）18應用案例 Applications車輛平臺云控平臺遠

14、程駕駛平臺p 支持遠程監控車輛實時運行狀態，視頻傳輸延遲小于200ms；p 支持單對單、單對多、多對多的車輛接管p 支持智能感知平臺分配調度；遠程駕駛解決方案（Remote Driving Solution,RDS）19應用案例 Applications激光雷達測評解決方案（LiDAR Evaluation Solution）p 基于空間光學衰減方法的汽車激光雷達檢測實驗室，支持對激光收發系統、激光雷達整機的完整性能參數測試（距離、角度、電參數、幀頻率、一致性等）；p 車載多傳感器性能對比（盲區測試、地面測試、車道線測試等）；支持主流激光雷達、4D毫米波雷達；支持數據采集、標注、baselin

15、e模型測評；激光雷達4D毫米波雷達激光雷達檢測實驗室多傳感器性能對比目標標注結果 20總結 Conclusionsp 采-標-訓一體化的目標識別、跟蹤及預測p 特定場景下的地圖構建及高精度定位p 大范圍車路協同場景的融合感知一個平臺多款硬件N種解決方案 智能感知平臺是一個面向多場景應用的通用產品開發與應用平臺，依托多款智能硬件，為行業提供不同場景下的智能感知解決方案。p 車載多傳感器感知特性測評p 大數據支撐的場景挖掘和自動化生成p 多車狀態監控及遠程駕駛 21謝 謝 ！l蘇州市吳江區聯楊路139號清華汽車產業園l王杰 22場景自動化構建技術 Scenario Construction提出了一種基于大數據的軌跡生成方法，能夠實現自動化的場景構建，為智能網聯汽車提供場景支撐p 支持攝像頭、激光雷達等多傳感器融合的位姿估計p 支持多種交通參與物的場景還原及重構p 支持特定場景的泛化及仿真軟件導入p 支持智能體模型的訓練和部署（動態博弈場景）場景數據采集導入仿真軟件事故場景還原