神秘嘉賓：多傳感器融合感知的關鍵技術.pdf

《神秘嘉賓：多傳感器融合感知的關鍵技術.pdf》由會員分享，可在線閱讀，更多相關《神秘嘉賓：多傳感器融合感知的關鍵技術.pdf（22頁珍藏版）》請在三個皮匠報告上搜索。

1、固態激光雷達8MP攝像頭技術概述激光雷達與攝像機信息融合個人履歷學術成果目標跟蹤技術參考書籍及學習資料推薦L2+智能安全系統空間標定可將三維點云數據轉換為二維數據，將三維點云數據轉換為Birdseye視圖中的二維視圖，隨后選擇ROI，進行過濾后將點位置映射到像素位置，確定精度后對像素值進行填充，隨后創建圖像陣列，并進行對齊。（1）Frustum ProposalFrustum Proposal 模塊主要有兩個功能：1)利用FPN方法檢測障礙物2D邊框，并確定障礙物類型信息。2)結合2D邊框和RDB-D信息，提取相關激光雷達點云信息。（2）3D Instance SegmentationFrus

2、tum Proposal模塊輸出的2D邊框一般大于實際物體邊界，這樣就會引入背景點云。需要利用PointNet-based網絡架構對點云信息提取，獲得物體的位置信息（3）Amodal 3D Box Estimation采用T-Net估計物體三維尺寸解決該問題可以使用CenterNet算法進利用攝像頭數據預測目標的中心點，并回歸得到目標的3D坐標、深度、旋轉等信息。高像素攝像機適合使用CenterNet，相對于之前的one-stage和two-stage的目標檢測，基于高分辨率的圖像輸入，圖像傳輸的物體的特征可提取性較好，CenterNet的“anchor”僅僅會出現在當前需檢測的目標（例如行人

3、、車輛等）的位置處而不是整張圖，在高分辨率圖像的支持下可以精準地直接檢測目標的中心點和大小。多目標跟蹤技術主要包括目標起始與終結、數據關聯、跟蹤維持等內容，其中測量數據的處理與形成為多傳感器信息融合結果，數據關聯和跟蹤維持是多目標跟蹤中最重要的兩個問題數據關聯一般分為建立關聯門、確定關聯門限，門限過濾，確定相似性度量方法，建立關聯矩陣、確定關聯判定準則、形成關聯對等步驟。例如有兩個實體A1和A2，三個測量量Z1、Z2和Z3，對測量量與實體進行關聯整個過程中，確定相似性度量方法和確定關聯判定準則一般決定了整體的關聯效果。相似性度量可以通過“距離”概念體現，例如歐式距離、馬氏距離、向量相似性等；或

4、通過“概率”概念體現。確定關聯判定準則有很多有效算法，如“最近鄰”方法（Nearest Neighbor，NN）、概率數據關聯算法（Probability Data Association，PDA）、聯合概率數據關聯法（Joint Probability Data Association，JPDA）、多假設跟蹤算法（Multiple Hypothesis Tracking，MHT），以及各種引入智能環節的關聯算法。*對于汽車來說，一般采用全局最近鄰的方法去替代最近鄰的方法。一般可使用匈牙利算法（Kuhn-Munkres Algorithm）進行數據關聯（權重參數需要自己配置）1.建立關聯門，確

5、定關聯門限：橢圓關聯門2.門限過濾：將測量Z1過濾掉3.確定相似性度量方法：幾何向量距離4.建立關聯矩陣5.確定關聯判定準則：最近鄰方法6.形成關聯對數據關聯模塊將當前感知信息與上一幀跟蹤目標信息數據匹配后，將匹配結果發送給跟蹤維持模塊，跟蹤維持模塊主要目的對目標連續跟蹤以維持目標的軌跡，保證跟蹤的目標不發生誤跟和失跟現象。跟蹤算法基本可以分為兩類：單模型（single model，SM）算法和多模型（multiple model，MM）算法。在單模型算法中，一次只用一個模型；而在多模型算法中，設計多個模型來代表可能的目標運動方式，每個模型是有那個各自的濾波器，其整體估計值是對各個濾波器的估值

6、進行加權得到。對于單一目標且不發生機動情況，可通過建立目標運動的單一模型，Kalman濾波器是最常用的一種跟蹤維持方法。實際在無人駕駛汽車中，可以使用無損卡爾曼濾波（UKF）解決傳統卡爾曼濾波算法的線性化因素和擴展卡爾曼濾波的時延問題。在建模過程中，一般使用二次運動模型，包括：（1）恒定轉率和速度模型（Constant Turn Rate and Velocity，CTRV）（2）恒定轉率和加速度模型（Constant Turn Rate andAcceleration，CTRA）可以使用CTRV運動模型作為跟蹤模型進行建模，與擴展卡爾曼濾波不同的是，擴展卡爾曼濾波中的直線加速度和偏航角加速度是系統的處理噪聲，而在UKF中噪聲的影響直接轉移到狀態轉移矩陣中。其處理過程如下：（1）非線性處理/測量模型（2）無損變換（3）根據高斯分布產生的sigma point進行預測（4）預測均值和方差（5）預測測量（6）更新狀態其中，藍色的點為UKF對目標位置的估計，橙色的點為來自雷達和攝像機的測量值，綠色的點是目標的真實位置，使用UKF在結合運動模型的基礎上以及融合兩個傳感器的測量的基礎上做出了非常接近目標真實狀態的估計。微信號