智能網聯感知與識別技術.pdf

《智能網聯感知與識別技術.pdf》由會員分享，可在線閱讀，更多相關《智能網聯感知與識別技術.pdf（33頁珍藏版）》請在三個皮匠報告上搜索。

1、智能網聯感知與識別技術合肥工業大學車輛工程系主任安徽省智能汽車工程研究中心主任張炳力 博士 教授/博導2024年9月27日報告內容一、智能感知技術發展歷程二、應對復雜天氣的環境自適應感知方法三、智能感知技術發展趨勢四、團隊相關成果介紹智能感知技術發展歷程 環境感知就是利用視覺、激光雷達、毫米波雷達、超聲波雷達以及V2X通信技術等獲取道路交通參與者的類別、位置、速度等信息，并將這些信息傳遞給車載控制中心（智能駕駛域控制器），為智能網聯汽車提供決策依據，是實現自動駕駛的前提條件。智能駕駛感知系統構成信息采集單元信息傳輸單元信息處理單元慣性原件視覺傳感器激光雷達毫米波雷達超聲波雷達定位導航V2X信息

2、車輛識別行人識別車道線識別交通標志識別交通信號識別顯示系統報警系統傳感器網絡車載網絡環境感知系統組成智能感知技術發展歷程u視覺圖像的信息極為豐富，尤其是彩色圖像。u視覺信息獲取的是實時的場景圖像。u在視野范圍內可同時實現車輛、行人、車道線、交通標志、交通信號燈的識別。u視覺傳感器應用廣泛，在智能網聯汽車中常以前視、后視、側視、內視、環視等體現。單目攝像頭雙目攝像頭三目攝像頭視覺傳感器特點智能感知技術發展歷程激光雷達特點u分辨率高，激光雷達可以獲得極高的角度、距離和速度分辨率。u探測范圍廣、探測距離可達300米左右。u信息量豐富，可直接獲取探測目標的距離、角度、反射強度、速度等信息，生成目標多維

3、圖像。u全天候工作，激光主動探測，不依賴于外界光照條件或目標本身的輻射特性。智能感知技術發展歷程u探測距離遠，最遠可達250米左右。u響應速度快，速度接近光速，并且調制簡單，配合高速信號處理系統，可以快速的測量出目標的角度、距離、速度等信息。u適應力強，毫米波具有很強的穿透能力，在雨、雪、霧等惡劣天氣依然可以正常工作，并且不受顏色與溫度的影響。u毫米波雷達的缺點是覆蓋區域呈扇形，有盲點區域；無法識別道路標線、交通標志和信號燈。毫米波雷達特點智能感知技術發展歷程超聲波雷達特點u超聲波雷達是一款極其常見的車載傳感器，是汽車駐車或者倒車時的安全輔助裝置，能以聲音或者更為直觀的顯示器告知駕駛員周圍障礙

4、物的情況，但探測距離有限。u超聲波雷達一般安裝在汽車前后保險杠上和汽車側面，泊車輔助系統通常使用6-12個超聲波雷達。智能感知技術發展歷程環境感知傳感器對比 單傳感器的數據可靠性低、有效探測范圍小等局限性，因此需要利用傳感器信息融合技術擴大信息維數避免單個傳感器的工作盲區，從而得到所需要的環境信息。智能感知技術發展歷程 由于高精度地圖的更新維護成本過高，更多車企推出“無圖智駕”功能，這就要求開展更高端的智能車輛環境感知技術研究。當前，智能車輛環境感知技術主要依賴于雷達、視覺等車載傳感器。特斯拉在BEV網絡基礎上研發占領網絡，實現環境感知純視覺方案。但僅憑單一傳感器工作無法完成智能車輛準確、高效

5、的環境感知。華為等公司開展BEV+Transformer大模型多傳感器融合感知，基于傳感器融合的目標識別方法實現各傳感器的優勢互補，并通過融合決策協調各傳感器之間的沖突，大大提高了系統的準確性和可靠性。激光雷達、攝像頭和毫米波雷達的融合是當前智能駕駛汽車環境感知的主流解決方案。單傳感器感知到多模態融合傳感器蔚來ES7小鵬G9理想L9特斯拉激光雷達1個2個1個0個毫米波雷達5個5個1個1個超聲波雷達12個12個12個12個感知攝像頭11顆 前向：三目攝像頭12顆 前向：雙目攝像頭11顆 前向：雙目攝像頭9顆 前向：三向攝像頭芯片4顆英偉達Orin2顆英偉達Orin2顆英偉達Orin4顆特斯拉FS

6、D算力1016TOPS508TOPS508TOPS144TOPS智能感知技術發展歷程智能感知技術發展歷程單傳感器感知目標級融合感知特征級融合感知數據級融合感知初期，智能車輛采用單種傳感器進行環境感知，檢測精度有限。為提高檢測精度，部分工作利用匈牙利匹配等方法將不同傳感器的感知結果融合。1990年代2000年代初期2010年代中期2020年代基于BEV的特征級目標感知1）目標級融合（后融合）也稱決策級融合，是Low-level融合，松耦合，對各自傳感器識別出的目標信息進行匹配融合。兼容多源異構數據，更加面向應用。計算量及對通信帶寬的要求最低，但是信息損失相對較大。2）特征級融合（中期融合）相對中

7、間層次的融合，對多傳感器數據進行特征提取，對多特征圖進行單一特征向量的表示；特征圖相對原始數據進行了壓縮，實時性會有所提升，也可能損失一部分細節，另外對多傳感器功能要求緊耦合。3）數據級融合（前融合）也稱像素級融合,是Low-level融合,直接對傳感器的觀測數據進行拼接融合處理，有效增加內容細節，并以此為輸入進行特征提取和判斷決策，如端到端神經網絡處理；計算量大，數據通信帶寬與計算平臺要求高，異構數據處理難，一般要求傳感器同質。感知信息融合方法對比智能感知技術發展歷程u目標級融合：指的是對單傳感器的輸出的識別交通參與者的檢測結果進行融合，進行判別與分類。目標級融合網絡CLOCCLOC 在任何

8、 2D 和任何 3D 檢測器的非最大抑制(NMS)之前對組合輸出候選進行操作，并經過訓練以利用它們的幾何和語義一致性來產生更準確的最終 3D 和 2D 檢測結果。智能感知技術發展歷程u特征級融合：指的是提取所采集數據包含的特征向量，用來體現所監測物理量的屬性，這是面向監測對象特征的融合。如在圖像數據的融合中，可以采用特征信息來代替全部數據信息。特征級融合網絡EPNet的優勢：（1）通過更簡單的管道而不是復雜的BEV數據生成構建了激光雷達和相機圖像之間的逐點的更細化的對應關系；（2）沒有信息損失情況下保持原始幾何結構；（3）解決由相機圖像帶來的推理信息的問題；智能感知技術發展歷程u數據級融合：針

9、對傳感器采集的數據，依賴于傳感器類型，進行同類數據的融合。數據級的融合要處理的數據都是在相同類別的傳感器下采集，所以數據融合很難處理異構數據。數據級融合網絡PointPainting 的工作原理：將激光雷達點投影到純圖像語義分割網絡的輸出中，并將類別分數附加到每個點。然后可以將附加的（繪制的）點云饋送到任何 lidar only 方法。智能感知技術發展歷程1）復雜行車場景不同的路面、天氣、車流量等因素會對車輛環境自適應系統產生影響，而且實際行車場景非常復雜，因此需要系統能夠適應各種路況變化。2）多傳感器融合車輛環境自適應需要多種傳感器來采集路面、車輛和周圍環境等信息，并將這些信息進行融合，實現

10、對復雜環境的感知和理解。3）車載平臺算力深度學習模型遷移至車載運算平臺后，受算力限制，其檢測速度將大幅度降低，為了滿足實時性的要求，需要對模型進行輕量化。應對復雜場景的感知模型研究智能感知技術發展歷程報告內容一、智能感知技術發展歷程二、應對復雜天氣的環境自適應感知方法三、智能感知技術發展趨勢四、團隊相關成果介紹應對復雜天氣的環境自適應感知方法混合融合技術路線團隊以自動駕駛環境感知技術為研究對象，開發出高準確率、高實時性及高可靠性的多傳感器融合感知系統，實現對車輛、行人、車道線及障礙物等外部環境的全天候精準檢測。激光雷達、攝像頭與毫米波雷達混合融合方案應對復雜天氣的環境自適應感知方法實車試驗特征

11、提取特征融合目標級融合自適應混合融合 首先，提取攝像頭與激光雷達的圖像與點云特征，并進行特征級融合，輸出特征級檢測結果；其次，將特征級檢測結果與毫米波雷達檢測結果進行目標級融合；最后，通過環境自適應模塊調節混合權重系數，實現在復雜天氣條件下感知模型對交通參與者的精準檢測。實驗效果應對復雜天氣的環境自適應感知方法多傳感器融合感知夜間感知惡劣天氣感知3D detection2D detectionlidar detectionBEV detection實驗效果應對復雜天氣的環境自適應感知方法實驗效果應對復雜天氣的環境自適應感知方法實驗效果應對復雜天氣的環境自適應感知方法報告內容一、智能感知技術發展

12、歷程二、應對復雜天氣的環境自適應感知方法三、智能感知技術發展趨勢四、團隊相關成果介紹智能感知技術發展趨勢趨勢一：基于BEV視角下的目標檢測BEVfusion網絡架構用于融合多種傳感器數據的深度學習架構，通過生成鳥瞰視圖特征圖來增強環境感知和目標檢測的性能。智能感知技術發展趨勢SurroundOcc網絡架構趨勢二：基于占領網絡下的目標檢測基于深度學習的方法，從傳感器數據生成環境中的占用網格圖，提供高精度的空間占用信息以支持自動駕駛。智能感知技術發展趨勢UniAD網絡架構趨勢三：基于端到端大模型的智駕方案通過端到端的方式集成多種感知任務，實現高效的自動駕駛環境理解。報告內容一、智能感知技術發展歷程二、應對復雜天氣的環境自適應感知方法三、智能感知技術發展趨勢四、團隊相關成果介紹團隊相關成果介紹團隊相關成果介紹團隊相關成果介紹團隊相關成果介紹智能新能源汽車教學平臺智能掃路車F1大學生方程式賽車無人車F1大學生方程式賽車電車無人駕駛真值數據采集車謝謝 謝謝！Z