東風集團--基于半監督學習的HUD投射區域自適應標定技術研究.pdf

《東風集團--基于半監督學習的HUD投射區域自適應標定技術研究.pdf》由會員分享，可在線閱讀，更多相關《東風集團--基于半監督學習的HUD投射區域自適應標定技術研究.pdf（18頁珍藏版）》請在三個皮匠報告上搜索。

1、基于半監督學習的HUD投射區域自適應標定技術研究匯報人：程鳴 博士時間：2024年08月東風汽車研發總院汽車智能交互的價值與意義本研究的意義和價值基于AI視覺技術的方法創新實驗及結論1234Content技術展望5汽車智能交互的價值與意義1 交互式連接用戶與車的第一方式，是汽車產品用戶體驗最直接的影響因素汽車交互的含義人車應用軟件硬件交互式用戶體驗最直接的影響因素交互成為整車智能化水平的重要標志智能車借助交互成為人類的“伙伴”人對車所有功能/性能的體驗均需要通過交互實現 交互直觀展現了整車一系列智能化技術與產品，是用戶重點關注的對象 人-車交互程度日益加深：機械被動化至主動情感化智能交互的核心

2、價值任何智能化技術及應用在車上的探索，都須以提升人車交互體驗作為最初動力與最終目標 交互的智能化水平成為衡量汽車產品競爭力的重要標準；應不遺余力的從“便捷性”、“舒適性”、“直觀性”等的角度提升交互體驗。汽車智能交互的價值與意義1 交互方式和交互產品，與自動駕駛水平緊密關聯。交互對象正從“面向駕駛員”至“面向乘員”的方向轉變；交互產品的硬件形態和軟件架構，將從分離式至集成式轉變，部件間的邏輯耦合性將提升，以減少冗余的算力需求；面向駕駛員L1L2級別：輔助L2L4級別：輔助+自動L4L5級別：全路段自動自動駕駛水平交互產品及交互對象顯示技術DMS語音預警震動預警交互核心：提升駕駛安全面向駕乘人員

3、語音助理虛擬AI人手勢識別人機接管交互核心：提升人機共駕體驗面向乘客增強現實空氣成像觸感機器人OMS交互核心：提升乘坐舒適性HUD產品具備發展延續性第一階段：極簡的駕駛輔助信息第二階段：豐富但不干擾的輔助信息第三階段：多元化的行駛及娛樂信息企業研究重點科研重點本研究的意義和價值2 HUD的現階段產品的核心目的是減少駕駛員視線分心，應針對駕駛員個體提供更精準的HUD投影區域，以提升交互體驗；HUD未來的服務對象是乘員，乘員位置相對駕駛員更為靈活，所以現階段的研究方法就應為未來的場景提供技術支撐；L1L5自動駕駛水平的提升，乘員座位布局存在明顯差異 駕乘人員高矮，坐姿差異針對L1L3階段：不能快速

4、自適應標定HUD投影區域，增加了視線負載；針對L3L5階段：乘員位置不確定，增加了模型訓練的數據需求，產品難以快速部署和實施。產品目的：通過視覺識別駕乘人員視線區域，從而自適應調節HUD投影區域，滿足HUD產品發展的延續性。同時，僅通過少量已標注數據，完成模型的訓練，提升產品的可實施性?；贏I視覺技術的方法創新3 本研究將采用深度學習技術識別駕乘人員視線區域；深度學習技術存在不確定性因素干擾 深度學習模型建模的好壞，決定了模型對事物的認知上線，該上線未知，也稱認知不確定性；標注誤差、傳感器誤差、欠數據等除模型以外的客觀事實，構成偶然不確定性的成因；需要根據實際應用常見，搭建深度學習模型，挖掘

5、數據與目標的隱性關系?；谏韰祷谲囕v運行異常軌跡基于駕駛員面部特征腦電波信號血液脈搏皮膚肌肉眼睛狀態表情肌肉嘴巴狀態轉向角踏板力加速度直接式間接式非接觸式接觸式深度學習技術以數據為燃料、模型為引擎、相關算法為驅動的優勢凸顯，善于提取不同場景狀態中的隱性特征。視線分心和視線區域標定搭建半監督學習框架研究相關方法和理論實車驗證算法的功性能DMS與HUD邏輯層結合產品構思研究方法和思路基于AI視覺技術的方法創新3 半監督學習視區分類：主要目的是過濾駕駛員外形特征差異、駕駛習慣差異和車內攝像頭的位置差異所帶來了信號干擾原圖人臉檢測模型上半部分人臉視線角度模型監督學習視線角度線下：先驗知識提取視線

6、區域人工標注疊加態最大邊界范圍平均邊界范圍線上：實時標定階段最大邊界范圍平均邊界范圍視線角度剔除無效類別視線區域候選框滑窗操作角度與區域映射關系線上：實時監測階段視線角度視線區域類別角度與區域映射關系裁剪ResizeResize自適應修復建立小樣本數據集，提取先驗知識；采用先驗知識在實時標定階段，過濾雜波干擾，確定針對個人的視線角度與視線區域映射關系。視區濾波流程3 基于AI視覺技術的方法創新 視線角度模型優化：基于ResNet主干網絡，設計視線角度回歸模型XHCWhcw11c11c激勵標注Xhcw擠壓SE Block主要包括擠壓、激勵和尺度縮放三個處理過程：（1）擠壓操作以全局平均池化形式實

7、現，對特征圖的各個通道特征求最大特征像素；（2）激勵采用了全連接層，學習到的通道注意力信息與輸入特征圖的關系，得到具有通道注意力的特征圖。（3）最后將經過擠壓和激勵后的特征圖與原始輸入的逐通道加權相乘，同時采用sigmoid激活函數增強模塊的非線性處理能力。()()()201iiiNH y,py log pMSE y,pypN=()()()CLS y,pH y,pMSE y,p=+優化點1：增加SE擠壓激勵注意力機制；優化點2：提出針對偏航角與俯仰角的多任務損失函數。3 基于AI視覺技術的方法創新 視線角度與區域映射，過濾雜波步驟1：提取小樣本數據中的，各類視線區域的最大視線落點邊界和平均視線

8、落點范圍；步驟2：通過先驗知識，實時過濾非待檢區域，并精細化每個視線區域的范圍。nnnnnminmaxminmaxB(YAW,YAWPITCHPITCH)=，()nnni 1i 1-nssnnRsiinmaxnminnRsiinnmaxnminnSW,HW(YawYaw)/RH(PitchPitch)/R=樣本數據中駕駛員在每類視線區域中的視線落點的極限邊界，用于篩除掉非待監測類別的視線落點；表示了每個駕駛員在每類視線區域中視線落點的跨度范圍，采用密度最大方式計算，更精準的細化視線角度和視線區域的映射關系nBnSPitchYawPitchYawPitchYaw俯仰角偏航角俯仰角俯仰角偏航角偏航

9、角3 基于AI視覺技術的方法創新 濾波損失函數設計優點1：可以在駕駛員無感知的情況下，自動完成濾波；優點2：具備自修復性，當駕駛員大幅度調整座椅位置時，可自適應的重新建立視線角度和視線區域的映射關系。()()2211n1osseeeeepitchnpitchnyawnyawiLRRRRe+=+neeyaw npitchRR，表示第e次迭代下第n類視線區域的中心點坐標即當loss收斂后，說明已穩定即濾波完成。而超出設定閾值后，重新進入濾波階段濾波完成監測階段視線落點濾波中濾波階段視線角度模型計算損失判斷閾值視線區域超出閾值YesNo4 實驗及結論 實驗分為兩部分實驗一：驗證視線角度模型優化情況；

10、實驗二：將半監督學習濾波方法和目前常見方法相比較，說明該方法的優越性；實驗使用數據實驗一：Gaze360和MPIIGaze公開數據集；實驗二：邀請12位參與者在固定車輛環境中采集并標注數據，要求在1.551.9米；Gaze360MPIIGaze自采數據集4 實驗及結論 實驗一：驗證視線角度模型優化情況指標對比視線角度模型結構多任務損失函數在不增加參數量的情況下提高了視線角度回歸精度；SE擠壓注意力機制進一步縮小了誤差，參數量和推理時間在可接受范圍內小幅度增加；4 實驗及結論 實驗二：視線濾波估計實驗（1）端到端監督學習視線區域模型（2）K-means無監督學習端到端方法：驗證集中的準確率指標也

11、持續提升，但會偶然出現跳躍式降低。測試集中的準確率指標一直在來回波動，無法正常提升驗證過擬合；無監督學習方法：較端方法提升，原因是將圖片轉為了二維向量，過濾相貌差異。但難以剔除非待檢區域點，難以劃分鄰近簇的邊界。4 實驗及結論 實驗二：視線濾波估計實驗（3）引導式標定（4）本文方法：半監督學習濾波估計引導式標定：方法操作性低，實用性差。標定結果精準，但當位置大幅度移動（前后超過20cm），標定結果失效半監督方法：精度大幅度提升，且當位置改變時，可重新估計視線角度與區域的映射。準確性、便捷性、穩定性最高，有效抗雜波干擾4 實驗及結論 實驗三：抗干擾實驗（1）端到端的視線區域分類方法抗干擾能力較弱

12、，當移動距離逐步增加后，精準率和召回率都有下降趨勢。但因其模型訓練過程中已經存在過擬合現象，所以相關指標維持在較低水平；（2）無監督學習方法的抗干擾能力較強，幾乎不會受到位置移動的影響，主要因為無監督學習方法是根據實時數據自主完成聚類，不受先驗知識影響，但其準確率仍然較低，召回率較高。并且該方法受到隨機初始化聚類中心和游離點的干擾，準確率和召回率與移動距離無明顯相關性；（3）引導式標定對座椅位置調整非常敏感，隨著調整距離的逐步增加后，檢測精度持續下降。當前后距離移動達20厘米時，原標定結果幾乎失效；（4）本章中的半監督學習方法抗干擾能力最佳，主要因為其具備自修復性的特點，在位置發生該變化，算法

13、主動評估視線落點密度最大區域，當該區域變化范圍超過設定的閾值后，就會重新設置視線落點與視線區域的映射關系，這點特性保障了視線區域分類精度會維持在一個較高的水平中。5 技術展望 計算機視覺AI技術在HUD產品中的技術展望（1）數據量不足的問題：在后續研究中，需要進一步挖掘欠數據或無數據下的深度學習模型訓練方法，可通過對抗生成網絡擴充數據集，并采用無監督學習、半監督學習、遷移學習等思想提升狀態識別精度。（2）硬件算子匹配問題：在使用創新性模型時，可能會受到算子不兼容問題的制約。因此，需要在軟件架構搭建和硬件選型時，就做好算子兼容性分析。設計模塊化軟件架構，使算法支持二次開發的能力，以便在硬件不支持

14、時能夠重新靈活植入具備兼容性要求的新算法。同時，需要結合芯片對應的工具鏈，研究深度學習硬件加速方法，提升車端模型的推理實時性。（3）大模型壓縮技術：伴隨深度學習模型的不斷迭代，大模型已在實驗階段給研究者和工程人員留下深刻印象，但實際應用中，受到硬件算力的限制，往往無法將大模型直接部署到控制器中。需要結合知識蒸餾、數據壓縮等方式，進一步增強視線區域及視距的精準性。本人主要研究方向：計算機視覺、智慧座艙交互系統、AI人工智能算法、自動駕駛決策技術5 技術展望AI視覺算法邏輯、應用場景、前言算法技術難題生態環境以技術為出發點，探討未來行業發展方向資源整合未知領域新技術對人類未來的影響，天馬行空的構想學習求知希望能與君交流如下方向：感謝您的聆聽匯報人：程鳴 博士時間：2024年08月東風汽車研發總院