通標-SGS自動駕駛視覺感知圖像質量測試與物體檢測算法 - share.pdf

《通標-SGS自動駕駛視覺感知圖像質量測試與物體檢測算法 - share.pdf》由會員分享，可在線閱讀，更多相關《通標-SGS自動駕駛視覺感知圖像質量測試與物體檢測算法 - share.pdf（43頁珍藏版）》請在三個皮匠報告上搜索。

1、自動駕駛自動駕駛視覺感知視覺感知圖像質量測試與物體檢測算法圖像質量測試與物體檢測算法第三屆ICVS中國自動駕駛 感知融合技術峰會SGS Automotive Services|謝丹|2023.3Contents攝像模組圖像質量測試:介紹與經驗分享圖像質量對視覺感知算法的影響:試驗與探討總結 SGS Group Management SA 2020 All Rights Reserved SGS is a registered trademark of SGS Group Management SA3自動駕駛的模型與過程自動駕駛的模型與過程采集外界信息采集外界信息采集自車信息采集自車信息:定位,

2、速度識別對象識別對象,計算位置速度駕駛決策駕駛決策:剎車,加速,轉向決策執行決策執行:剎車,加速,轉向人類駕駛人類駕駛:看一下看一下自動駕駛自動駕駛:攝像頭攝像頭,雷達雷達,定位器定位器,加速計加速計人類駕駛人類駕駛:想一下想一下自動駕駛自動駕駛:算法算法+算力算力人類駕駛人類駕駛:手腳動一下手腳動一下自動駕駛自動駕駛:制動系統制動系統加速系統加速系統轉向系統轉向系統4人類駕駛人類駕駛視覺視覺自動駕駛自動駕駛視覺視覺1.2億感光細胞隨意轉動調整位置針對不常見對象能很快糾正錯誤識別不易受外界因素干擾目前高配800萬像素相機位置固定,一旦位置偏移將影響感知準確性針對不常見對象容易識別出錯易受外界因

3、素干擾:雨滴臟污等遮擋VS5成像質量測試成像質量測試 實驗室環境實驗室環境12%18%反射率灰的環境,可使相機拍攝的環境背景色對相機的曝光影像較小.6成像質量測試成像質量測試 解析力解析力鏡頭鏡頭影響瑞利極限像素像素影響奈奎斯特極限傳感器傳感器影響光數轉換效果ISPISP算法算法:去馬賽克,降噪,銳化,Gamma影像因素影像因素測試項目測試項目可視分辨率MTF,SFR,高低溫MTF景深7成像質量測試成像質量測試 解析力解析力測試方法測試方法ISO12233 可視分辨率可視分辨率(線線對對)ISO12233 eSFR(斜斜邊邊)ISO12233 sSFR(西門子西門子星圖星圖)130像素60像素

4、可視分辨率(TV Line)占像高的1/59 (1/5)=45 LW/PH=0.375 C/P奈奎斯特極限:60 LW/PH=30 LP/PH=0.5C/PTV Line MTF20MTF50計算起始點MTF50P計算起始點8成像質量測試成像質量測試 噪聲噪聲鏡頭鏡頭:影響較小傳感器傳感器:影響很大ISP算法算法:降噪影像因素影像因素測試項目測試項目噪聲信噪比9成像質量測試成像質量測試 噪聲噪聲測試方法測試方法:ISO14524+ISO15739測試圖卡測試圖卡:各類灰階圖卡物理亮度(L)數字亮度(Y)cd/m228=0255Gamma 0.5噪聲噪聲=數字亮度的均方差信噪比信噪比(SNR)=

5、數字亮度理論值噪聲200200200200200200200200200200200200200200200200200200200200數字亮度理論值數字亮度實際值噪聲噪聲=3.477信噪比信噪比=200/3.477=57.5=35.2dB196198200202199202201195205205196205196200202201195203196205*以下為簡化舉例以下為簡化舉例,實際還要考慮實際還要考慮RGB與與Y的轉換關系的轉換關系10成像質量測試成像質量測試 動態范圍動態范圍/曝光曝光ISP算法算法:多重曝光疊加+=傳感器傳感器:單次曝光,局部不同曝光程度11成像質量測試成像質

6、量測試 動態范圍動態范圍/曝光曝光測試方法測試方法:ISO15739,自定義測試圖卡測試圖卡:透射式灰階圖卡有效動態范圍有效動態范圍根據根據SNR定義不同的下限定義不同的下限Low:SNR=1High:SNR=10動態范圍內可分辨灰階數可分辨灰階數(左圖紅色點為不可分辨灰階)測試圖卡動態范圍測試圖卡動態范圍=最大最小密度差值最大最小密度差值 x 20 x 20例例:(8.96 0.15)x 20=176(dB)動態范圍動態范圍=可感應最大物理亮度可感應最小物理亮度12成像質量測試成像質量測試 色彩色彩鏡頭鏡頭:色散傳感器傳感器:影響很大ISP算法算法:去馬賽克,色彩調優影像因素影像因素測試項目

7、測試項目白平衡誤差色散(CA)色差:E,C 色域13成像質量測試成像質量測試 色彩色彩測試方法測試方法:CIE色彩空間,ISO19084測試圖卡測試圖卡:24色卡測量每個色塊的L,a,b數值,導入分析軟件,更準確地進行色彩分析.Y=0.2125R+0.7154G+0.0721B14成像質量測試成像質量測試 幾何屬性幾何屬性鏡頭鏡頭:主要影響ISPISP算法算法:畸變糾正影像因素影像因素測試項目測試項目FOV幾何畸變15成像質量測試成像質量測試 幾何屬性幾何屬性FOV測量測量-旋轉法旋轉法:旋轉中心未對準會造成很大差異3060LDFOV測量測量 三角函數法三角函數法:光心也要對準FOV角度角度=

8、2 x arctan(L/D)Local 畸變畸變:ISO17850Local畸變畸變=(HH)Hx 100%Line 畸變畸變:ISO17850水平方向水平方向=(BA)2Ax 100%垂直方向垂直方向=()2x 100%Radial 畸變畸變:ISO16505多項式擬合切線斜率16成像質量測試成像質量測試 Flare鏡頭鏡頭:主要影響ISP算法算法:眩光減弱影像因素影像因素測試項目測試項目眩光,光暈鬼像,彌散17成像質量測試成像質量測試 FlareISO18844 眩光百分比眩光百分比通常用method c,要求圖卡白:黑=3000:1數字亮度比數字亮度比,占圖面積比占圖面積比定義好數字亮

9、度達到光源亮度的多少,計算為眩光/鬼像眩光/鬼像的最高數字亮度 不應超過光源數字亮度的多少?統計符合定義的眩光/鬼像的像素和 占畫面總像素的比例不應超過多少?Ghost18機器視覺機器視覺感知任務感知任務對象分類物體檢測對象邊界分割對象運動軌跡預測機器視覺的機器視覺的缺陷缺陷45 MPH20試驗試驗:圖像質量對物體檢測算法的影響圖像質量對物體檢測算法的影響 車輛檢測算法車輛檢測算法選取了兩個知名且公開的車輛檢測算法進行測試21試驗試驗:圖像質量對物體檢測算法的影響圖像質量對物體檢測算法的影響 圖像數據增強圖像數據增強畸變增強曝光變化模糊化加入噪聲動態范圍減少加入眩光鬼像22試驗試驗:曝光變化曝

10、光變化對車輛檢測算法的影響對車輛檢測算法的影響23試驗試驗:曝光變化曝光變化對車輛檢測算法的影響對車輛檢測算法的影響24試驗試驗:曝光變化曝光變化對車輛檢測算法的影響對車輛檢測算法的影響原始圖原始圖曝光曝光+曝光曝光-整體識別提升提升了,還額外識別出了一輛小車整體識別下降下降了,漏識別好幾輛車25試驗試驗:曝光變化曝光變化對車輛檢測算法的影響對車輛檢測算法的影響原始圖原始圖曝光曝光+曝光曝光-少數有提升,大部分下降了,還有誤識別有提升有下降,IOU有下降26試驗試驗:圖像模糊圖像模糊對車輛檢測算法的影響對車輛檢測算法的影響27試驗試驗:圖像模糊圖像模糊對車輛檢測算法的影響對車輛檢測算法的影響原

11、始圖原始圖模糊模糊+模糊模糊+有升有降,有漏識別,有新識別整體識別下降下降了,但主體兩車的識別率仍維持0.9928試驗試驗:圖像模糊圖像模糊對車輛檢測算法的影響對車輛檢測算法的影響原始圖原始圖模糊模糊+模糊模糊+識別率有下降識別率明顯下降29試驗試驗:圖像噪聲圖像噪聲對車輛檢測算法的影響對車輛檢測算法的影響30試驗試驗:圖像噪聲圖像噪聲對車輛檢測算法的影響對車輛檢測算法的影響原始圖原始圖噪聲噪聲+噪聲噪聲+識別率基本不變,但有新識別,也有誤識別識別率基本不變,而且有新識別31試驗試驗:圖像噪聲圖像噪聲對車輛檢測算法的影響對車輛檢測算法的影響原始圖原始圖噪聲噪聲+噪聲噪聲+識別率基本不變,部分還

12、有提升識別率略有下降32試驗試驗:動態范圍動態范圍對車輛檢測算法的影響對車輛檢測算法的影響33試驗試驗:動態范圍動態范圍對車輛檢測算法的影響對車輛檢測算法的影響原始圖原始圖動態范圍動態范圍-動態范圍動態范圍-識別率基本不變,有誤檢隧道內完全無識別34試驗試驗:動態范圍動態范圍對車輛檢測算法的影響對車輛檢測算法的影響原始圖原始圖動態范圍動態范圍-動態范圍動態范圍-隧道內識別率有下降,有誤檢隧道內完全無識別隧道內有一誤檢35試驗試驗:視場邊緣畸變視場邊緣畸變對車輛檢測算法的影響對車輛檢測算法的影響36試驗試驗:視場邊緣畸變視場邊緣畸變對車輛檢測算法的影響對車輛檢測算法的影響原始圖原始圖邊緣畸變邊緣

13、畸變+邊緣畸變邊緣畸變+邊緣識別率明顯下降,有誤檢,有漏檢邊緣識別大幅下降,有漏檢37試驗試驗:視場邊緣畸變視場邊緣畸變對車輛檢測算法的影響對車輛檢測算法的影響原始圖原始圖邊緣畸變邊緣畸變+邊緣畸變邊緣畸變+邊緣識別率明顯下降,有漏檢邊緣無識別38總結總結:攝像模組圖像質量攝像模組圖像質量對車輛檢測算法的影響對車輛檢測算法的影響因為測試數量還遠不夠,以下總結僅供參考:圖像質量項目圖像質量項目對車輛識別算法的影響對車輛識別算法的影響曝光(亮,暗)有一些影響,但無明顯規律清晰度越模糊影響越大噪聲影響較小動態范圍(DR)對隧道出入口等特定場景,DR越小影響越大廣角畸變畸變越大,對邊緣檢測對象影響越大

14、待進一步開展工作待進一步開展工作:同樣的數據增強,采用不同的方式不同的方式,如噪聲:高斯噪聲,隨機噪聲,拉普拉斯噪聲,等等.研究如何實現加入”眩光眩光,鬼像鬼像”研究如何實現加入:鏡頭霧化鏡頭霧化,鏡頭雨滴鏡頭雨滴,鏡鏡頭部分遮蔽頭部分遮蔽,等簡介影響圖像質量的情況對識別算法的影響從零部件品質到整車安全的全價值鏈質量保障服務。已為15,000+客戶提供汽車檢驗、測試、認證和咨詢服務。汽車材料汽車材料零部件零部件總成件總成件整車整車汽車服務業務范圍汽車模塊及系統集成服務汽車模塊及系統集成服務環境可靠性類測試內外飾件機械疲勞耐久類測試部件功能和壽命類測試環境耐久測試安全氣囊靜態點爆測試聲學測試過濾

15、測試動力電池測試 等汽車輕量化部件汽車輕量化部件測試測試高分子部件測試金屬部件測試汽車功能安全服務汽車功能安全服務ISO 26262培訓咨詢與認證業務范圍汽車電子科技服務汽車電子科技服務電氣性能測試環境模擬測試機械耐久測試失效分析測試電磁兼容測試汽車半導體測試汽車半導體測試可靠性測試靜電與閂鎖效應測試失效分析雙束聚焦離子束業務范圍汽車禁限用物質汽車禁限用物質&車內空氣質量測試車內空氣質量測試ELV測試其他禁限用物質測試抗菌防霉測試VOC車內揮發性有機物測試材料數據庫管理、咨詢、培訓整車及零部件多國認證整車及零部件多國認證巴西INMETRO認證歐洲 ECE/EU 認證哥倫比亞認證功能安全 ISO 26262CE-MID認證其他認證謝丹謝丹