1、 智能網聯汽車產品測試評價 白皮書 (2020 年) 中國智能網聯汽車產業創新聯盟 國汽(北京)智能網聯汽車研究院有限公司 華為技術有限公司 中國汽車技術研究中心有限公司 中國汽車工程研究院股份有限公司 北京新能源汽車股份有限公司 2020 年 10 月 i 目 錄 一、智能網聯汽車產品測試評價白皮書編制概要. 1 1.1 編制背景 . 1 1.2 適用范圍 . 3 1.3 編制目標與意義 . 3 1.4 編制方法 . 4 二、國內外智能網聯汽車測試評價標準法規及應用示范發展現狀 . 5 2.1 各國積極推進智能網聯汽車技術產業化,開展道路測試、應用示范及商業化試運營 . 5 2.2 智能網聯
2、汽車駕駛輔助功能評價體系逐步完善,自動駕駛功能評價體系尚需建立 . 7 2.3 逐步建立支撐高級別自動駕駛的基于復雜場景的全新綜合評價體系 . 9 三、智能網聯汽車產品測試評價流程 . 10 四、智能網聯汽車產品測試場景的構建 . 11 4.1 測試場景設計方法及要求 . 11 4.2 場景庫構建流程及要求 . 13 五、智能網聯汽車產品測試方法 . 14 5.1 虛擬仿真測試 . 15 5.1.1 虛擬仿真測試流程 . 15 5.1.2 虛擬仿真測試基本要求 . 16 5.2 封閉場地測試 . 17 5.2.1 封閉場地測試項目 . 17 5.2.2 封閉場地測試場景設計 . 19 5.3
3、實際道路測試 . 19 5.3.1 測試路段選取 . 19 5.3.2 測試時長和里程要求 . 20 5.3.3 通過標準 . 20 六、智能網聯汽車產品評價指標 . 21 6.1 安全 . 21 6.2 體驗 . 23 6.3 配置 . 25 6.3.1 智能網聯汽車產品配置現狀分析. 25 6.3.2 智能網聯汽車產品配置的評價. 26 6.4 綜合得分 . 26 七、智能網聯汽車產品測試評價發展展望與建議. 30 ii 7.1 建立健全測試相關標準法規,支撐 L3 級及以上智能網聯汽車產品準入 . 30 7.2 建立中國特色第三方智能網聯汽車測試評價體系,引導產品測評優化 . 30 7.
4、3 引導智能網聯汽車權責劃分,支撐建立完善的保險體系 . 30 7.4 引導建立自愿性認證服務體系,指導消費者購車 . 30 附錄 1 安全評價指標示例 . 1 附錄 2 體驗評價指標示例 . 6 附錄 3 配置評價指標示例 . 9 附件 國內外智能網聯汽車測試評價相關標準法規發展現狀 . 12 (一) 駕駛自動化分級標準逐步完善 . 12 1、國外研究現狀 . 12 2、國內研究現狀 . 13 (二) 智能網聯汽車測試評價相關標準法規研究現狀 . 16 1、聯合國世界車輛法規協調論壇(UNECE/WP.29) . 16 2、國際標準化組織/道路車輛技術委員會(ISO/TC22) . 21 3
5、、美國 . 22 4、國外其他國家 . 24 5、中國 . 25 參考文獻 . 28 一、智能網聯汽車產品測試評價白皮書編制概要 1.1 編制背景 智能網聯汽車是指搭載先進的車載傳感器、控制器、執行器等裝置,并融合現代通信與網絡、人工智能等技術,實現車與 X(車、路、人、云等)智能信息交換、共享,具備復雜環境感知、智能決策、協同控制等功能,可實現“安全、高效、舒適、節能”行駛,并最終可實現替代人來操作的新一代汽車1。 測試評價是智能網聯汽車自動駕駛功能開發、技術應用和商業推廣不可或缺的重要環節。不同于傳統汽車,智能網聯汽車的測試評價對象變為人-車-環境-任務強耦合系統。隨著駕駛自動化等級的提高
6、,不同等級自動化水平所實現的功能逐級遞增,導致對其進行測試驗證極具挑戰性, 部分國家和區域已出臺相應的法律法規允許智能網聯汽車進行公路測試,以充分驗證智能網聯汽車的安全性。除了道路測試,圍繞智能網聯汽車測試評價環節所需的標準體系和相關測評方法,各國的政府機構、科研院所、相關企業開展了大量研究工作。 汽車駕駛自動化分級相關標準提供了初始監管框架, 為制造商及企業在智能網聯汽車的安全設計、開發、測試和部署提供指導,為后續自動駕駛功能相關標準制定奠定基礎。隨著智能網聯汽車技術的發展,越來越多的人已經認識到,駕駛自動化分級并不是描述智能網聯汽車自動駕駛系統的唯一要素(L5 級完全自動駕駛除外) ,駕駛
7、自動化分級與自動駕駛系統的智能化程度、使用體驗等沒有直接的對應關系。 表 1-1 高速場景下的 L3 級 HWP 產品自動駕駛能力差異對比 首先,L4 級并不能簡單理解為一定比 L3 級更優秀或者技術更高級,如 L3 級城市工況自動駕駛可能比 L4 級封閉園區自動駕駛更難實現, 駕駛自動化分級不完全和自動駕駛系統智能、 安全、性能、體驗等相對應;其次,同一等級的自動駕駛能力差異也很大,如表 1-1 所示,同為高速場景下的 L3 級 HWP,A 車的 ODD 能夠覆蓋高速公路、隧道和匝道,B 車的 ODD 只能覆蓋高速公路;A 車的運行速度能夠達到 110km/h,能夠實現車道保持、變道和超車功
8、能,B 車的運行速度只能達到 60km/h,只能實現車道保持功能。差異如此大的兩個系統叫做同樣的等級,同樣的名字,會給市場和消費者帶來誤解。因此為準確描述某項自動駕駛功能,需要同時明確其駕駛自動化分級和設計運行范圍等。 另一方面, 汽車駕駛自動化分級對法律責任劃分有影響, 但不能作為責任認定的完全依據,尤其對于 L3 級有條件自動駕駛,涉及到人機共駕的責任劃分,必須結合具體每一款產品和應用環境做詳細界定,才能明確具體個案中各方的責任劃分。同時,根據明確的責任劃分,進而可以選擇相應的保險產品,作為解決這一問題的補充途徑。 產品準入方面,聯合國自動車道保持系統(ALKS) 法規是針對 L3 級駕駛
9、自動化功能的第一個具有約束力的國際法規,該法規以聯合國自動駕駛框架文件為指導,從系統安全與失效保護響應、人機界面、OEDR、DSSAD、信息安全及軟件升級等五方面對 ALKS 提出嚴格要求,并已被1958 協定書采用,其締約國可據此開展 ALKS 功能的產品認證。 第三方測評體系方面, 白皮書編制組梳理了國內外現有智能網聯汽車相關第三方測評體系的現狀,如表 1-2??梢钥闯?,現有已實施或新增測評體系主要是對駕駛輔助功能進行評價,僅適用于 L2 級及以下自動駕駛輔助系統,行業尚未建立適用于 L3 級及以上自動駕駛功能的第三方測評體系。 表 1-2 國內外現有 ICV 相關第三方測試評價體系內容對
10、比( 已實施 新增 征求意見) 注:IIHS-美國高速公路安全保險協會 C-IASI-中國保險汽車安全指數 CCRT(智能電動汽車)管理規則(2020 年) 因此,如何準確、客觀、公正的評價一輛智能網聯汽車的功能和性能表現,已經成為在高級別智能網聯汽車大規模商業化落地之前待解決的重要任務。 1.2 適用范圍 本白皮書所述智能網聯汽車產品測試評價方法(以下簡稱“本方法”)適用于能夠實現高級別自動駕駛1的智能網聯汽車產品,適用于配備自動駕駛系統且具備自動駕駛功能的 M 類、N類車輛,其它類型車輛可參照執行。 本白皮書可用于評價高速/環路、市內運行、泊車/取車、封閉園區和城際/郊區等五大連續運行場景
11、的自動駕駛運行能力,可用于 Robotaxi、AVP、HWP 等典型自動駕駛汽車產品的測評,同時港口、礦區車輛可參照使用。 本白皮書所述的智能網聯汽車產品測評方法可為企業產品研發、 測試機構基礎測評和差異性測評、消費者購車、保險機構理賠提供參考和支撐。利益相關者可依據測試目的(整車/零部件) ,自動駕駛系統的運行范圍(高速/城區/泊車/封閉園區/城郊) ,智能網聯汽車產品形態(L3/L4,載客/載貨)等從中抽取測試指標進行測試。 1.3 編制目標與意義 為解決上述問題, 本白皮書以安全性和智能化為出發點, 通過量化設計運行范圍 (ODD) 、功能與性能指標,從安全、體驗兩大性能維度進行評價,并
12、以配置維度作為輔助評價,建立基于復雜測試場景的高級別智能網聯汽車產品測評模型。 該產品測評模型不僅能夠在縱向上比較不同等級的智能網聯汽車,同時能夠在橫向上差異化區分同一等級的車輛。 智能網聯汽車產品測評模型的構建是一個隨技術和產業發展不斷完善和調整的過程, 形成持續討論和更新完善的工作機制,預計分三步走,本白皮書1.0版本目前主要支撐工作1)的開展。 1)服務汽車產業發展升級,指導智能網聯汽車產品研發:從安全、體驗兩大性能維度進行評價,并以配置維度作為輔助評價,囊括產品研發過程中需要重點考慮的所有具體指標;提出具體評價指標的權重概念;為自動駕駛技術突破以及產品研發提供指導,引導整車和零部件企業
13、對產品進行優化升級,推動其不斷提高智能網聯汽車綜合性能。 2) 服務構建國際領先的一體化、 多層級測評體系, 滿足“基礎”+“進階”測評優化雙軌需求: 1 高級別自動駕駛是指 GB/T汽車駕駛自動化分級 (報批稿)標準中的 3 級(有條件自動駕駛) 、4 級(高度自動駕駛)和 5 級(完全自動駕駛) ,自動駕駛系統(ADS)負責目標和事件的探測與響應 根據產品基礎測評重點關注的安全要求, 抽取具體評價指標為產品基本要求管理提供基礎測評指標數值參考;根據進階測試優化提升重點與要求,抽取具體評價指標,為企業開展自我評估和技術驗證提供參考模型;對權重的具體數值進行迭代研究;支撐第三方檢測機構開展高級
14、別智能網聯汽車產品測評模型研究,測評機構可根據其需求,抽取關鍵場景及元素,構建測評場景用例庫。 3)服務消費者購車、用車,提供可信賴、有參考價值的智能網聯汽車產品評價結果,加快智能網聯汽車的推廣應用:重點指導市場區分駕駛自動化同等級/不同等級智能網聯汽車的綜合能力,區分“良幣”和“劣幣”;提升消費者對于智能網聯汽車的客觀認知,加快提升量產智能網聯汽車的市場體驗;引導智能網聯汽車權責劃分,支撐建立完善的保險體系;引導建立自愿性認證服務體系,探索開發認證項目、認證規范與認證模式,推動自愿性產品認證互聯互通與國際互認。 1.4 編制方法 充分研究國內外智能網聯汽車測試評價相關政策法規發展現狀, 重點
15、評估現有分級標準和自動駕駛功能測試評價相關法規標準的適用性;調研國家級智能網聯汽車測試示范區(場) 、第三方檢測認證機構、科研機構及高校相關研究進展;組織行業會議,邀請專家評審。 二、國內外智能網聯汽車測試評價標準法規及應用示范發展現狀 智能網聯汽車是汽車與信息、通信技術融合發展的典型應用,代表著當前及今后相當長時期內汽車技術發展和應用的方向, 也是世界各國汽車產業未來發展和競爭的重點。 歐、 美、 日、中等國家和地區都從戰略層面,采取包括研發鼓勵、示范運行、標準規范、政策扶持在內的綜合措施引導與促進其發展,旨在消除制約智能網聯汽車技術發展和應用的障礙,創造有利于智能網聯汽車新技術、新功能、新
16、產品、新應用發展和推廣的良好氛圍,逐步適用、最終形成智能網聯汽車條件下新的經濟、社會和法律法規環境。 國內外智能網聯汽車測試評價相關標準法規發展現狀詳見附件。 2.1 各國積極推進智能網聯汽車技術產業化,開展道路測試、應用示范及商業化試運營 歐、美、日在智能網聯汽車技術領域形成了較強的技術積累,相關企業積極推進智能網聯汽車技術產業化,紛紛發布面向 L3L4 級的智能網聯汽車量產計劃。綜合來看,國外典型車企智能網聯汽車量產計劃基本符合各國產業發展路線規劃的預期目標。2020 年開始,眾多主機廠計劃逐步將 L3 級智能網聯汽車投放到市場;到 2025 年,L3 級智能網聯汽車將得到大量應用,L4
17、級智能網聯汽車開始得到商業化。其中,奔馳計劃于 2020 年在 S 級轎車上搭載 L3級自動駕駛系統,到 2024 年左右量產具備 L4 級自動駕駛功能的智能網聯汽車;寶馬計劃于2022 年推出 L3 級自動駕駛量產車型 BMW iNEXT; 福特計劃于 2022 年在美國市場推出 L4 級自動駕駛汽車;豐田計劃在 2020 年實現 L3 級自動駕駛能力,到 2030 年實現在高速公路上的L4 級自動駕駛汽車。 同時,歐、美、日相關企業已經開展多個自動駕駛商業化應用項目,通過實際應用推動技術迭代步伐。2018 年 12 月,Waymo 在美國鳳凰城郊區推出了首個商業自動駕駛乘車服務Waymo
18、One,運行路線包括鳳凰城的錢德勒、坦佩、梅薩和吉爾伯特 4 個郊區,乘客通過 APP呼叫車輛,可以前往 80-100 平方英里區域內的任何地方。2020 年 2 月,Nuro 第二代自動駕駛汽車取得無人送貨車豁免資格,成為美國豁免的第一個自動駕駛應用案例;Nuro 致力于在美推廣無人駕駛運輸車輛的應用,正在為 Kroger、Frys Food 等零售公司提供配送服務。豐田汽車開發 e-Palette 移動平臺并取消駕駛員座位, 打通通勤、 物流以及用餐、 辦公等各類生活場景;計劃使用 e-Palette 移動平臺作為奧運村內巡回巴士。日本自動駕駛企業 ZMP 已經開始在東京都內開展搭載普通乘
19、客的自動駕駛出租車試運營,2020 年 1 月,ZMP 組織開展了機場自動駕駛擺渡車、 自動駕駛出租車與最后一公里自動駕駛小巴的聯合測試。博世開展高級別自動駕駛研究與示范應用, 與戴姆勒合作打造自主代客泊車系統,目前已經得到德國兩城市許可并投入 日常使用;與戴姆勒合作的 RoboTaxi 于 2019 年 12 月在美國圣何塞市展開運行測試。 近年來,我國一汽、長安、東風、上汽、北汽、吉利、長城等主流整車廠也紛紛發布具備L3、L4 級自動駕駛功能汽車的量產計劃。我國智能網聯汽車測試示范區建設初具成效,測試體系逐步形成, 中央及地方相關主管部門陸續出臺道路測試管理規范和實施細則, 在項目支持、測
20、試示范區建設、道路測試與應用示范等方面營造良好的生態環境14。 我國許多省市和企業積極探索智能網聯汽車的應用示范和商業化落地, 廣州、 長沙、 滄州、上海、 北京等地的道路測試實施細則已列明載人測試的具體條款,并陸續頒發載人測試牌照或示范應用牌照(如圖 2-2) 。 圖 2-2 我國省市開啟載人測試及示范應用時間表示意圖 本白皮書根據現階段國內外智能網聯汽車道路測試及應用示范的行駛區域, 基于自動駕駛功能設計運行范圍,可劃分為五大連續應用場景:高速/環路、市內運行、泊車/取車、封閉園區和城際/郊區, 并梳理五大應用場景下國內外開展應用示范的企業、 車型和具體場景等情況,如表 2-16。 表 2
21、-16 國內外智能網聯汽車應用示范相關情況 解決方案商解決方案商 類型類型 場景場景/車型車型 啟動時間啟動時間 載客測試載客測試-應用示范應用示范-運營國家運營國家/省省份份/城市城市/地區地區/范圍范圍 車輛數量車輛數量/ 文遠知行 載人 RoboTaxi 2019/12 廣州一級及二級開放測試路段 20輛 小馬智行 載人 RoboTaxi/MKZ 2019/08 2018/12 美國加州爾灣、加州費利蒙運營;廣州南沙區 12 輛 30-40 輛 百度 載人 RoboTaxi 2019/09 2019/11 湖南長沙岳麓大道到尖山湖公園;河北滄州開發區 45 輛 滴滴 載人 RoboTax
22、i 2020/07 上海測試示范區內 9 輛 2018年6月廣州允許載人測試2019年6月長沙發放載人測試牌照2019年9月上海頒發示范應用牌照2019年9月武漢頒發載人試運營牌照2019年11月滄州開放載人測試并頒發牌照2019年12月北京開放載人測試2020年5月重慶開放載人測試2020年8月深圳載人應用示范2020年8月海南允許載人應用示范除高速場景2020年8月合肥2021年允許大眾開啟載客測試(出行服務試點) 解決方案商解決方案商 類型類型 場景場景/車型車型 啟動時間啟動時間 載客測試載客測試-應用示范應用示范-運營國家運營國家/省省份份/城市城市/地區地區/范圍范圍 車輛數量車輛
23、數量/ Waymo/FCA 載人 RoboTaxi/ WaymoOne FCA Pacifica 2018/12 2019/07 美國加州南灣區、亞利桑那州鳳凰城,相對固定區域運營,收費 60 輛 Cruise 載人 RoboTaxi 2020 美國加州、 亞利桑那州, 相對固定區域運營,免費 4 輛 AutoX 載人 RoboTaxi/MKZ 2019/06 美國加州圣何塞運營,免費 3 輛 Aurora 載人 RoboTaxi 2020 美國加州、 亞利桑那州, 相對固定區域運營,免費 5 輛 ZOOX 載人 RoboTaxi 2020 美國加州、 亞利桑那州, 相對固定區域運營,免費 5
24、 輛 東風 載人 園區景區/Sharing -VAN 2020/06 山東青島國家海洋實驗室園區 6 輛 百度/金龍 載人 園區景區/Apollo 小巴 2018/11 北京市海淀區海淀公園;北京市首鋼園區;河北雄安市市民服務中心 3輛 主線科技/重汽 載物 港口/集卡 2018/04 2020/08 天津濱海新區天津港;深圳媽灣港;浙江寧波舟山港 25 輛 圖森 載物 快速公路/集卡 2019/04 美國加州、亞利桑那州;上海臨港主城區、物流園區、東海大橋 不祥 贏徹科技 載物 快速公路/集卡 2020/04 浙江湖州市德清 不祥 蘇寧/智加科技 載物 園區/重卡 2020/05 上海奉賢區
25、物流園 不祥 清智科技 載人 園區景區/通勤車 2017/08 天津東麗區低碳產業園 2 輛 馭勢科技 載人 機場車站/接駁車 2017/03 2019/09 廣州白云機場;北京大興機場;香港國際機場 2 輛 踏歌智行 作業 礦山/礦卡 2019/08 內蒙古白云鄂博礦山、 永順煤礦等 13 輛 信息來源:公開資料整理(美國區域為加州 CPUC 數據) ,不完全統計,數據截止 2020 年 9 月 與 Waymo 在美國亞利桑那州的 Robotaxi 運營收費不同,我國尚不允許 Robotaxi、無人駕駛卡車等開展運營服務,各地方及企業尚處于特定線路的載人/載物測試,或者特定區域的應用示范階段
26、,且目前高速公路尚未開放測試。 隨著國內外企業發布具備L3L4級自動駕駛功能的智能網聯汽車產品量產計劃,且紛紛開展應用示范及商業化試運營, 行業急需建立完善智能網聯汽車產品等級劃分及評估準則。本白皮書擬以安全性和智能化為出發點,量化ODD、功能與性能指標,評測機構可根據需求抽取相應的評價元素,構建智能網聯汽車產品的評價指標,指導市場區分自動駕駛功能性能優劣,同時也可以為企業研發提供方向引導。 2.2 智能網聯汽車駕駛輔助功能評價體系逐步完善,自動駕駛功能評價體系尚需建立 智能網聯汽車從實驗室走向量產, 需要大量的測試來證明其各項應用功能和性能的穩定性、魯棒性、可靠性等。傳統車輛測試評價的對象是
27、人-車二元獨立系統,而智能網聯汽車的測試評價對象變為人-車-環境-任務強耦合系統,從而導致對其的測試和驗證變得極具挑戰性。 傳統的車輛測試手段無法滿足智能網聯汽車測試與驗證的使用需求。隨著駕駛自動化等級的提高,不同等級自動化水平所實現的功能逐級遞增,圍繞智能網聯汽車驗證環節所需的標準體系、 測試場地條件以及相關測試方法,各國的政府機構、科研院所、相關企業開展了大量研究工作。 目前,各國針對智能網聯汽車的駕駛輔助系統已制定了明確的標準法規和測評規程,如ISO、NHTSA、E-NCAP、C-NCAP、i-VISTA 等都對現有的駕駛輔助系統進行了測試規定,如第一章表 1-2 所示,這些能有效的貫通
28、標準場景的測試流程。 各國 NCAP 測試評價體系,在駕駛輔助功能評價層面,側重關注人因造成的道路交通安全事故, 并通過主動安全系統的導入提升道路交通安全性。 如圖 2-3, 為 E-NCAP 2025 Roadmap,未來主動安全系統將引入 V2X、駕駛員監控等評價項,設置測試規程。 圖 2-3 E-NCAP 2025 Roadmap 在自動駕駛功能評價層面, 隨著車輛自動駕駛程度的提高, 在鼓勵新技術推廣應用的同時,應防范由于消費者誤用、濫用、自動駕駛功能缺陷引發新的安全問題。根據 E-NCAP 2025 Roadmap,自動駕駛功能評價分級將獨立于 E-NCAP 的主流星級評級方法,提出
29、一個單獨的分級方案,用簡單的、描述性的分級來評估功能等級與系統安全,并分階段實施,首先將重點放 在持續輔助系統上,特別是 HWP 和 TJA。 2.3 逐步建立支撐高級別自動駕駛的基于復雜場景的全新綜合評價體系 隨著駕駛自動化等級的提高,針對智能網聯汽車的測試已不能將其功能進行拆分,進行單獨功能測試。美國蘭德公司的一項研究表明,如圖 2-4,在 95%的置信度水平下,要證明自動駕駛車輛相比于人類駕駛能夠減少 20%交通事故死亡率,需要進行約 50 億英里的公共道路測試,采用由 100 輛車組成的車隊每年 365 天每天 24 小時不間歇的以 25 英里每小時的平均速度進行測試, 大概需要 22
30、5 年,顯示了基于里程的測試方法對于 L3/L4 自動駕駛安全性驗證的困境,需要進行測試評價方法的創新。 圖 2-4 基于里程測試方法的 L3/L4 自動駕駛安全性驗證困境 從 ADAS 系統只需滿足特定場景下的功能要求,擴展到有條件自動駕駛(L3)或高度自動駕駛(L4)系統等需要滿足各類場景的功能需求,導致用于智能網聯汽車測試與驗證的場景數量以幾何級數增加,且實際駕駛場景因天氣、道路、交通參與者、工況等因素的多變具有復雜性、隨機性和不確定性。此外,由于基于里程測試的方法帶來的高成本和低效率等問題,必須利用測試場景進行針對性的測試和驗證,降低里程測試的測試量。 綜上, 針對高級別智能網聯汽車產
31、品的測試評價方法至關重要,行業急需建立基于復雜場景的全新綜合評價體系, 即通過預先設定場景對被測車輛進行測試,充分和有效地驗證車輛的功能在復雜的駕駛場景下是否滿足預期要求。 三、智能網聯汽車產品測試評價流程 本測評流程主要研究內容包括:應用場景(測什么) ;測試場景(在什么環境下測) ;測試方法與技術(用什么方法和手段測) ;評價體系(如何評價) ,本白皮書基于此原則提出構建智能網聯汽車產品測試評價流程,如圖 3-1 所示: 1)應用場景,本測評流程優先重點考慮五大連續運行場景:高速/環路、市內運行、泊車/取車、封閉園區和城際/郊區,其中高速/環路為封閉道路,城際/郊區為半封閉道路,具有連接性
32、的道路。不同應用場景具有相對應的連續測評場景、測試方法和評價方法。 2)測試場景:通過自然駕駛數據、標準法規場景、危險工況場景和參數重組場景等數據來源構建測試場景庫, 該測試場景包括基礎和進階測試場景, 滿足基礎測試和優化引導的需求。 3)測試方法與技術:采用虛擬仿真測試、封閉場地測試、實際道路測試相結合的測試方法,通過設置測試條件、測試規程、測試通過條件等,搭建可實現自動駕駛功能與 ODD 全覆蓋的測試方法。 4)評價方法:通過安全、體驗和配置三大維度對智能網聯汽車產品的能力進行評價,該三大評價維度和其對應的評價指標包括基礎指標和進階指標, 滿足基礎測試和優化引導的需求。 圖 3-1 智能網
33、聯汽車產品測試評價流程 四、智能網聯汽車產品測試場景的構建 自動駕駛測試場景是支撐智能網聯汽車測試評價技術的核心要素與關鍵技術, 通過場景的解構與重構對智能網聯汽車進行封閉場地測試和虛擬測試已成為業內公認的最佳測試手段, 得到廣泛關注。自動駕駛測試場景具有無限豐富、極其復雜、不可預測、不可窮盡等特點,本章參考自動駕駛測試場景技術發展與應用9概述構建測試場景庫的方法。 4.1 測試場景設計方法及要求 自動駕駛測試場景是一定時間和空間范圍內車輛 ODD 元素、OEDR 元素、自車元素的綜合信息融合。本白皮書所述自動駕駛測試場景應根據五大運行環境,結合場景元素進行構建。例如, 在高速公路行駛時的功能
34、場景需要描述道路的幾何結構和拓撲結構、與其他交通參與者的交互以及天氣狀況等,而在地下停車場行駛則只需要描述建筑物的布局,此時天氣條件則不需要進行詳細的描述。另一方面,需要識別 ODD 各種使用場景下的安全風險,即基于安全分析,從系統內部識別可能存在的失效,建立失效場景。 綜上,場景元素主要包含 ODD 元素、OEDR 元素、自車元素和失效元素,如下: 1)ODD 元素 ODD 元素主要包括道路信息、環境信息和交通參與者。 道路信息通常包括道路類型(主車道、主從車道等) 、道路表面(摩擦系數、材質等) 、道路幾何 (曲率、坡度、交叉口) 、交通標志(交通燈與交通標志牌) 、道路設施元素(包括隧道
35、、車站、立交橋、收費站,施工路段)等。 環境信息主要包括天氣、光照和連接性等,其中,天氣元素包括晴天、雨天、雪天等不同天氣類型以及不同能見度等信息,光照指不同光照度下的環境,如:艷陽天、夜晚、黃昏、不同燈光照射下的環境等。連接性指自車所處環境的網絡連接性,V2X 連接性以及是否支持高精地圖等特性。 交通參與者主要包括機動車、非機動車、行人、障礙物、動物等。 2)OEDR 元素 OEDR 是指相應測試場景下自動駕駛系統需要探測的物體或者事件以及應做出的響應, 作為仿真測試場景的關鍵考察方面,其主要包括交通參與者的類型及運動等信息。如在自車左前方的行人正在橫穿,自車前方的機動車減速等。 3)自車元
36、素 自車元素主要包括自我車輛的類型、性能特性和駕駛行為等,如自車為乘用車,最高車速 為 110km/h,正在進行變道操作。 4)失效模式 為保證自動駕駛的安全性,需測試車輛的失效響應,通過設置一些失效模式如注入故障、超出 ODD、傳感器失效等,設置超過 ODD 的參數取值等來驗證車輛的失效響應能力。例如,按照感知系統失效(由于安裝、環境、車輛等因素導致的感知系統無法準確識別到環境中的風險) 、復雜交通場景(交通流與道路的組合導致本車處于危險的交通環境) 、車輛控制失效(如由于載荷、路面或側風等原因導致的車輛無法跟隨控制指令)等進行分類。 對智能網聯汽車進行基于場景的各項測試時,構建場景的數據來
37、源多種多樣,通過對數據來源進行分類,可將場景概括為四大類:自然駕駛場景、危險工況場景、標準法規測試場景以及參數重組測試場景9。自然駕駛場景可包含智能網聯汽車所處的人-車-環境-任務等全方位信息,能夠很好地體現測試的隨機性、復雜性及典型性區域特點,為測試場景構建中的充分測試場景。 危險工況場景是智能網聯汽車測試過程中進行自動駕駛控制策略驗證的關鍵部分, 為場景構建中的必要測試場景。標準法規測試場景通過現有的標準、評價規程等構建測試場景,為場景構建中驗證自動駕駛有效性的基礎測試場景。參數重組測試場景通過對靜態要素、動態要素以及駕駛員行為要素之間不同排列組合及遍歷取值,進而補充大量未知工況的測試場景
38、, 有效覆蓋自動駕駛功能測試盲區,為場景構建中的補充測試場景。 針對某項特定自動駕駛功能設計測試場景,需定義自動駕駛系統的 ODD,即明確系統在不同類型的道路上、道路的不同位置上、不同的速度范圍及其他環境條件下的功能表現,應確保對自動駕駛系統使用場景的充分覆蓋。 如圖 4-1, 根據不同自動駕駛系統的設計運行范圍, 將測試場景分為高速/環路、 市內運行、泊車/取車、封閉園區和城際/郊區五種典型應用場景。每種應用場景下,可在不同抽象程度上基于 ODD 運行設計域、OEDR 事件探測及響應、自車行為及失效模式等元素,提取各類型典型場景,進行場景參數標注及統計分析,形成邏輯場景,而后基于邏輯場景的參
39、數分布,大規模生成具體場景,并以通用場景格式存儲,構成數萬級測試用例的場景庫。 同時對于場景的評價也可以從 ODD、 OEDR、 自車行為及失效模式等 4 個維度進行量化,從而對場景進行分級,形成基礎測試場景和進階測試場景,分別實現對智能網聯汽車產品準入的支撐,對市場上智能網聯汽車產品測評優化的引導。 圖 4-1 測試場景設計示意圖 4.2 場景庫構建流程及要求 如圖 4-2,不同數據來源(自然駕駛、危險工況、標準法規、參數重組)的場景用例設計首先語義描述其操作場景得到功能場景, 然后通過參數化定義操作場景的狀態空間得到邏輯場景, 接著對操作場景的狀態空間參數賦值得到具體場景,最后通過軟件建模
40、復現具體場景得到測試用例。 場景數據功能場景邏輯場景具體場景測試用例軟件建模語義描述定義狀態空間賦值狀態空間 圖 4-2 測試場景用例設計流程 自動駕駛測試場景對自動駕駛研發和測試工作起著重要作用。場景庫是場景的載體平臺,通過場景數據采集、分析挖掘、測試驗證等步驟,實現內容閉環。通過上述場景元素、場景數據來源和場景設計方法得到自動駕駛測試場景。 對自動駕駛場景進行測試驗證主要是將場景庫內已經構建好的場景抽取出來,用虛擬場景驗證、實車場景驗證等方法進行驗證,確認場景的真實性、代表性和有效性,從而更好地服務于研發和測試工作,包括模型在環、軟件在環、硬件在環仿真測試,實車場地和道路測試等。與場景相關
41、的測試結果反饋給場景庫,對場景的分析挖掘方法等進行修正,或者根據需要重構生成場景,更新補充完善場景庫。場景庫進一步有效支撐測試研發工作,從而形成場景庫構建與應用的正向循環。 五、智能網聯汽車產品測試方法 場景建設及功能劃分與智能網聯汽車仿真測試、 場地測試、 道路測試密不可分, 如圖 5-1。虛擬仿真測試應覆蓋 ODD 范圍內可預測的全部場景,包括不易出現的邊角場景,覆蓋 ODD范圍內全部自動駕駛功能;封閉場地測試應覆蓋 ODD 范圍內的極限場景,如安全相關的事故場景和危險場景,覆蓋自動駕駛系統正常狀態下的典型功能,驗證仿真測試結果;真實道路測試覆蓋 ODD 范圍內典型場景組合的道路,覆蓋隨機
42、場景及隨機要素組合,驗證自動駕駛功能應對隨機場景的能力。 圖 5-1 不同測試類型驗證不同場景功能示意圖5 總體上,虛擬仿真測試是加速自動駕駛研發過程和保證安全的核心環節,封閉場地測試是自動駕駛研發過程的有效驗證手段,真實道路測試是檢測自動駕駛系統性能的必要環節,也是實現自動駕駛商業部署的前置條件。 圖 5-2 給出了虛擬仿真測試、封閉場地測試、實際道路測試的測試流程圖。 測評車型選定后,首先進行審核與虛擬仿真測試,根據是否具備仿真測試條件,進行虛擬仿真測試或者審核。如果具備虛擬仿真測試條件,則在虛擬仿真測試用例庫中依據 5.1.1 虛擬仿真測試流程進行驗證全部聲明的 ODD 和自動駕駛功能;
43、如果不具備虛擬仿真測試條件,則依據第六章評價指標審核全部聲明的 ODD 和自動駕駛功能。并且根據第六章安全、體驗、配置進行綜合的審核與仿真測試評價。 圖 5-2 智能網聯汽車產品測試流程 其次進行封閉場地測試,封閉場地測試用例圍繞五大運行場景建設:高速/環路、市內運行、城際/郊區、泊車/取車、封閉園區;構建測試用例參考附錄 1 安全元素。封閉場地測試依據聲明的 ODD、自動駕駛功能在五大應用場景測試用例庫中選取確定測試用例,如 5.2.1 封閉場地測試項目表 5-2 智能網聯汽車自動駕駛功能典型測試用例, 根據具體車型選定不同的測試用例進行封閉場地測試。并且根據第六章安全、體驗、配置進行綜合的
44、封閉場地測試評價。 實際道路測試首先需要獲取實際道路測試牌照, 然后根據產品聲明的 ODD 確定測試路段。在測試過程中,必須達到一定的測試時長和里程,覆蓋自動駕駛必備功能,充分驗證自動駕駛的功能和性能表現。并且根據第六章安全、體驗、配置進行綜合的實際道路測試評價。 5.1 虛擬仿真測試 5.1.1 虛擬仿真測試流程虛擬仿真測試流程 如圖 5-3,針對智能網聯汽車自動駕駛功能的虛擬仿真測試,典型的測試流程包括:測試需求分析、測試資源配置、接口定義、設計測試用例、執行測試、出具測試報告以及形成評價結論等主要環節12。 1)測試需求分析:針對自動駕駛功能,規范對應的測試對象、測試項目、測試方法、測試
45、資源配置、接口規范、數據存儲、評價方案和結果展示的具體要求,確定虛擬仿真任務的輸入(如虛擬仿真測試對象的數學模型、駕駛自動化系統指標、自動駕駛功能要求以及相應文檔);確定虛擬仿真任務的輸出(如仿真數據、仿真結果分析以及相應文檔),指導測試工作的開展。 2)測試資源配置:根據自動駕駛功能確定虛擬仿真測試所需資源,如人員需求、人員的責任、仿真模型要求、場地要求、設備需求等;對虛擬仿真系統進行參數設置:包括車輛模型配置、靜態場景配置、動態場景配置、傳感器模擬配置、控制器配置等主要過程。 圖 5-3 智能網聯汽車自動駕駛功能的虛擬仿真測試流程 3)接口定義:根據模擬仿真測試對象確定用軟件或者實物來實現
46、駕駛自動化系統的各部分,確定仿真系統各部分之間的接口關系,匹配各子系統和單元間接口,包括車輛模型、環境模型、傳感器模型、執行器和控制器之間的接口等。 4)設計測試用例:根據自動駕駛功能及 ODD(五大應用場景)設計測試用例,確定測試方案,確定虛擬仿真測試平臺依據的測試規則,先基礎后進階高級增加測試場景,制定通過條件。 5)執行測試:虛擬仿真測試包括單一場景輸入測試和路網連續里程測試,通過單一場景輸入測試后進行路網連續里程測試。當發現某測試場景結果為不通過時,可終止單項測試或者重啟虛擬仿真測試流程。 6) 出具測試報告: 通過軟件進行自動化測試結果的數據處理, 并根據規范生成測試報告,報告應包括
47、測試對象、測試人員、測試時間、測試結果和測試數據等內容。 7)形成評價結論:測試結果應比對標準值和歷史數據,形成評價結果的評分。 5.1.2 虛擬仿真測試虛擬仿真測試基本要求基本要求 1. 測試要求 1)所有的測試項目都應由駕駛自動化系統和算法完成,測試期間不應對系統和算法進行任何變更調整; 2)應說明測試系統的組成及工作原理,自動駕駛功能及設計運行范圍 ODD,風險減緩策略及最小安全狀態等; 3)依據自動駕駛功能定義及范圍設計測試用例,應至少包括設計運行范圍測試、動態駕駛任務測試、目標事件檢測和響應測試、故障保護響應、風險減緩策略測試等; 4)應保證單一場景輸入測試中同一場景重復測試的高度一
48、致性,并在測試報告中詳細記錄所有測試場景中的數次重復測試詳細的關鍵過程數據及結果:在多個相同場景下,通過在封閉場地和道路測試中獲取實車決策輸出,驗證虛擬仿真結果的有效性; 5)路網連續里程測試應參照第四章場景庫測試場景設計要求,遍歷預期 ODD 內的測試場景, 驗證駕駛自動化系統的 ODD 邊界, 驗證駕駛自動化系統應對極限場景的能力和魯棒性,驗證駕駛自動化系統的高里程通過性; 通過路網連續里程測試發現駕駛自動化系統存在風險項,應對其在封閉場地進行復現確認,經確認一致后,應將風險項在測試報告中說明。 2. 通過條件 1)單一場景通過指標包括合規性指標和安全性指標。重點考察駕駛自動化系統運行時能
49、否遵守道路交通法律法規、道路標識規則等相關規定;駕駛自動化系統能夠避免碰撞等安全事故。 表 5-1 虛擬仿真單一場景通過指標 一級指標 二級指標 三級指標 四級指標 合規性 遵守交通規則 不壓線 車輛與標線的相對位置 按照道路指示標志行車 指示標志識別性、 距離/速度/加速度值、車道線識別及相對位置 滿足在用的其他標準法規的要求 如 AEB、LKA 等 安全性 不發生交通事故 不與車輛發生碰撞 本車與周邊車輛的相對速度和位置 不與行人發生碰撞 本車與行人的相對速度和位置 2) 連續場景通過指標包括場景覆蓋度和安全運行里程,重點考察駕駛自動化系統應對多功能、連續性場景時的系統性能。 5.2 封閉
50、場地測試 5.2.1 封閉場地測試項目封閉場地測試項目 封閉場地測試用例圍繞五大應用場景建設: 高速/環路、 市內運行、 城際/郊區、 泊車/取車、封閉園區。根據智能網聯汽車聲明的設計運行范圍 ODD 及自動駕駛功能,在五大應用場景測 試用例庫中選取確定測試用例,測試智能網聯汽車的真實表現。 如表 5-2,舉例說明了智能網聯汽車自動駕駛功能典型測試用例,其中測試用例設計元素可參考附錄 1 高速公路應用場景下安全評價指標示例。 表 5-2 智能網聯汽車自動駕駛功能典型測試用例示例 序號 智能網聯智能網聯汽車汽車自動駕駛功能自動駕駛功能典型典型測試測試用例用例 1 跟車行駛 2 循線行駛 3 變道