《甲子光年：2024自動駕駛行業報告-端到端漸行漸近（31頁）.pdf》由會員分享，可在線閱讀，更多相關《甲子光年：2024自動駕駛行業報告-端到端漸行漸近（31頁）.pdf（31頁珍藏版）》請在三個皮匠報告上搜索。

1、出品機構：甲子光年智庫智庫院長：宋濤報告撰寫：翟惠宇發布時間：2024.07*甲子光年智庫分析師胡博文對本次報告撰寫亦有貢獻。目 錄Part 01發展背景：汽車智能化正加速普及P02Part 02趨勢辨析：端到端自動駕駛的價值P09Part 03廠商實踐：技術路線的選擇與踐行P18Part 04未來展望：端到端的挑戰與未來式P26智能化水平已經成為國內汽車消費者最核心的購買因素之一。p國內汽車工業在電動化和智能化領域的迅猛發展，正在重塑消費者的購車偏好，消費者對于自動駕駛技術、智能座艙等高端智能化功能的興趣日益濃厚。p超半數的汽車消費者將智能化水平作為購車時的關鍵考量因素，他們追求更先進的自動

2、駕駛體驗、更智能的座艙環境以及更個性化的駕駛樂趣。p智能化在購車決策中的重要性日益凸顯，這也促使眾多汽車制造商加快了智能化技術的研發和工程投入；繼續航里程和用車成本之后，智能化已成為新能源汽車競爭的主要領域，未能跟上智能化步伐的汽車品牌可能會逐漸失去市場競爭力。59%54%51%48%47%47%43%31%30%用車成本低智能化程度高保養成本低外觀時尚環保噪音小獲取牌照動力性能配置表精煉圖1：購車時“智能化”考量因素高居第二65%62%51%51%47%43%42%40%39%更先進的自動駕駛功能智能座艙體驗更好造型設計美觀原生新能源汽車平臺乘坐更舒適售后體驗更好OTA能力更強續航里程表現駕

3、駛樂趣更高圖2：自動駕駛、智能座艙、OTA能力受廣泛關注智能駕駛滲透提速，“智能化”競爭進入白熱化。pNOA技術的滲透率正迅速提升：自2022年“量產元年”起，高速NOA和城區NOA的普及率顯著增長。目前，高速NOA的滲透率已超10%，城市NOA也超過了3%。p在眾多廠商的推動下，重視“智能化”的汽車越來越受消費者青睞，尤其是那些配備自動泊車和L2.5以上級別NOA功能的車型；這些車型已成為車企競爭的焦點，預示著未來缺乏NOA功能的車輛可能失去競爭力。p自動駕駛功能的普及，得益于車企的持續投入和消費者對這些技術的接受度，這已成為汽車市場競爭力的關鍵。02468101214Dec-22Jan-2

4、3Feb-23Mar-23Apr-23May-23Jun-23Jul-23Aug-23Sep-23Oct-23Nov-23Dec-23Jan-24Feb-24Mar-24標配選配合計圖1：高速NOA滲透率持續增長（%）012345Dec-22Jan-23Feb-23Mar-23Apr-23May-23Jun-23Jul-23Aug-23Sep-23Oct-23Nov-23Dec-23Jan-24Feb-24Mar-24標配選配合計圖2：城市NOA滲透率持續增長（%）自動駕駛科技公司排隊沖擊IPO，智駕加速普及，行業正在蘇醒。p盡管一級市場融資受到整體投融資環境的影響，但自動駕駛公司通過不斷優化

5、核心軟硬件產品，向更務實的L2輔助駕駛轉型，加速了智能駕駛的商業化進程，眾多企業開始準備IPO。p同時，隨著智能駕駛功能的普及，消費者對其正面認知逐漸增強，乘用車自動駕駛市場穩步增長，這促使主機廠與智能駕駛解決方案供應商之間的合作更加緊密，進一步推動了智能駕駛技術的商業化應用。企業名稱計劃上市地IPO進程主營業務禾賽科技美股2023年2月上市激光雷達傳感器海創光電科創板2023年5月提交申請激光雷達傳感器黑芝麻智能港交所2023年6月提交申請自動駕駛計算芯片圖達通美股2023年8月完成IPO備案激光雷達傳感器如祺出行港交所2023年8月提交申請Robotaxi、網約車運營文遠知行美股2023年

6、8月完成IPO備案自動駕駛解決方案、Robotaxi賽目科技港交所2023年10月提交申請ICV仿真測試、驗證知行科技港交所2023年12月已上市自動駕駛解決方案速騰聚創港交所2024年1月已上市激光雷達傳感器小馬智行美股2024年4月完成IPO備案Robotaxi、Robotruck、智能駕駛解決方案縱目科技港交所2024年3月提交申請智能駕駛解決方案地平線港交所2024年3月提交申請自動駕駛計算芯片、智能駕駛解決方案佑駕創新港交所2024年5月提交申請智能駕駛解決方案Momenta美股2024年6月完成IPO備案自動駕駛解決方案表：2023年起，自動駕駛廠商扎堆IPO訂單需求擴張業績快速上

7、漲產品性能提升一級市場融資難需要研發投入造血能力待提升智駕量產車上路，數據飛輪已經轉了起來。p自BEV（鳥瞰視圖）結合Transformer架構成為自動駕駛感知領域的主要發展方向以來，數據驅動在其中扮演的角色愈發關鍵；眾多汽車制造商和自動駕駛解決方案提供商都已構建數據閉環系統，以支持自動駕駛系統的模型訓練和持續迭代。p目前，配備高級智能駕駛功能的汽車已實現規?；渴?，這為自動駕駛算法的持續創新和優化提供了堅實的數據支撐。圖：打造數據閉環，量產時代下的自動駕駛應用部署為數據驅動提供條件智能駕駛汽車規?；瘮祿杉瘮祿治鰯祿俗⒛Ｐ陀柧毮Ｐ万炞C算法部署自動駕駛智算中心打造數據閉環升級現有智能車影子

8、模式觸發數據回傳OTA部署算法升級AI驅動的數據閉環量產項目提供海量車端大數據：人工智能技術加持，數據篩選、標注、訓練、驗證形成全鏈路閉環，持續迭代智能駕駛產品相比過去工程師制定的規則算法，能夠實現低成本、高效率的系統迭代由此實現閉環自動化，數據驅動自動駕駛，在為現有車輛進行OTA功能升級的同時，為后續更高級別的自動駕駛車輛做準備數據積累訓練高階自動駕駛算法L3/L4量產上車自動駕駛技術發展與普及的背后，是底層AI技術的進步。pAI技術的應用場景眾多，自動駕駛無疑是其中的核心議題；它不僅代表了技術應用的前沿，也是產學兩界AI專家不懈追求、共同攻克的領域。p自動駕駛行業的發展與AI技術的每次飛躍

9、緊密相連：從卷積神經網絡（CNN）、循環神經網絡（RNN）、生成對抗網絡（GAN）到Transformer，每一次技術革新背后，都伴隨著深度學習等基礎AI技術的突破性進展。正是AI技術的持續進步，構成了自動駕駛技術不斷演進和成熟的基礎動力。至今CNN（卷積神經網絡）圖像識別處理表現優秀；有效處理傳感器數據融合需要大量數據標注；時序任務處理能力偏弱2011RNN（LSTM）+GAN更擅長處理時間序列數據+生成高質量合成數據預測車輛未來軌跡能力長期時序建模能力弱；數據質量難把控；實時性要求無法滿足BEV（鳥瞰視角）直觀且豐富的車身周邊環境表示需要復雜的傳感器數據融合與校準，計算量龐大BEV+Tra

10、nsformer結合Transformer更強的處理序列數據和復雜上下文關系方面的能力，實現更精確的環境感知、更長遠的運動規劃和更全局化的決策201620182020圖：自動駕駛技術的主要迭代路徑OCC+TransformerOccupancy Network基于學習進行三維重建，是BEV的3D迭代2022那么，下一步？CNN提出后，深度學習進入爆發期，自主學習能力被釋放Transformer大模型基于大規模數據訓練，具備更強的魯棒性與泛化能力，在自動駕駛行業大方異彩AI大模型技術已經在自動駕駛領域得到廣泛應用。pTransformer大模型技術在自動駕駛領域并非新近出現，其實早在ChatGP

11、T之前，這一技術就已被應用于自動駕駛的感知任務。p特斯拉在2021年就展示了其基于BEV視角結合Transformer的感知方案，此后，國內廠商紛紛跟進并進行創新，這間接加速了2022年之后高階智能駕駛方案的快速落地。p從云端的模型訓練到車端的模型部署，大模型技術已被廣泛應用于數據處理、模型融合與優化等多個環節，顯著提高了模型訓練的效率和系統的整體性能。圖：從云端到車端，大模型已經在自動駕駛感知模塊開始規?；瘧酶兄獩Q策控制數據自動標注利用大模型通過自監督學習預訓練，配合極少量人工標注微調，實現自動標注視頻clip數據。大模型的泛化性能用于挖掘長尾數據，如使用CLIP模型進行基于文本描述的圖像

12、數據檢索。數據挖掘大模型通過學習海量數據中的特征，然后用來配合中、小模型的訓練，提高中、小模型的性能。知識蒸餾數據生成使用NeRF技術隱式存儲場景，通過渲染圖片的監督學習學出場景的隱式參數，實現場景重建和高真實感數據生成。云端車端合并不同小模型將處理不同子任務的小模型合并成一個大模型，在車端進行聯合推理計算，提高感知算法的準確性和實時性。物體檢測利用大模型檢測真值固定的物體，如車道線、交通燈等，這些物體的位置不受天氣、時間等因素的影響。車道拓撲預測使用自回歸編解碼網絡將BEV特征解碼為結構化的拓撲點序列，實現車道拓撲預測。預測目 錄Part 01發展背景：汽車智能化正加速普及P02Part 0

13、2創新思路：端到端自動駕駛的價值P09Part 03廠商實踐：技術路線的選擇與踐行P18Part 04未來展望：端到端的挑戰與未來式P26傳統模塊化自動駕駛存在信息傳遞損耗、計算效率低下等問題。p傳統自動駕駛系統已經發展得相當成熟，通常采用模塊化串聯的部署方式：其核心模塊涵蓋感知、定位、預測、決策和控制等，每個主要模塊及其子模塊都承擔著特定的職責，且每個模塊的輸入通常來源于前一模塊的輸出。p模塊化設計的優勢在于能夠將復雜的自動駕駛任務分解為更小、更易于管理的子任務，同時便于問題的追蹤和定位；然而，隨著自動駕駛技術向數據驅動的方向發展，模塊化設計的某些局限性也逐漸顯現，例如信息傳遞過程中可能出現

14、的損耗、計算延遲以及累積誤差等問題。圖：傳統自動駕駛的模塊化部署定位模塊高精地圖車輛定位傳感器攝像頭激光雷達毫米波雷達IMU輪速感知模塊障礙物識別車道線識別紅綠燈識別目標跟蹤傳感器融合底盤通信預測模塊車輛行為預測行人行為預測規劃模塊全局路徑規劃車輛行為決策控制模塊轉向油門/電門剎車PID/MPC信息的損耗與丟失誤差累積影響安全性復合誤差難以修正系統構建與維護成本高任務多且散導致低效從系統架構的變化趨勢上看，自動駕駛系統模塊是在不斷融合的。p模塊化自動駕駛的核心在于不同子模型在各個模塊中的嵌套與協同工作。然而，隨著Transformer架構等先進AI技術的發展，模型間的界限正逐漸變得模糊。原本獨

15、立的子任務模型正逐步被更大規模的神經網絡模型所取代，特別是在感知模塊，BEV結合Transformer方案的廣泛應用預示著數據驅動的深度學習神經網絡正日趨成熟。p從架構的角度來看，隨著模型融合的趨勢，自動駕駛系統的終極形態很可能是One Model，即一個狹義上的端到端神經網絡模型。目標檢測目標跟蹤后融合預測決策規劃控制地圖定位多傳感器融合預測地圖定位決策規劃控制通用感知網絡預測規劃網絡控制端到端全棧神經網絡Rule-Based更多的工程適量的數據Learning-Based更少的工程更多的數據BEV+Transformer極大推動自動駕駛通用感知網絡的發展速度預測、決策模塊也正在神經網絡化的

16、進程中圖：自動駕駛系統模塊的融合趨勢端到端路線為自動駕駛進一步突破提供了一種可能性。p隨著感知、預測和決策等關鍵模塊逐漸實現神經網絡化，端到端自動駕駛的路徑已經清晰可見，為自動駕駛技術向L4級別無人駕駛的邁進提供了廣闊的想象空間。p端到端自動駕駛神經網絡的實現將帶來一系列優勢：它將完全基于數據驅動進行全局任務優化，擁有更簡潔的系統架構，更高的計算效率以及更強的泛化能力。然而，它也面臨著對算力和數據的巨大需求，以及尚未解決的黑盒問題和幻覺問題，這些問題需要隨著技術的進步而逐步克服。傳感器獲取的原始數據感知決策控制預測End-to-End端到端自動駕駛模型直接輸出車輛駕駛動作更強的泛化性完全由數據

17、驅動避免累計誤差參數過大，算力不足不可解釋與安全性大模型的幻覺問題具備零樣本學習能力，在未知場景仍可正確決策由數據驅動的方式來解決自動駕駛長尾問題更好、更快的糾錯能力避免上游模塊錯誤的過度傳導更好的計算效率模型集成統一，減少模塊間的信息延遲和冗余，提升計算效率滲透信息的無損傳遞基于統一的神經網絡，端到端的核心是信息的無損傳遞。p自動駕駛領域尚未就“端到端”概念達成統一認識。一般而言，端到端自動駕駛指的是從原始傳感器數據輸入直接到控制指令輸出的連續學習與決策過程，過程中不涉及任何顯式的中間表示或人為設計的模塊。p盡管端到端自動駕駛的具體定義仍存在一定的模糊性，但其核心理念是避免信息在傳遞過程中的

18、損耗。模塊化架構端到端自動駕駛：統一的神經網絡架構，一步到位輸出車輛指令端到端架構周邊環境傳感器感知/定位預測規劃控制執行器車輛狀態周邊環境傳感器端到端大模型執行器車輛狀態融合趨勢下，“端到端”從感知走向決策，再走向聯合一體化。p特斯拉FSD V12的卓越性能令業界觀察家印象深刻，它確實摒棄了之前FSD方案中多年積累的代碼，但其端到端方案的成功也離不開其在過去十年在人工智能和智能駕駛領域的深厚積累。p端到端自動駕駛技術的發展遵循著漸進的路徑：目前，BEV+OCC+Transformer已經實現了感知模塊的端到端架構，決策模塊也在逐步從依賴手寫規則向基于深度學習的模式轉變，最終目標是實現模塊化聯

19、合與單一模型的端到端自動駕駛。圖：端到端自動駕駛系統架構演進BEV感知Rule-BasedPlanner“端到端”感知（現有主流架構）人為定義接口BEV+Transformer推動感知方案性能提升決策規劃模塊仍然基于規則BEV感知AI Planner決策規劃模型化人為定義接口仍然保留兩個模塊獨立訓練，而預測與決策規劃模塊神經網絡化通過人工定義的方式制定接口BEV FeaturePlanning Former模塊化聯合端到端隱式表達特征模塊間以特征向量為輸出與輸出兩個模塊通過梯度傳導的方式同時訓練端到端自動駕駛大模型One Model端到端（生成式AI大模型）沒有模塊間的明確劃分，是單一模型基于

20、RL或IL等深度學習方式進行模型訓練Rule-BasedLearning-Based瞄準“全局最優”，端到端路線的提出有望有效緩解模塊化架構的弊端。p模塊化自動駕駛系統面臨信息丟失、計算效率低、累積誤差以及維護成本等問題，這些問題難以回避，需要新的思路去解決。p端到端自動駕駛通過將傳感器收集到的全面信息作為輸入，在單一網絡中直接生成車輛的控制指令或運動規劃。這種設計使得整個系統針對最終目標進行優化，而非僅僅針對某個獨立的子任務，從而實現自動駕駛性能的全局最優化。p隨著高質量數據的不斷積累和模型的持續優化，端到端架構有望展現出比傳統模塊化架構更優越的自動駕駛性能。1數據驅動不僅感知模塊，決策規劃

21、與控制模塊也由數據驅動，實現全棧數據驅動無需或僅需少量人工編碼、手寫規則，簡化開發流程提升數據規模與質量能夠顯著提升產品性能，不斷提升系統的能力上限2全局最優端到端是一體化架構，為汽車行駛的全局任務為統一目標聯合訓練避免模塊化的單獨優化不需要通過頻繁的patch和參數調整修正3消除誤差一體化的模型結構能夠減少信息傳遞的延遲，加快系統反應消除各模塊之間信息傳遞的誤差累積，全棧神經網絡的上下層之間可以做到全量信息傳遞PerformanceTime模塊化端到端圖：端到端自動駕駛的特點與優勢模仿學習與強化學習是端到端自動駕駛的主要訓練方法。p模仿學習（Imitation Learning）和強化學習（

22、Reinforcement Learning）是當前用于訓練端到端神經網絡的兩種主要方法。p模仿學習主要通過逆最優控制（Inverse Optimal Control）和行為克?。˙ehavior Cloning）來實現，其核心理念是讓智能體通過模仿專家的行為來學習最優策略。而強化學習則是一種通過試錯來學習的領域，其中獎勵函數的設計是一個關鍵挑戰。學習方法具體方法定義特點優勢劣勢當前發展階段模仿學習（IL）行為克隆(BC)通過監督學習模仿專家行為簡單直接，易于實現實現簡單，計算效率高無法捕捉專家決策復雜性，對數據分布偏移敏感廣泛應用，但面臨泛化和魯棒性挑戰模仿學習（IL）逆最優控制(IOC)通

23、過專家演示學習獎勵函數嘗試解釋專家行為背后的意圖可能更好地理解任務結構學習獎勵函數困難，需要大量專家數據主要用于研究，實際應用較少強化學習（RL）強化學習(RL)通過試錯學習最優策略能夠處理高維輸入和連續動作空間理論上能學習更優策略需要大量數據和計算資源，訓練不穩定在模擬環境中有進展，真實應用挑戰大others策略蒸餾(Policy Distillation)訓練輔助網絡來指導主網絡學習利用輔助網絡的知識來提升主網絡性能可以提高學習效率和策略性能需要設計合適的輔助網絡和訓練策略研究階段，探索如何有效傳遞知識others模型預測控制(MPC)利用模型預測未來狀態來進行控制決策考慮未來狀態，可以優

24、化長期行為能夠考慮未來預測，提高策略魯棒性計算成本高，需要精確模型研究和特定應用中使用，需要進一步優化行為克隆逆最優控制強化學習圖：端到端自動駕駛背后的基本訓練方法各類基礎模型有望為自動駕駛帶來新維度上的能力。p大型語言模型、視覺模型（如世界模型）、以及多模態大型模型等基礎模型展現出了強大的能力，并且這些能力正在自動駕駛技術的融合應用中正在被積極開發。p這些基礎模型通過預訓練獲得了推理能力和豐富的知識，能夠升級傳統的基于規則的if-else系統。出色的泛化能力能夠應對自動駕駛技術發展中的挑戰，提升在感知、預測、規劃等關鍵領域的性能，升級自動駕駛仿真和測試環節的技術手段。大語言模型（LLM）推理

25、和規劃：LLM利用其在邏輯推理、代碼生成和翻譯方面的專長，為自動駕駛的路徑規劃和決策制定提供支持；用戶交互：通過理解自然語言并執行用戶指令，LLM使智能駕駛系統更加用戶友好，實現個性化體驗；常識性駕駛知識：LLM的預訓練能力使其能夠理解和應用駕駛常識，可能替代傳統的基于規則的系統。大模型之于自動駕駛汽車路徑規劃大語言模型大視覺模型多模態大模型路徑預測仿真與測試人機交互/個性化環境感知視頻生成/世界模型感知決策一體化視覺理解與推理ChatGPT、LLaMA等GAIA、SORA等GPT-4 Vision、LLaVA等大視覺模型（VFM）目標檢測和跟蹤：VFM在3D物體檢測和分割方面的能力，對于自動

26、駕駛的感知系統升級至關重要；仿真和測試：VFM的視頻生成能力，為創建逼真的駕駛場景提供了支持，這對于自動駕駛系統的安全性和可靠性提升有極大潛力。多模態大模型（MFM）視覺理解與空間推理：MFM結合了視覺和語言信息，展現出卓越的視覺理解和空間推理能力，對自動駕駛系統的決策過程至關重要；綜合感知與預測：MFM通過整合視覺和語言數據，提高了對環境的感知精度和對其他交通參與者行為的預測準確性。目 錄Part 01發展背景：汽車智能化正加速普及P02Part 02創新思路：端到端自動駕駛的價值P09Part 03廠商實踐：技術路線的選擇與踐行P18Part 04未來展望：端到端的挑戰與未來式P26端到端

27、自動駕駛部分廠商p端到端自動駕駛正迅速成為自動駕駛行業的新焦點，吸引了多種類型的參與者投身于這一路線，涵蓋了車企、人工智能企業、自動駕駛技術公司、機器人公司以及自動駕駛芯片制造商。p隨著對“端到端”理念的共識逐步建立，預計將有更多的企業加入這一行列，各自發揮專長，共同推動端到端自動駕駛技術的繁榮發展。模塊化聯合端到端一體化端到端模型車企/新勢力人工智能公司/自動駕駛解決方案供應商圖：端到端自動駕駛行業代表玩家（不完全整理）端到端玩家簡析-特斯拉p特斯拉無疑是電動汽車和自動駕駛行業的領軍者，它已于2024年1月向北美用戶正式推送FSD V12，成為首家在量產車型上實現端到端自動駕駛落地的公司。p

28、FSD V12在復雜場景下展現了卓越的泛化能力，且其駕駛風格不再局限于傳統的規則遵循，而是變得更加靈活，類似于經驗豐富的駕駛員，能夠根據實際情況做出適應性調整。p特斯拉在端到端自動駕駛算法領域的領先地位，得益于在FSD真實里程積累和超大規模算力投入方面的深厚基礎，這也是特斯拉最大的競爭優勢。圖1：特斯拉算力儲備將在2024年10月達到100EFLOPS*相當于30萬塊Nvidia A100算力總和，為端到端自動駕駛模型訓練提供充沛算力。圖2：特斯拉FSD已經累計開了10億英里*該數據仍然在持續、快速上漲，賦能FSD的迭代更新。端到端玩家簡析-Wayvep成立于2017年的Wayve，是一家位于

29、英國倫敦的自動駕駛技術公司，以其創新的端到端機器學習技術而著稱，專注于開發具有高度適應性和可擴展性的端到端自動駕駛系統。pWayve在端到端自動駕駛技術領域取得了顯著進展，先后推出了大型語言模型LINGO-1/2，視覺生成模型GAIA-1，以及專為高級自動駕駛仿真訓練和測試而設計的PRISM-1。VLAM模型視頻生成模型4D場景重建模型/合成數據僅依靠純視覺信息，即可進行精確的4D 場景重建（空間+時間），用于自動駕駛的模擬仿真測試圖：將世界模型融入自動駕駛，Wayve加速端到端一體化模型的研發迭代速度Wayve LINGO-2架構Video inputTextLearned queriesD

30、riving ActionText端到端玩家簡析-元戎啟行p元戎啟行于2024年北京車展上隆重推出了其即將量產的高端智能駕駛平臺DeepRoute IO，該平臺采用了端到端自動駕駛模型，標志著元戎啟行成為國內首批將端到端大型模型成功應用于量產車輛的人工智能企業。pCEO周光曾表示：“DeepRoute IO平臺不依賴高精度地圖，應用端到端模型，具有極佳的綜合性能以及更強的長尾場景處理能力。目前，IO平臺已在城市線級不同的多個城市進行泛化測試，這些等級不同的城市人口均超千萬，道路情況極具代表性。IO平臺推向消費者市場后，所到之處都能開，任何場景都好開?！盧ule-Based更多的工程適量的數據L

31、earning-Based更少的工程更多的數據圖：元戎啟行的端到端融合演進路線目標檢測目標跟蹤后融合預測決策規劃控制地圖定位多傳感器融合預測地圖定位決策規劃控制通用感知網絡預測規劃網絡控制端到端模型開展道路測試n2017n2022n2023.8元戎的DeepRoute IO方案，無需開發、訓練多個模型，將感知、預測、規劃等全打通端到端模型實現輸入圖像后，直接輸出控制動作Mapfree全域點到點更擅長處理復雜路況信息處理無減損駕駛行為更加“人性化”UniAD:Planning-oriented Autonomous Driving，端到端玩家簡析-商湯絕影p商湯科技及其聯合實驗室提出了行業內首個

32、感知與決策一體化的自動駕駛通用模型UniAD，該模型榮獲了2023年CVPR的最佳論文獎。進一步地，在2024年，商湯科技推出了適用于實車部署、面向量產的真正端到端自動駕駛解決方案UniAD。pUniAD模型將感知、決策、規劃等關鍵模塊整合到一個全棧的Transformer端到端模型中，通過聯合訓練保留了各個模塊的特性。它實現了感知與決策的一體化，同時保持了模塊化系統的優勢，便于進行問題的回溯和分析。UniAD的聯合訓練實現方法攝像頭激光雷達毫米波雷達超聲波雷達高精地圖感知模塊Learning-Based決策規劃Rule-Based基于規則的網絡UniAD端到端解決方案演進路徑攝像頭激光雷達毫

33、米波雷達超聲波雷達高精地圖感知模塊Learning-Based決策規劃Learning-Based兩段式端到端網絡攝像頭激光雷達毫米波雷達超聲波雷達SD地圖統一的感知決策規劃模型Learning-Based，聯合訓練真端到端UniADUniAD包括四個基于Transformer解碼器的感知、預測模塊和一個規劃器并不限于特定的Transformer解碼器，可以加入其他的替代方案進行感知與BEV特征提取查詢Q起到連接管道的作用，方便聯合訓練與交互建模將各個任務進行層級式的結合，并對不同任務間的信息進行了充分的交互通過端到端聯合訓練避免了多任務訓練的融合難題，實現全局最優，同時保留了分模塊系統的優勢

34、，可以拋出中間模塊的結果進行白盒化分析端到端玩家簡析-小鵬p在2024年的520 AI Day上，小鵬汽車發布了其端到端大模型，該模型由三個關鍵組成部分構成：XNet感知神經網絡、XPlanner規劃控制大模型以及XBrain大語言模型。p小鵬計劃讓其端到端智能駕駛大模型實現“每2天迭代一次”的快速更新周期。按照這一規劃，預計在未來18個月內，小鵬的XNGP系統的能力將實現30倍的提升（接管率指標）。感知規劃控制升級圖：小鵬發布端到端大模型，面向旗下量產車型XNet深度視覺感知神經網絡，是自動駕駛汽車的“眼睛”聚合了動態XNet、靜態XNet和純視覺2K占用網絡感知范圍提升2倍，面積可達1.8

35、個足球場大小，能精準識別50+個目標物，讓用戶如同擁有鷹眼視覺基于神經網絡的規劃大模型，是自動駕駛汽車的“小腦”擁有“老司機般的腳法”，前后頓挫減少50%、違?？ㄋ罍p少40%、安全接管減少60%讓用戶舒適性、安全性體驗大幅提升XPlannerAI大語言模型，是自動駕駛汽車的“大腦”具備理解學習能力，泛化能力提升，可處理復雜甚至未知場景系統能夠認識待轉區、潮汐車道、特殊車道、路牌文字，秒懂各種令行禁止、快慢緩急的行為指令，進而做出兼顧安全、性能的擬人駕駛決策XPlanner端到端玩家簡析-華為乾崑p華為在2024年4月推出了新品牌乾崑及其新一代智能駕駛解決方案ADS 3.0，該方案以GOD網絡和

36、PDP網絡為核心，實現了端到端的智能駕駛。pGOD大網絡具備識別白名單和異形障礙物的能力，同時能夠感知道路結構和場景語義，從而更全面地理解駕駛環境。而PDP預測決策與規劃網絡的加入，顯著提升了方案的通行效率，使得復雜路口的通過率達到96%以上。通過快速的更新迭代，ADS 3.0將能幫助車主實現“越開越好開”和“行駛更類人”的目標。華為乾崑ADS3.0架構預決策規劃一張網運動控制相較于ADS 2.0，ADS 3.0在感知部分采用GOD大感知網絡，決策規劃部分采用PDP網絡，完成了決策規劃模塊的神經網絡化；ADS 3.0可實現車位到車位的NCA領航輔助功能，實現從公開道路到園區道路再到地下車位全場

37、景貫通；云端訓練，快速迭代：學習訓練算力達3.5E FLOPS，每天學習里程3000萬+公里，5天一次模型更新速度。類別ADS 1.0ADS 2.0ADS 3.0發布時間2021年4月2023年4月2024年4月軟件架構BEVBEV+GOD網絡GOD網絡+PDP網絡核心功能NCA領航輔助（上海、廣州、深圳等）NCA領航輔助（全國高速、城區）NCA領航輔助（全國高速、城區，實現點到點）搭載車型極狐阿爾法S、阿維塔11問界M5/M7/M9，阿維塔11/12，智界S7享界S9（預計），后續有更多品牌與車型加入華為歷代ADS智駕方案特性目 錄Part 01發展背景：汽車智能化正加速普及P02Part

38、02創新思路：端到端自動駕駛的價值P09Part 03廠商實踐：技術路線的選擇與踐行P18Part 04未來展望：端到端的挑戰與未來式P26算力、數據與可解釋性，是端到端模型上車的主要挑戰。p盡管端到端架構相較于傳統的模塊化自動駕駛展現出了諸多優勢，并且吸引了眾多汽車制造商、科技公司以及其他自動駕駛領域的企業參與，端到端自動駕駛在落地和商業化方面仍然面臨諸多挑戰。p構建所需的強大算力、獲取用于模型訓練的高質量海量數據，以及端到端大模型的“不透明性”和“解釋性不足”，都是制約產品性能提升和安全保障的關鍵問題，需要行業各方共同努力，攜手解決。2弱解釋性問題3優質大規模數據1巨額投入成本與大語言模型

39、剛問世時類似，端到端的訓練方式讓模型不可避免地存在不可解釋性自動駕駛的“失效成本”很高，強調安全底線，需要設置額外的完全邊界做冗余大模型需要大數據，本質上來講，端到端自動駕駛是海量駕駛視頻片段的學習（壓縮與升華）需要極大規模的高質量數據，采集、清洗、篩選都是難點大模型需要大算力，需要廠商不斷提升GPU的采購規模，這意味著端到端模型的訓練成本非常高昂AI廠商均在算力層面的投入，但國內GPU的限制仍是挑戰4技術路線不確定5缺乏驗證方法6團隊組織變革7系統的安全性保障算力儲備需要大量投入，這是國內廠商追上特斯拉需要翻越的壁壘。p端到端自動駕駛大模型本質上是從大量的優質駕駛視頻片段中提取和壓縮駕駛知識

40、與習慣的過程，這與ChatGPT等生成式大語言模型類似，都需要強大的算力和海量數據來支撐模型的訓練。p近年來，國內主流汽車企業和新興造車勢力都在加快算力儲備的建設，以滿足自動駕駛模型的訓練需求。與特斯拉相比，當前國內廠商的算力水平還有明顯差距。在美國GPU出口限制的背景下，要達到國際一流的算力儲備，國內還有很長的路要走。廠商類型廠商名稱智算中心建設算力水平車企特斯拉Dojo智算中心100000 PFLOPS長安長安智算中心1420 PFLOPS吉利星睿智算中心810 PFLOPS理想理想智算中心1200 PFLOPS小鵬“扶搖”智算中心600 PFLOPS蔚來蔚來智算中心-科技公司/供應商商湯

41、絕影商湯智算中心12000 PFLOPS華為車BU云智算中心3500 PFLOPS毫末智行“雪湖綠洲”智算中心670 PFLOPS消費者軟件付費意識仍未形成，自動駕駛商業閉環還未跑通。p在汽車行業日益激烈的“內卷”競爭中，消費者在購車時面臨一種內在的矛盾現象：盡管對汽車的“智能化”和自動駕駛功能的興趣與期望在上升，但他們的支付意愿和金額卻普遍呈現下降趨勢。pAI在一定程度上確實重新定義了汽車，但似乎并未為乘用車行業的商業模式帶來預期中的新增市場：訂閱服務模式尚未實現規?；占?，自動駕駛功能反而成為汽車制造商為了改善駕駛體驗和提升產品品質而不得不承擔的“硬成本”。75%60%76%76%64%7

42、7%高速NOA城區NOA自動泊車20222023圖：消費者對自動駕駛功能的興趣有所提升，但額外付費的意愿下降明顯44%42%45%46%36%28%44%43%全國范圍一線城市二線城市三線城市20222023-2%-10%+2%-8%+25%-1%-18%-8%-10%-21%-11%一次性購買選裝包按年訂閱按月訂閱百公里費用高速公路/城市高架城區道路自動泊車圖：相比前一年，消費者愿意為自動駕駛功能付費的金額有所下降（2023 vs 2022）諸多優勢不足以確保端到端模型能成為自動駕駛終局方案。p目前，自動駕駛領域對于“端到端”這一概念的理解尚未統一，技術路線和系統架構方面存在不同的觀點，比如

43、模塊化聯合端到端、One Model端到端、以及基于LLM/世界模型的端到端等方法。p端到端的自動駕駛路線仍處于發展初期，除了特斯拉之外，還未有其他廠商能夠實現端到端自動駕駛的量產。各個廠商所采用的技術路線尚未經過市場的充分驗證，行業內也缺乏可供借鑒的成功實踐案例。29%50%21%2年內2-5年5年以上端到端自動駕駛落地時間預測46%4%50%是終局方案是過渡方案眾多方案之一端到端是否是自動駕駛技術終局25%46%29%頭部公司保持優勢可能產生新巨頭不確定端到端對行業帶來的影響圖：業內專家對端到端路線持有信心，但對其未來的發展方向仍然有分歧大模型只是通往AGI的路徑之一需要兜底機制以確保汽車行駛安全概率模型不代表類人的思維能力端到端或是自動駕駛終局的組成部分北京甲子光年科技服務有限公司是一家科技智庫，包含智庫、媒體、社群、企業服務版塊，立足于中國科技創新前沿陣地，動態跟蹤頭部科技企業發展和傳統產業技術升級案例，致力于推動人工智能、大數據、物聯網、云計算、AR/VR交互技術、信息安全、金融科技、大健康等科技創新在產業之中的應用與落地智庫院長宋濤微信stgg_6406分析師翟惠宇微信zhaihy1203掃碼聯系商務合作關注甲子光年公眾號商業合作負責人李勝馳手機&微信18600783813