Nullmax對構建自動駕駛中間件的一些探索-白和軍的副本.pdf

1、紐勱對構建自動駕駛中間件的一些探索白和軍紐勱科技 系統工程師公司介紹2016年底，Nullmax創立于美國硅谷，2017年初在上海設立總部公司。是一家專注于自動駕駛領域的科技公司，致力于應用最先進的計算機視覺、深度學習和人工智能等技術為世界提供安全、高效、經濟的自動駕駛解決方案。公司自16年成立以來相繼開發完成部分高速、低速和城市場景的自動駕駛功能。目前有多個OEM量產項目在同步開發，預計2023年會相繼落地。業內一些主流的方案紐勱的一些嘗試未來的一些機遇和挑戰為什么需要自動駕駛中間件一為什么需要中間件一為什么需要中間件降低代碼的耦合性，提高代碼的復用率，為軟件開發者快速高效的開發應用保駕護航

2、自動駕駛系統自動駕駛系統VehicleGPS+RTKIMURadarHDMapLaserCameraUltrasoundv2x傳感器目標跟蹤和預測目標識別與融合定位和姿態估計車道線檢測車輛自身狀態路徑規劃行為規劃軌跡規劃橫向控制縱向控制HMI平臺監控故障診斷工具鏈時間同步人機交互日志追溯感知系統決策系統控制系統輔助系統解耦感知規劃控制操作系統+平臺SDK硬件資源傳感器感知規劃控制操作系統+平臺SDK硬件資源傳感器中間件賦能開發者拒絕重復代碼的開發簡易部署分析工具統一和簡化調用接口調試工具無感目標平臺的編譯支持插拔式集成中間件作用小結降低重復功能模塊的開發維護成本收斂系統bug,提高系統穩定性降

3、低應用開發難度復用屏蔽底層硬件和os的差異降低軟件模塊之間的依賴，提高開發效率提高上層應用的可移植性解耦支持插拔式組裝應用，應用開發低代碼化可配置二二.業內主流的一些方案業內主流的一些方案自動駕駛軟件供應商Apollo計算平臺供應商Driveworks汽車電子行業AUTOSARAdaptive AUTOSAR機器人行業Ros/Ros2(Autoware,Apex.os)智能駕駛中間件ROSROS2AUTOSARAdaptive AUTOSARDriveWorksApollo小結中間件中間件供應商所在領域供應商所在領域優點優點缺點缺點Ros/Ros2機器人行業基礎的功能模塊豐富工具和開發文檔豐富

4、方便快速搭建方案原型平臺適配性不夠實時性不夠汽車行業的基礎功能服務支持不夠功能安全和信息安全等方面考慮不足AUTOSAR/Adaptive AUTOSAR汽車行業標準體系完善,對信息安全和功能安全有較多考慮價格昂貴自動駕駛相關基礎功能模塊不夠豐富類似中的輔助工具不夠豐富DriveWorks計算平臺供應商針對自己的硬件平臺給出很好的優化跨平臺存在問題Apollo自動駕駛軟件供應商提供了一整套自動駕駛功能相關的基礎算法可以使用整合了rtos提高了系統的實時性目前看到支持的平臺不夠豐富汽車行業的基礎功能服務支持不夠功能安全和信息安全等方面考慮不足三三.紐勱紐勱的一些嘗試的一些嘗試MAXOS需求來源M

5、AXOS開發部署協作流程MAXOS系統架構MAXOS需求來源算法工程師算法優化需求系統工程師MAXOS應用工程師基礎庫需求基礎服務需求客戶/自驅需求：計算平臺傳感器功能工具需求開發和部署協作流程MaxOS 發布包應用部署包應用開發功能開發目標嵌入式平臺模塊發布包應用配置包包管理倉庫系統開發MaxOS開發包MaxOS部署包ToolsToolsApplicationApplicationBinBinModuleModuleMAXOSMAXOSMAXOS系統架構HWPAVPvisualplanningcontrol.executemanageupdatemanageOS(virtual)machin

6、e/container/hardwareOSISDK+compilerdatastructuresystemlibrarySDKabstractinterfacealgorithmslibrarycommunication+protocoldiagnosistimesynchronizationmoduleloaderdatacollectionplatformmonitoring.binlibraryruntimeRecordingvisualizationReplayAnalysisCalibrationsimulationvisualizationPackageToolsToolsApp

7、licationApplicationBinaryBinaryModuleModuleMAXOSMAXOS跨平臺遷移HWPAVPvisualplanningcontrol.executemanageupdatemanageOS(virtual)machine/container/hardwareOSISDK+compilerdatastructuresystemlibrarySDKabstractinterfacealgorithmslibrarycommunication+protocoldiagnosistimesynchronizationmoduleloaderdatacollecti

8、onplatformmonitoring.RecordingvisualizationReplayAnalysisCalibrationsimulationvisualizationPackageToolsToolsApplicationApplicationBinaryBinaryModuleModuleMAXOSMAXOS公共代碼庫的復用HWPAVPvisualplanningcontrol.executemanageupdatemanageOS(virtual)machine/container/hardwareOSISDK+compilerdatastructuresystemlibr

9、arySDKabstractinterfacealgorithmslibrarycommunication+protocoldiagnosistimesynchronizationmoduleloaderdatacollectionplatformmonitoring.RecordingvisualizationReplayAnalysisCalibrationsimulationvisualizationPackageToolsToolsApplicationApplicationBinaryBinaryModuleModuleMAXOSMAXOS執行管理HWPAVPvisualplanni

10、ngcontrol.executemanageupdatemanageOS(virtual)machine/container/hardwareOSISDK+compilerdatastructuresystemlibrarySDKabstractinterfacealgorithmslibrarycommunication+protocoldiagnosistimesynchronizationmoduleloaderdatacollectionplatformmonitoring.RecordingvisualizationReplayAnalysisCalibrationsimulati

11、onvisualizationPackage執行管理嵌入式計算平臺底層操作系統執行管理平臺配置系統服務加載應用服務加載上電啟動配置fork啟動應用服務進程模塊加載器forkfork應用服務模塊loadToolsToolsApplicationApplicationBinaryBinaryModuleModuleMAXOSMAXOS通訊HWPAVPvisualplanningcontrol.executemanageupdatemanageOS(virtual)machine/container/hardwareOSISDK+compilerdatastructuresystemlibraryS

12、DKabstractinterfacealgorithmslibrarycommunication+protocoldiagnosistimesynchronizationmoduleloaderdatacollectionplatformmonitoring.RecordingvisualizationReplayAnalysisCalibrationsimulationvisualizationPackagePCinTDA4A72R5FTI transportNodeNodeC66A72NodeNodeNodeNodeNodeShmShmNet一個例子NodeMemory通訊統一數據通訊接

13、口支持發布/訂閱接口支持請求/響應接口支持通訊協議綁定支持底層傳輸方式綁定支持外部通訊方式的擴展通訊方式Topic NodeTopic Nodetopic1Topic NodeTopic NodeTopic2Topic NodeServer NodeServerNodePublishSubscribeSubscribeSubscribeSubscribePublishReqRsp通訊框架UserNodeProtocolTransport接口層DDS/PPS/.接口層UserNodeProtocolTransport接口層DDS/PPS/.節點層UserNodeProtocolTransport

14、接口層DDS/PPS/.協議層UserNodeProtocolTransport接口層DDS/PPS/.傳輸層UserNodeProtocolTransport接口層DataWriter/DataReaderTCP/udp/Shm/MemoryDDS/PPS/.IO線程模型EventEventLoopLoopEventEventLoopLoopTask queueTask queuetasktasktasktaskthreadthreadpoolpooltasktask任務調度線程池中的線程調度線程池中的工作任務調度發布/訂閱方式的回調任務,請求/響應的回調任務,定時任務工作任務內部的流水線調

15、度ToolsToolsApplicationApplicationBinaryBinaryModuleModuleMAXOSMAXOS基礎服務HWPAVPvisualplanningcontrol.executemanageupdatemanageOS(virtual)machine/container/hardwareOSISDK+compilerdatastructuresystemlibrarySDKabstractinterfacealgorithmslibrarycommunication+protocoldiagnosistimesynchronizationmoduleloade

16、rdatacollectionplatformmonitoring.RecordingvisualizationReplayAnalysisCalibrationsimulationvisualizationPackageToolsToolsApplicationApplicationBinaryBinaryModuleModuleMAXOSMAXOS應用軟件包HWPAVPvisualplanningcontrol.executemanageupdatemanageOS(virtual)machine/container/hardwareOSISDK+compilerdatastructure

17、systemlibrarySDKabstractinterfacealgorithmslibrarycommunication+protocoldiagnosistimesynchronizationmoduleloaderdatacollectionplatformmonitoring.RecordingvisualizationReplayAnalysisCalibrationsimulationvisualizationPackageToolsToolsApplicationApplicationBinaryBinaryModuleModuleMAXOSMAXOS工具HWPAVPvisu

18、alplanningcontrol.executemanageupdatemanageOS(virtual)machine/container/hardwareOSISDK+compilerdatastructuresystemlibrarySDKabstractinterfacealgorithmslibrarycommunication+protocoldiagnosistimesynchronizationmoduleloaderdatacollectionplatformmonitoring.RecordingvisualizationReplayAnalysisCalibrationsimulationvisualizationPackage工具鏈需求工具鏈包管理工程創建查詢安裝部署版本切換模型轉換消息回放可視化分析標定相機標定車輛標定雷達標定性能分析延遲熱點吞吐量格式轉換格式轉換模型模型驗證模型評價數據標注四四.未來展望未來展望更加豐富的工具鏈功能安全和信息安全標準化應用服務和通訊協議