劉壽永-智能操作系統助力產業升級的探索與實踐-劉壽永.pdf

《劉壽永-智能操作系統助力產業升級的探索與實踐-劉壽永.pdf》由會員分享，可在線閱讀，更多相關《劉壽永-智能操作系統助力產業升級的探索與實踐-劉壽永.pdf（44頁珍藏版）》請在三個皮匠報告上搜索。

1、智能操作系統助力產業升級的探索與實踐劉壽永/中科創達2023.312中科創達概覽智能系統技術提供商2015年深圳創業板上市中企500強13,000+員工90%工程師1000+專利服務1000+全球客戶全球 40+城市基本情況智能業務1.智能系統2.智能物聯3.智能汽車4.AI&視覺技術體系 終端：BSP、操作系統內核、驅動、框架、協議棧、多媒體、應用、工具和安全技術 邊緣：微服務，容器.云端：遠程升級、設備管理.合作伙伴研發&技術支持中心北京 上海 深圳 成都 南京 青島 杭州 重慶 無錫 武漢 沈陽 大連 天津 臺灣美國 日本 韓國 印度 馬來西亞 芬蘭 保加利亞 加拿大 德國 烏克蘭核心業

2、務技術產品全球布局智能視覺優化、調校、ISP、視覺算法、深度相機、多相機陣列、3A算法、全景拼接、HDR等。IoT模塊AI模型設計、算法優化、數據管理、模型訓練、數據標注、性能評估等。人工智能系統安全TEE、系統認證、數據加密、系統固化、加密通話、系統隔離、偽基站識別、安全手機等。3全球化布局2015年IPO13000+員工90%工程師42城市1200+專利等知識產權1000+客戶中國北京天津沈陽大連青島西安武漢上海成都重慶無錫東莞廣州深圳香港臺北韓國首爾日本東京名古屋馬來西亞檳城新加坡印度海得拉巴班加羅爾烏克蘭基輔羅馬尼亞布加勒斯特加拿大多倫多美國硅谷圣迭戈底特律杭州長春合肥揚州南京蘇州惠州

3、越南河內德國烏爾姆芬蘭赫爾辛基保加利亞索菲亞普羅夫迪夫波蘭克拉科夫為客戶與合作伙伴增值 為智能終端賦能芯片&平臺賦能業務核心技術FOTAMDM云手機IoT HarborModel Farm大數據智能視覺智能語音智能多媒體UI引擎安全連接芯片OS&云平臺云 Cloud智能構件操作系統 OS核心計算模塊 SOM智能終端智能物聯網智能汽車智能行業4現代操作系統5操作系統的歷史操作系統應用領域核心技術分時共享C等高級編程語言管道技術成功因素個人PC用戶交互GUIOffice應用通用計算KISS-Everything is fileUNIX Tech.GNU因特網服務器開源軟件多點觸控應用商店移動互聯網

4、用戶體驗IoT OS自然，擬人化交互云邊端融合AI+IoT開放和協作70s 小型機680s 個人電腦90s PC服務器10s 智能手機20s 智能物聯網這些是操作系統么？7這些是操作系統么？CTyunOSCULinuxBC-LinuxCCAI8現代操作系統的演進2008201020142016操作系統統式操作系統頭的智能操作系統2019作系統Millos 智能本OSQRD智能手機 OS創達無人機OSTurboX 嵌入式OS智能駕駛艙OS智能物聯網OS面向智能本和MID的面向智能手機的操作系 面向無人機的嵌入面向VR,機器人，攝像面向智能汽車的操面向人工智能和邊16緣計算的操作系統20209操作

5、系統的生命周期：Living&Dead17the LivingIn Betweenthe DeadHarmony OSand More Linux Zephyr ProjectGoogle Android-ThingsAmazon FreeRTOSContikiRIOTTinyOSOpenWSNWindRiver VxWorksLiteOS(Huawei)Windows IoT CoreNucleus RTOSGreen Hills IntegritySamsungs TizenMicrium C/OS-IILynxOS RTOSTI-RTOSRTEMSMicrosoft ThreadXGoo

6、gle fuchsia OS10操作系統成功的關鍵要素11時機要剛好團隊要靠譜系統要開放商業模式要健康資金要充足技術要先進類別操作系統時機團隊商業模式開放性資金技術評分服務器操作系統Unix9680896.8Windows8990877.1Linux Server910810778.8桌面操作系統Windows9990787.4MacOS9780786.8Linux Desktop65510466.1紅旗Linux5657465.5統信Linux8657556.4麒麟Linux7657646.1移動操作系統安卓99951078.3iOS109901098.1Windows Phone58801

7、055.8Aliyun OS5673855.5Firefox OS6677576.3IoT操作系統鴻蒙OS9773987.3Fuchsia9665777.0ThunderOS9677567.1新一代IoT OS98910788.7權重30%20%15%15%10%10%100%這個是不是操作系統？12現代操作系統關注領域實時內核RT_PREMPT,Xenomai RTOS虛擬機Xen,ACRN,KVM雙框架Android over Linux,Linux over Android微內核L4RE,QNX3D引擎Kanzi,Unreal邊緣EdgeX,Smart Edge安全TEE，功能安全新體系

8、架構RISC-V,Chiplet新開發框架WebAssembly,Rust,Fultter13硬件虛擬化2614主要模塊DomainManagerGuest OS的創建/生命周期管理文件系統管理DomainEngine設備資源控制與管理OS間通信服務代理(少量必須運行在HostOS的Service，比如TZ/Tele/Audio涉及的部分服務)系統虛擬化27主要功能雙OS網絡隔離雙OS文件系統架構雙OS顯示系統雙OS電話系統雙OS認證切換雙OS開關機流程雙OS功耗管理雙OS異系統通知網絡虛擬文件系統虛擬15標準化設備接口定義標準的設備能力描述文件代替傳統設備驅動程序與通信接口，形成統一的設備接

9、入標準。多協議設備接入屏蔽設備差異，實現不同設備接入，可以兼容不同的協議，兼容不同廠商的設備，支持顯示設備、攝像設備、音頻設備、及傳感器設備等。硬件能力形成虛擬化資源池，實現不同設備之間的硬件能力共享。針對不同類型的任務，為用戶匹配并選擇能力合適的執行硬件，讓業務連續地在不同設備間流轉，充分發揮不同設備的能力優勢，如顯示能力、攝像能力、音頻能力、交互能力以及傳感器能力等。設備虛擬化技術16H5應用引擎基于H5開放標準高效混合渲染引擎跨平臺支持支持IoT和移動終端基于容器的AI軟件模塊應用和服務都以容器的方式打包使用不同的容器同時運行Linux和Android應用使用應用商店進行應用和模塊管理豐

10、富的AI模塊人臉識別，物體識別，語音識別，手勢識別，文字識別，動物識別，等等.Low Code 編程環境17分布式操作系統18新型物聯網操作系統19操作系統的發展方向20車和家的分布式操作系統場景芯片平臺用戶硬件OS算食材存儲、食材購買功能實現差異化能力對上支撐場景對下支撐硬件計算能力：每秒可做多少次計平臺PC用戶PC游戲OfficeIntelAMD金融桌面任務欄文件管理WindowsMacOS臺式機筆記本一體機平臺移動用戶手機社交高通MTK購物游戲定位服務影音服務郵件服務AndroidiOS手機Pad平臺智能家電用戶智能家電APP控制AndroidFreeRTOS高通MTK語音控制回家場景A

11、IIoT大數據冰箱洗衣機洗碗機智能車平臺智能車用戶智能導航養車寶高通博世AI大數據傳感自動駕駛QNXLinuxWinCE智能車智能車機21分布式應用場景22為什么需要分布式？有一些應用是天然分布式的PCDN、區塊鏈、網銀有需要協同工作的場景戰場，PC訪問手機應用，單節點算力擴展科學計算、超融合計算提高系統可靠性智能汽車、容錯系統隱私保護攝像頭、樓宇提高實時性生產線，機器人控制降低成本云計算的費用問題23構建自主可控生態體系國產化改造24分布式系統面臨的挑戰系統復雜異構系統多種應用開發環境多種硬件平臺多種操作系統平臺連接多樣延遲失效網絡、硬件、軟件等失效數據一致性25云原生操作系統它們都是定義了

12、開放的、標準化的訪問接口，向下封裝資源，向上支持應用都提供了對底層計算、存儲、網絡、異構計算設備的資源 抽象和安全訪問模型，可以 根據應用需求調度和編排資 源Linux的計算調度單元是進程，調度范圍限制在一臺計算節點上而Kubernetes的調度單位是Pod，調度范圍是在分布式集群中26面向整車架構，支持SOA的智能汽車系統架構IaaS（設施即服務）非安全域中間件虛擬化和硬件抽象層計算平臺（SA8155P等高性能處理器）數據通信鏈路和電源（CAN、TSN等）即插即用的傳感器，外設和執行器（攝像頭、音響等）操作系統（QNX、Linux、Android、Integrity、RTOS、鴻蒙等）安全域

13、中間件強大的計算平臺易組網的通信網絡即插即用的硬件硬件抽象和標準接口帶動態分區的安全操作系統可注冊的服務面向服務的應用（SOA）地圖與導航多媒體流媒體UI引擎跨系統通信側向防撞算法傳感器融合PaaS（平臺即服務）SaaS（軟件即服務）非安全域應用安全域應用設備管理器HMI管理器座艙交互體驗應用生態ADAS/AD車廠相關應用PaaS（云平臺即服務）安全和升級設備軟件應用數據賬號通信遠程管理管理管理管理管理管理服務安全和升級地圖和導航能力語音語言能力視覺AI能力賬號體系汽車金融服務服務應用匯聚出行應用服務云端融合應用云端基礎能力云端管理組件27OSWare打造分布式操作系統28OSWare要解決的

14、問題面向服務的架構從云計算架構下沉到邊緣，終端設備分布式的計算網絡智能的系統總線（OpenHarmony）面向功能的編程模式（Dora)統一的應用程序接口(DAPR,Webassembly,iSula)統一的AI接口(CCAI,Model Farm)統一設備管理接口(EdgeX,IoT Harbor)統一高效的消息總線(Zenoh)統一的多媒體接口(AI Runner)統一的自然交互（Minime)IoT Turnkey的思維(QRD Turnkey)29OSWare 系統架構Intel/ARM/RISC-VSmart Devices(SoMs,Edge Box,Minime Robot,et

15、c.)OS Kernel（Linux,Android,RTOS,FreeRTOS)osware.connectosware.multimediaosware.appengosware.securityosware.orchestrationosware.edgeyosware.aiosware.robotosware.industryosware.buildingosware.retailOpen IoT APIOSWare BaseOSServiceOSWare Vertical Service ServiceTools&SolutionsAPIosware.cloudSmart Indus

16、trySmart PartSmart TransportationSmart RetailSmart HomeToolsHardwareOSWareApplication ServiceRuntime(system services/libraries)SNPEOpenVINOk8s/k3sKubeedge/karmadaAIRunnerAudio/Video ProcessingH5/WASMDAPRCloud AgentFOTA/DMHomeAssistentEdgeXTEESE-CertificationKanzi ConnectDevice DiscoveryDevice Manage

17、ment(IoT Harbor)Model Management(Model Farm)OSWareConnectROS/AVPRobot ManagementDefect InspectionSoft PLCFace RecognitionVIP ManagementPeople CountingMulti-camera30硬件產品-家庭智能主機31項目項目配置信息配置信息CPUIntel Celeron J4125內存8GB DDR4內置容量8GB存儲容量24TB項目項目配置信息配置信息CPURK3568內存4GB DDR4內置容量8GB存儲容量12TB標準版發燒版2021.12.6概念設

18、計2021.2.28設計完成2022.5.16手板樣機2022.6.13軟硬件 版本現在相冊相冊：攝像頭自動將美好的照片和視頻記錄到HomeBrain，智能分類，快速查找家庭社交和共享家庭社交和共享：多個家庭之間的分享家庭網盤家庭網盤：提供家庭本地網盤的數據存儲功能，海量，高速，安全，可靠。應用商店應用商店：用開放應用，享受萬千服務個人私有云個人私有云智能家庭中心智能家庭中心個人數字助理個人數字助理個人數據管理、數字內容分享家庭相冊、家庭智能應用、AIoT服務數字證件、個人消費行為數據軟件產品 OSWare智能物聯網操作系統32OSWare.應用服務OSWare 服務 APIOSWare系統服

19、務系統服務AI服務流媒體服務應用引擎Kanzi OneOSWare.連接分布式設備總線多屏互動多模態融合DDM設備發現與設備管理OSWare.編排與調度服務管理資源抽象設備集群管理容器管理應用服務應用服務基礎系統層家庭智能主機智能攝像頭智能應用智能應用面向家居類計算存儲領域，通過OSWare基礎系統層、系統服務層和應用服務層，支持傳統應用和智能分布式應用。智能零售智能機器人智能樓宇軟件產品-IoT Harbor平臺智能邊緣管理云平臺 IoT Harbor，是一個集成了設備接入和管理、應用管理、FOTA升級、規則引擎、數據可視化、視頻上云等能力的一體化云平臺，提供算法應用遠程部署和云邊協同服務，

20、實現設備快速上云，賦能行業智能化升級。設 備 管 理設 備 管 理智 能 業 務 艙智 能 業 務 艙組 件 管 理組 件 管 理應 用 管 理應 用 管 理告 警 中 心告 警 中 心規 則 引 擎規 則 引 擎33軟件產品-Model Farm產品Model Farm是一個為用戶提供數據、訓練、部署、持續優化的全流程服務的平臺，用于加速AI算法的落地。Model Farm算法服務標注服務數據服務Object DetectionSegmentationClassificationLandmark Locating訓練服務Pretrain ModelQuantized TrainingMode

21、l DistillationDomain AdaptiveModel Online Self-cureModel ConversionTraining ConfigurationCross ValidationVisualization ServiceLabeling DashboardQuality ControlData StatisticsTeamwork ServiceManufacturingHome/BuildingTransportation ConferencingEdge&Cloud34關鍵技術OSware:EdgeY 高度靈活和可擴展的框架 邊緣設備和應用程序之間的互操作性

22、 端側傳感器（即“物”）收集數據 向應用和云服務發送和接收數據的雙轉換引擎 即插即用組件生態系統，統一了市場，加快了物聯網解決方案的部署OSware:AI Engine 分布式部署 管理和擴展AI應用程序的框架 專為人工智能構建 人工智能生命周期管理 優化的部署和詳細的監控功能 交鑰匙解決方案OSware:Connect 一個可以編寫互操作性應用程序框架 設備和應用程序能夠輕松發現并相互通信 無需考慮制造商、操作系統、物理網絡和云服務結構OSware:Orchestration 一種高度可用的編排設計 用于無人值守、資源受限、遠程位置或程序內部的工作負載 它自動化了這些應用程序的維護 支持自動

23、更換發生故障的容器 并管理這些容器在其生命周期中的更新和重新配置IoT Harbor 輕松安全地大規模載入、組織、監控和遠程管理 IoT 設備 可單獨或批量注冊連接的設備 輕松地管理權限，以便設備保持安全。組織設備，監控設備功能并排除問題 查詢隊列中任何 IoT 設備的狀態 通過無線方式(OTA)發送固件更新ModelFarm 面向非人工智能專業的開發者 快速構建、數據標記、訓練和部署機器學習模型 降低了機器學習的復雜度，提供工具集,以更低的成本、更輕松地在更短的時間內將模型投入生OSware:App Marketplace 數千個中間件、算法、應用程序和服務。與開發者社區和軟件供應商緊密合作

24、，確保無縫運行 可以快速地找到、輕松地試用、可靠地部署 幫助設備廠商和集成商快速構建端到端解決方案OSware:App Engine 端側集群中H5應用程序的運行時 提供API、SDK和完整文檔 幫助開發人員訪問邊緣資源 幫助開發人員縮短上市時間35智能操作系統的應用實踐36創達的一些實踐智能座艙解決方案虛擬助手骨骼動畫形象、全場景聯動場景升級，打造“相識”，“相知”，“相伴”，暖心人格化的移動空間專屬伙伴后排娛樂引入雙RSE屏幕，提供多藍牙聯機游戲，在線影音娛樂，在線會議，深入解決用戶娛樂、工作、生活等需求，打造專屬第三出行生活空間Kanzi for AndroidKanzi高質輕量3D渲染

25、升級，實現真正電影級效果；海量皮膚主題快速匹配，提供酷炫科技感的視覺體驗多屏聯動引入豐富多屏聯動功能。支持多輸入法、應用多開、多藍牙連接、多屏獨立音區，多屏圖像分享，打造相對獨立并渾然一體的中控及后座娛樂全場景視覺SmartDrive算法/UI引擎雙升級，提供環向視覺AVM，艙外視覺流媒體后視鏡艙內視覺FaceID/DMS/OMS，前向視覺Smart DVR等智能座艙全場景解決方案手機互聯提供CP,AA,CL,Hicar和Carlink智能座艙一站式投屏解決方案。其中作為智慧車聯開發聯盟ICCOA常務理事，業內重磅首度集成“OV米”主導的CarLink互聯解決方案37創達的一些實踐基于SOA的

26、車云一體的智能網聯全棧方案業務系統高性能計算平臺高性能計算平臺高性能計算平臺高性能計算平臺中間件 軟總線 DevicewareSOA開發工具鏈硬件平臺HWServiceAppServiceAppServiceAppServiceApp整車驗證整車測試模擬仿真服務驗證模型驗證需求分析功能定義服務定義用例設計場景設計模型設計服務網關技術中臺數據中臺業務中臺服務開發模型開發場景開發服務部署服務設計服務設計服務開發服務部署服務監控仿真測試開發者平臺開發者平臺場景引擎38創達的一些實踐Scenraio ID:001Scenario Description:Rain ModeTrigger：RLS/Rai

27、ningActions:Wiper/ON ANDSunRoof/Close ANDWindow/Close場景引擎能力中臺服務&數據 同步場景下發樣例：可視化管理平臺云端場景下發場景倉庫Service1Service2Service3Device1Device23rd Party 智能場景引擎車端AP中間件：DevicewareDeviceware 中間件智能場景引擎智能場景引擎技術架構39創達的一些實踐 智慧樓宇TurboX EB5Device Mgt.AlarmEngineMapEngineModelFarmBuilding AutomationTurboX SDCTurboXFacial

28、 PanelSensorsDesk SensorSmart Door lockMicrowave SensorIOT Harbor架構圖子系統空間管理能源管理設備管理安全管理出入管理會議室管理智慧停車管理智能電梯管理智能電燈管理KNXBACnet優質保障使用精挑細選的智能設備和AI算法成本節約通過AI調整降低能源消耗和碳排放水平用戶體驗終端用戶可以感知和互動按需配置減少一次性投入高可擴展可持續集成優勢BMSSmart DeviceSmart Building Soft-BusFor operatorFor office workerModbus方案PHYSICALComponent of Sm

29、art BuildingADIGITALWill be an Important PillarUse CasesCustomized to Individual PreferenceHVACBLightingCSensorD Physical Access ControlEGatewaysFEnergy MetersG Digital AutomationHCloud StorageIIoT PlatformRoboticsFacial recognitionBiometric accessControl softwareCyber securityMultifactor authentica

30、tionArtificial intelligenceWi-FiData collection and analysisMachine learningJ Virtual assistantKRoom reservationLUsage-based maintenanceM Location awarenessNSmart parking40創達的一些實踐 工業質檢-產品系列涵蓋95%以上的工業應用-基于深度學習和傳統計算機視覺的高準確性、高速檢測平臺-通過自動化的數據清洗可以大幅降低人工成本，滾動的數據清洗可以快速提升訓練樣本的準確性CloudCloud+EdgeEdgeCV+AIAI In

31、spectionLocalization（2D/3D）MeasurementRecognitionAI Based Industrial image analysis software platformCameraOpticSensorhuman-computerinteractionEquipment interactionBig DataCamera LinkGigEUSBControllerControllerHDMIVGACANopenAPI軟硬一體檢測設備為客戶提供產品樣本圖像獲取方案設計為客戶提供一整套檢測設備的運營維護服務為客戶提供復雜場景下的模型再訓練和調優服務軟件授權為客戶提

32、供標品外的定制化開發服務定制化光學設計運營維護測試產品模型替換為自動化水平低的客戶工廠提供整套檢測設備為客戶提供缺陷檢測軟件（訓練版本、推理版本）主要特點架構圖服務工業質檢解決方案能幫助客戶實現3-5個月快速上線，達到提高產品良率、提升人員效率、加快檢測速率的目標，助力客戶實現從傳統制造到智能制造的成功轉型。41創達的一些實踐 車聯網應用AI AlgorithmsRadarVideo FusionVehicle IdentificationLicense Plat RecognitionVehicle Speed IdentificationEdge BoxDevice Mgmt.Algori

33、thm Mgmt.CloudRoadside MonitoringEB6EB6EB6EB6方案面向系統集成商提供硬件（EB6）和軟件（算法和設備管理平臺）一體的解決方案，通過在EB6上運行不同算法來分析汽車類型，車牌號，行駛位置，速度，加速度，行駛方向等信息，并提供綠波，轉向指引，交通事故預警等信息，以此提升交通安全和運營效率拓撲圖RadarCamera（West）RadarCamera（East）RadarCamera（North）RadarCamera（South）RoadV2X Cloud ServerDevice Mgmt.Algorithm Application Mgmt.Holographic Intersection DisplayRoadside MonitoringSwitchEdge BoxRSU42一些觀點應用是操作系統存在的唯一理由計算會逐步集中，以邊緣為中心，實現端邊云一體家庭會成為未來的計算中心操作系統的核心問題是交互問題云計算是最領先的操作系統架構智能汽車是端側操作系統的最強大的驅動力開放的設備連接是健康生態的基礎43謝謝8610-