8、HDC+2022+多模態融合感知能力讓設備更加智能-public.pdf

1、多模態融合感知能力讓設備更加智能系統形成意圖選擇交互設備執行交互任務多設備場景單設備場景輸入人主動輸出反饋表達交互模態如何自然的選擇交互設備？如何自然的選擇交互設備？如何自然的響應交互模態？如何自然的響應交互模態？如何自然的進行業務流轉？如何自然的進行業務流轉？HarmonyOS系統需要構建的用戶自然行為識別能力:用戶自然行為中朝向意圖識別能力。用戶自然行為中靠近意圖識別能力。語音和體態意圖識別能力。語音+其它模態融合識別能力。不同模態業務流轉意圖表達機制設計。自然交互對感知的訴求：人因分析自然交互對感知的訴求：人因分析用戶與系統交互典型交互鏈路設備與設備間的相對位置設備與設備間的相對位置關系

2、關系人與設備間的相對位置人與設備間的相對位置關系關系 遠近關系 朝向關系 左右關系 遠近關系 朝向關系 左右關系單設備難以完成感知任務自然交互對感知的訴求自然交互對感知的訴求1 1感知是多設備協同的感知技術成本精度感知范圍部署現狀IMU 超聲波 紅外 BR/BLE UWB 毫米波 RFID Wi-Fi CV Lidar 自然交互對感知的訴求2感知是多模態融合的單一模態感知能力存在約束系統層應用層MSDP融合感知子系統應用業務邏輯處理感知服務開放接口（SAS API）軟總線通道多客戶端管理安全隱私管控在位方位距離朝向南向標準算法接口（SAI Interface）離車音隨人動PC-PAD協同分布式

3、Modem朝向識別業務調度適配層跨設備信令單元外部通信通道數據通道管理跨設備通道管理設備上下線設備選舉感知能力管理拓撲管理接口已開源暫未開源融合感知框架融合感知框架支持多模態融合支持多設備感知能力協同支持業務多端對稱訂閱支持超聲波、藍牙等多模態數據融合支持IMU動靜檢測，作為方位感知、測距等能力觸發條件支持不同感知能力接續融合感知框架滿足以上要求支持多設備協同支持多模式融合支持多能力接續7 手機與智慧屏協同感知，使能招一招識別 手機端IMU檢測招一招動作，上報招一招事件 招一招事件觸發播控業務卡片啟動示例示例1 1：智慧屏招一招，帶來智慧交互新體驗：智慧屏招一招，帶來智慧交互新體驗8示例示例2

4、 2：車機音隨人動，解決用戶隱私痛點：車機音隨人動，解決用戶隱私痛點 手機與車機協同，使能車內外識別 車機基于車輛事件，觸發車內外識別 手機使用車內外事件，切換音頻輸出設備10支持業務接續調用多設備不同感知能力快捷接入，賦能生態系統層應用層MSDP融合感知子系統應用業務邏輯處理感知服務開放接口（SAS API）軟總線通道多客戶端管理安全隱私管控在位方位距離朝向南向標準算法接口（SAI Interface）離車音隨人動PC-PAD協同分布式Modem朝向識別業務調度適配層跨設備信令單元外部通信通道數據通道管理跨設備通道管理設備上下線設備選舉感知能力管理拓撲管理接口已開源暫未開源支持不同感知能力的

5、空間事件接口算法接口：支持感知原子算法替換import spatialAwareness from ohos.spatialAwareness;nearby()this.mode=MODE_DEVICE_NEARBY;this.spatialObj.on(this.mode,this.deviceInfo,(data)=this.NearArea=nearby=+JSON.stringify(this.spatialObj.data););11接入代碼示例：能力訂閱接入代碼示例：能力訂閱namespace OHOS namespace Msdp class MsdpAlgorithmInter

6、face public:MsdpAlgorithmInterface()=default;virtual MsdpAlgorithmInterface()=default;class SpatialCallback public:SpatialCallback()=default;virtual SpatialCallback()=default;virtual void OnResult(const SpatialEvent&event)=0;virtual bool Subscribe(const DeviceInfo¢er,const std:vector&around,cons

7、t std:shared_ptr&callback,const std:vector&typeList)=0;virtual bool Unsubscribe(const DeviceInfo¢er,const std:vector&around,const std:shared_ptr&callback,const std:vector&typeList)=0;virtual AlgorithmLibraryCapability GetAlgorithmLibraryCapability()=0;/namespace Msdp/namespace OHOS12接入代碼示例：南向算法替換接入代碼示例：南向算法替換應用接入復用多模態融合感知能力賦能生態賦能生態多模態融合感知能力，提供靠近、朝向等具有自然交互語義的觸發時機。助力應用及設備，實現跨端遷移，多端協同，跨端操作，平臺聯動，跨設備控制等自然交互體驗。設備接入自定義硬件設備相關感知原子算法下一步規劃下一步規劃業務調整適配層業務調整適配層不同業務，需要組合使用原子算法能力。業務適配層，可以組合觸發不同的算法，為定制化業務提供更大的自由度。算法逐步開源算法逐步開源目前框架已經開源，示例性算法逐步開源中。謝謝