中移智庫：新型人機交互體驗演進與未來數字生活（2022年11月）（18頁）.pdf

1、新型人機交互體驗演進與未來數字生活新型人機交互體驗演進與未來數字生活20222022年年1111月月中國移動研究院中國移動研究院 用戶與市場研究所用戶與市場研究所2 2人機交互模式演進人機交互模式演進1 1人-機器交互體驗與未來數字生活2 2人-虛擬人交互體驗與未來數字生活3 33 3新技術背景下人機交互的信息感知與輸出、信息處理和交互對象正在發生變化具體變化如下：1.1.信息感知信息感知：機器已經可以感知語音、手勢等指令；2.2.信息處理信息處理：和人的決策相對應，機器開始借助人工智能技術進行信息處理和決策；3.3.信息輸出信息輸出：機器逐步普及語音輸出通道，并出現簡單的觸覺信息輸出；4.4

2、.身份識別身份識別：在人機交互的過程中對人進行身份認證；5.5.交互對象交互對象：虛擬人開始作為交互主體出現在人機交互過程中。1多種感知方式2機器決策3多通道輸出4身份認證5虛擬人交互傳統的人-機器交互流程4 4未來的人機交互主體將拓展為人-機器-虛擬人三方人與虛擬人交互人機器虛擬人未來人機間將建立起人人-機器機器-虛擬人三方互動虛擬人三方互動的交互模型。目前人與機器交互正在經歷轉變，人與虛擬人交互處于起步階段。每種交互模式均遵循信息感知-決策-信息輸出的交互流程。虛擬人虛擬人人人處理輸出感知身份認證機器機器感知處理感知處理輸出虛擬形象人與機器交互虛擬人與機器交互信息感知信息輸出信息處理信息輸

3、出信息處理信息感知身份認證人機器/虛擬人輸出輸入輸出輸入人機界面輸出5 5人-機器-虛擬人三方交互將延伸出以虛擬人和智能機器為主導的交互模式人人虛擬虛擬人人機機人與虛擬人交互人-機交互人機器虛擬人未來人機交互還將發展出虛擬人與機器、虛擬人與虛擬人、機器與機器三種交互模式。隨著機器人技術的成熟，虛擬人和機器有望在機器人身上得到融合，兩種交互對象呈現融合趨勢。虛擬人虛擬人人人處理輸出感知身份認證機器機器感知處理感知輸出人與機器交互虛擬人與機器交互機器機器人人虛擬人-虛擬人交互機-機交互處理輸出虛擬形象識別6 6以虛擬人和智能機器為主導的交互模式將在10年后逐步出現2021元宇宙元年2031以后虛擬

4、人技術成熟1980年人機交互概念提出2016年左右XR和AI技術大規模應用除正在發生變化的人與機器和剛剛萌芽的人與虛擬人交互外，虛擬人與機器、虛擬人與虛擬人、機器與機器三個交互模式將在虛擬人與機器、虛擬人與虛擬人、機器與機器三個交互模式將在未來未來1010年后逐步萌芽。年后逐步萌芽。人與機器交互傳統人機交互經歷命令和圖形用戶界面時代隨著XR和AI技術大規模應用，人與機器間呈現多通道、智能化交互趨勢人與虛擬人交互元宇宙萌芽，人與虛擬人之間開始出現簡單交互虛擬人與機器交互虛擬人具備主動交互能力虛擬人與虛擬人交互虛擬人形成規模機器與機器交互可交互機器形成規模注：技術成熟時間依據Gartner、信通院

5、等機構研究數據和研究院內部研究預判7 7人機交互模式演進1 1人人-機器交互體驗與未來數字生活機器交互體驗與未來數字生活2 2人-虛擬人交互體驗與未來數字生活3 38 8未來10年人機交互將逐步拓寬信息感知及輸出通道人輸出輸入信息感知人輸入輸出信息輸出2年以內2-5年5-10年10年以上感知技術語音識別動作捕捉人臉識別情緒感知步態識別手勢追蹤眼球追蹤肌電接口腦機接口2年以內2-5年5-10年10年以上傳感技術語音合成沉浸聲場體三維顯示生物聲傳感全息顯示氣味模擬觸覺反饋外骨骼1.1.信息感知信息感知：未來10年，語音識別、動作捕捉、肌電接口、腦機接口等技術逐步打通聽覺、視覺、生物電等機器感知通道

6、。2.2.信息輸出信息輸出：未來10年，體三維顯示、氣味模擬、生物聲傳感、觸覺反饋等技術逐步打通視覺、聽覺、嗅覺、觸覺等機器輸出通道。注：技術成熟時間依據Gartner、信通院等機構研究數據和研究院內部研究預判機器/虛擬人機器/虛擬人9 9未來5-10年人-機器交互將迎來關鍵發展節點，并從個人生活延伸到生產和服務2年以內2-5年5-10年10年以上機器感知視覺手勢+動作、表情+情緒+健康狀況聽覺語音語義+情緒同上機器輸出視覺二維圖像+三維圖像+全息圖像聽覺+自然語音+沉浸立體聲+生物聲傳感同上嗅覺氣體+氣味信號觸覺觸感+力輔助體驗場景核心體驗語音操控肢體+眼動操控聽+觸+嗅覺沉浸腦電操控典型場

7、景2C個人消費+辦公2C個人消費+家庭B+C娛樂+殘障輔助2B醫療+工業1.1.機器感知方面機器感知方面，未來5-10年間從感知外在表現轉向感知內在情緒。2.2.機器輸出方面機器輸出方面，未來5-10年間擴展出視聽嗅觸4種感知通道。3.3.應用場景方面應用場景方面，未來5-10間從個人消費等C端場景逐漸延伸到醫療和工業等B端場景。1010未來5年內動作捕捉、眼動追蹤和人臉識別等技術使個人消費等場景的設備操控方式更加多樣個人消費場景設備操控運動健身身體姿態監測頭戴式設備眼動操控AR隱形眼鏡眼動操控運動數據檢測入戶人臉解鎖2-52-5年內，眼動追蹤、動作捕捉等技術得到廣泛應用，集中體現設備操控、運

8、動健身等年內，眼動追蹤、動作捕捉等技術得到廣泛應用，集中體現設備操控、運動健身等個人消費場景下個人消費場景下。其中頭戴式顯示器、隱形眼鏡等個人設備能夠感知和識別的用戶信息越來越多，身體姿態檢測可識別的動作類型也越來越豐富。用戶在消費生活中可以使用的操控方式越來越多樣。家庭家庭安防1111未來5-10年氣味模擬、觸覺反饋、肌電接口等技術使個人娛樂等場景的體驗更加沉浸，殘障服務等場景的操控更加智能聽覺沉浸娛樂場景商業場景殘障輔助場景嗅覺沉浸商業客服義肢操控觸覺沉浸盲文顯示娛樂場景中的沉浸體驗三維視頻客服5-105-10年內，沉浸聲場、氣味模擬、觸覺反饋、肌電接口、情緒感知等技術得到廣泛應用，集中體

9、現沉浸式娛樂和殘障輔助等場年內，沉浸聲場、氣味模擬、觸覺反饋、肌電接口、情緒感知等技術得到廣泛應用，集中體現沉浸式娛樂和殘障輔助等場景下。景下。沉浸式娛樂覆蓋的感官越來越豐富，游戲沉浸感越來越強。肌電操控義肢可完成的動作越來越多，為殘疾人提供越來越智能的幫助。肌電操控義肢電子盲文顯示器121210年后腦機接口和步態識別等技術使醫療和公共服務等場景的流程更加高效醫療場景疾病識別治療和康復工業場景公共安全場景抑郁癥識別力量和運動輔助大人流識別非法入侵告警漸凍癥治療1010年后，腦機接口、步態識別、外骨骼等技術得到廣泛應用，集中體現在智慧醫療和公共安全等場景下。年后，腦機接口、步態識別、外骨骼等技術

10、得到廣泛應用，集中體現在智慧醫療和公共安全等場景下。步態識別提高了抑郁癥的診斷效率，腦機接口提高了神經類疾病治愈的可能性，醫療服務更加高效；步態識別目標人物提高了安防工作的準確率，公共服務更加高效。目標人物識別非法入侵識別勞動輔助1313人機交互模式演進1 1人-機器交互體驗與未來數字生活2 2人人-虛擬人交互體驗與未來數字生活虛擬人交互體驗與未來數字生活3 31414未來5年后人-虛擬人交互將迎來關鍵發展期，并開始在生活和生產場景下協同發展2年以內2-5年5-10年10年以上虛擬人感知視覺手勢+動作、眼動+情緒聽覺語音語義+情緒虛擬人輸出視覺二維圖像+三維圖像+全息圖像聽覺自然語音+沉浸立體

11、聲同上體驗場景核心體驗語音+手勢操控+動作、表情同步+情感交互典型場景2B金融、零售等客服2C社交+娛樂B端與C端協同發展1.1.虛擬人感知方面虛擬人感知方面，未來5-10年間從感知外在表現轉向感知內在情緒。2.2.虛擬人輸出方面虛擬人輸出方面，未來5-10年間實現三維圖像顯示。3.3.應用場景方面應用場景方面，未來5年后B端及C端場景協同發展，趨向成熟。1515未來2年內語音交互和手勢識別等技術使智慧服務等場景下的體驗更加智能服務型虛擬人（2B）虛擬客服金融場景文旅場景零售場景虛擬理財顧問虛擬導游虛擬講解員虛擬導購2 2年以內的虛擬人交互體驗以語音會話和手勢同步為主，主要體現在金融、文旅和零

12、售等場景下的虛擬客服方面年以內的虛擬人交互體驗以語音會話和手勢同步為主，主要體現在金融、文旅和零售等場景下的虛擬客服方面。虛擬理財顧問、虛擬講解員、虛擬導購等形象在提供智慧服務的同時也突出了品牌形象特點。AIYA小浦濱濱屈晨曦1616未來2-5年動作捕捉、面部識別等技術使個人社交和娛樂等場景下的操控更加自然虛擬分身虛擬私人聚會社交場景娛樂場景虛擬會議數字角色操控2-52-5年以內的虛擬人交互體驗以肢體動作同步、表情同步、眼神同步為主，主要體現在社交和娛樂場景的虛擬分身方面。年以內的虛擬人交互體驗以肢體動作同步、表情同步、眼神同步為主，主要體現在社交和娛樂場景的虛擬分身方面。用戶對虛擬聚會、虛擬會議中的第二分身和數字角色的操控更加自然。個人形象的虛擬第二分身游戲角色1717未來5年后情緒感知等技術使醫療和家庭服務等場景的體驗更加情感化服務型虛擬人（2C）心理治療家庭場景家庭陪護服務型虛擬人（2B）醫療場景家庭陪伴5 5年以后的虛擬人交互以情感化體驗為特點，主要體現醫療和家庭等場景的情感陪伴方面年以后的虛擬人交互以情感化體驗為特點，主要體現醫療和家庭等場景的情感陪伴方面。虛擬心理治療師和家庭陪伴虛擬人具備情感交互的能力，能夠為用戶提供情感化的陪伴體驗。虛擬心理咨詢虛擬陪伴虛擬陪護訓練研究院官方微信研究院官方微信中移智庫官方微信中移智庫官方微信研究院研究院官方網站官方網站http:/