多模態信息融合的腦機接口與人機交互技術.pdf

《多模態信息融合的腦機接口與人機交互技術.pdf》由會員分享，可在線閱讀，更多相關《多模態信息融合的腦機接口與人機交互技術.pdf（34頁珍藏版）》請在三個皮匠報告上搜索。

1、多模態信息融合的腦-機接口與人機交互技術目 錄腦機接口技術正在從科幻走向現實n 將計算機和人類大腦連接起來，實現人與機器的無縫交互。2014年巴西癱瘓少年用腦電控制外骨骼機器人站起來,為世界杯開球Nature 442,164171(2006)腦機接口技術能為生活帶來哪些驚喜：幫助殘障人士進行康復，提高生活質量；增強人體機能增強；危險場所作業，通過腦機接口實現機器人在人無法進入的場合工作；作業疲勞檢測，工作或學習的注意力評估；娛樂游戲中，人們可以借助腦機接口，更好地對游戲角色進行操控，提升游戲的體驗感；通過腦機接口技術直接與計算機進行交互，實現更加智能化的工作方式，提高工作效率。腦機接口技術正在

2、從科幻走向現實n 馬斯克旗下的腦機接口公司 Neuralink，獲準進行腦機接口人體試驗，這被視為腦機接口邁向商業化應用的里程碑。腦機接口AI機器人宇宙探索遙控機器人反饋機器人感覺腦機接口助力和諧的人機交互n 不同領域的人機交互，但人機交互需要安全和諧醫療醫療康復康復Medicine工業工業農業農業Produce居家生活居家生活軍事軍事 國防國防LifeEEGEMGPositioningAccelerationCCDDe-noisingSignal analysisFeature classificationOperators intention can be sent to the robo

3、t through the commands.Robots receive human intentions.多模態信息融合的腦-機接口腦電（EEG）和肌電（EMG）信號是人的意圖的直接表現n 機器人需要明白人的意圖n 人需要知道機器人的行為意圖如何描述人的意圖?n 腦是人的智能中心n 人的行為是由神經控制的，EEG和EMG是神經傳導的外在表現TED.comEEG 和 EMG 描述人的意圖EEGEMGn EEG 是大腦神經電活動的外在表現n EMG 是肌肉電信號的外在表現人腦如何感知機器人的狀態？人能感受到機器人的痛苦嗎？Yutaka Suzuki,et al.,Measuring empat

4、hy for human and robot hand pain using electroencephalography,Nature,2015,5:1-9人對自身受傷人對自身受傷的疼痛感的疼痛感人對機器人受傷人對機器人受傷的疼痛感的疼痛感EEG特征人類和機器人在同理心方面的差異腦-機接口腦機接口(BCI)指在人或動物大腦與外部設備之間建立的直接連接，實現腦與設備的信息交換。n 大腦皮層n 動作電位n 動作電位From University of Minnesota n Microwire arrays of 100 electrodesBlackrock Microsystemsn 植入腦

5、電極采集的腦電信號Wang H et al.NeuroReport,1996Nature,2002v 2006年電極被植入受試者腦內；v 受試者可用腦電波控制機械手臂、控制電腦鼠標收發e-mail、控制開關電燈和電視等。Hochberg LR et al.Nature 442,164171(2006)0.5-4.04.0-8.08.0-13.013.0-30.030.0我們實驗室Square of the voltage to imagine the left/right hand movementn 4 個EEG 電極置于腦運動區表面想象左手運動想象右手運動我們實驗室n 基于機器學習算法進行

6、分類我們實驗室把EEG特征分為學習特征和決策特征，形成知識來建立基于EEG特征的人工智能專家系統的數學模型。非學習的非學習的自然放松狀態自然放松狀態通過視覺感知的通過視覺感知的學習過程學習過程Zhang C,Wang H*et al.,Integrated Computer-Aided Engineering,2013,20(4):391-405 腦電（腦電（EEGEEG）特征）特征 隱形知識隱形知識東北大學研制的腦控無人機系統 我們實驗室Tianwei Shi,Hong Wang*,Chi Zhang,Expert Systems With Applications,2015具有自主知識產權

7、的腦機接口系統東北大學研制的腦控機械手系統 我們實驗室不同心理負荷狀態特征分析 不同認知程度和心理負荷狀態下各腦區腦電時空模式的相關性 隱性知識的顯性化模型Wang H et al.,Expert Systems With Applications,2016,53:117-128“歡樂兔歡樂兔”情感交流機器人情感交流機器人腦網絡特征提取 我們實驗室C Hua,H Wang,et al.,International Journal of Neural Systems,2018熟練操作員熟練操作員不熟練操作不熟練操作腦網絡特征 熟練操作熟練操作不熟練操作不熟練操作 我們實驗室Internation

8、al Journal of Neural Systems,Vol.31,No.3(2021)2050069恐高是一個模糊的量，無法用傳統方法精準評估，我們利用EEG信號特征建立了對恐高的定量計算方法，為高空作業人員安全提供建議。東北大學研制的外骨骼人機交互接口系統 我們實驗室n Naishi Feng,Qiurong Shi,Hong Wang,et al.,The International Journal of Advanced Manufacturing Technology,2018展望未來Lebedev MA and Nicolelis MAL,TRENDS in Neurosci.29,536-546,(2006)多模態生理信號多模態生理信號機器人機器人多模態感知反饋多模態感知反饋腦機雙向交互控制指令控制指令腦-機智 能融 合李春勝，劉沖，史添瑋，王福旺，張馳，常文文，化成城，程鶴，史晨鳴，馮乃詩，胡佛，吳志偉，等