德勤&之江實驗室：情感計算白皮書（2022）（101頁）.pdf

《德勤&之江實驗室：情感計算白皮書（2022）（101頁）.pdf》由會員分享，可在線閱讀，更多相關《德勤&之江實驗室：情感計算白皮書（2022）（101頁）.pdf（101頁珍藏版）》請在三個皮匠報告上搜索。

1、委員會顧問委員會朱世強之江實驗室主任、浙江大學黨委副書記任福繼日本工程院院士、歐盟科學院院士、電子科技大學講席教授、日本德島大學榮譽教授戴瓊海中國工程院院士、清華大學自動化系教授、清華大學信息科學技術學院院長李德毅中國工程院院士、國際歐亞科學院院士、指揮自動化和人工智能專家楊雄里中國科學院院士、發展中國家科學院院士、神經生物學家、復旦大學腦科學研究院學術委員會主任褚君浩中國科學院院士、中國科學院上海技術物理研究所研究員、復旦大學教授、華東師范大學教授蔣田仔歐洲科學院院士、中國科學院自動化研究所腦網絡組研究中心主任馬慶國國際歐亞科學院院士、亞太人工智能學會會士、浙江大學教授傅小蘭中國科學院心理研

2、究所所長、中國科學院大學心理學系主任 專家委員會趙新龍之江實驗室黨委副書記陳偉之江實驗室主任助理、黨委委員陳光之江實驗室科研發展部部長林峰之江實驗室人工智能研究院副院長李太豪之江實驗室高級研究專家、跨媒體智能研究中心副主任、研究員曾令仿之江實驗室之江-燧原聯合創新研究中心副主任宗成慶中國科學院自動化研究所研究員、中國科學院大學崗位教授陶建華中國科學院自動化研究所研究員、模式識別國家重點實驗室副主任、國家杰出青年基金獲得者呂寶糧上海交通大學計算機科學與工程系教授、上海交通大學醫學院附屬瑞金醫院廣慈特聘教授呂釗安徽大學計算機科學與技術學院副院長、教授、安徽省杰出青年基金獲得者王蕊中國科學院信息工程

3、研究所研究員李勇輝中國科學院心理研究所研究員蔡曙山清華大學心理學與認知科學研究中心主任、教授肖仰華復旦大學計算機科學技術學院教授、復旦-愛數認知智能聯合研究中心主任張效初中國科學技術大學生命科學與醫學部教授、青年長江學者潘煜上海外國語大學國際工商管理學院院長、教授金佳上海外國語大學腦機協同信息行為重點實驗室教授曾紅廣州大學教育學院心理學系教授羅思陽中山大學心理系副教授梅林公安部第三研究所研究員劉明華德勤中國副首席執行官、首席轉型官倪殿令亞馬遜云科技大中華區合作伙伴生態系統事業部總經理莊珺上海市科學學研究所產業創新研究室主任、研究員劉晶聯合國工業發展組織全球創新網絡項目上海全球科創中心副主任 編

4、輯委員會裴冠雄之江實驗室人工智能研究院跨媒體智能研究中心副研究員汪嚴磊德勤科學加速中心副總監賈永興上?？茖W技術出版社副總編輯、張江科技評論主編李海英中國科學院文獻情報中心學科情報分析員王曉野亞馬遜云科技大中華區數據產品技術總監朱敏上海師范大學商學院商業數據系主任、副教授楊成寧上海師范大學商學院企業管理系講師賁睍燁山東大學信息科學與工程學院教授唐益明合肥工業大學計算機與信息學院副研究員范存航安徽大學計算機科學與技術學院副教授董建敏之江實驗室人工智能研究院跨媒體智能研究中心助理研究員程翠萍之江實驗室人工智能研究院跨媒體智能研究中心助理研究員徐若豪之江實驗室人工智能研究院跨媒體智能研究中心算法工程師

5、情感計算白皮書序一情感被譽為人類社會生活的文法（Grammar of Social Living），情感計算旨在創建一種能感知、識別和理解人的情感，并能針對人的情感作出智慧、靈敏、自然反應的計算系統。情感計算是實現自然化、擬人化、人格化人機交互的基礎性技術和重要前提，也為人工智能決策提供了優化路徑，對開啟智能化、數字化時代具有重大價值。近年來，中國成為情感計算領域最重要的崛起力量之一，并有越來越多的學者投入該領域的研究。同時，中國也成為情感計算賦能應用的主戰場之一，為支撐經濟高質量發展和數字化改革發揮了重要作用。這本白皮書的發布，旨在回應中國乃至全球學術界和產業界對了解和掌握情感計算最新發展動

6、向的需求，給科學研究人員和行業實踐人員提供較為完整的技術發展藍圖和應用趨勢洞察，以助推情感計算的發展與轉化。這本白皮書有幾個鮮明的特點：一是以主流學術數據庫為基礎，之江實驗室、中國科學院文獻情報中心等單位對 19972022 年的 2 萬余篇論文進行分析的數據，具有領域全周期、論文全量級、科研全過程的覆蓋優勢，梳理出的重要研究論文、專利和標準，有助于明晰關鍵共性技術和前沿引領技術，對把握情感計算領域學術發展動態具有指導性意義，對實現“高原造峰”和從“0”到“1”等不同創新路徑均具有較大參考價值。二是白皮書描繪了情感計算的學科全景，包括重要研究機構、學術期刊、國際會議、代表性科學家、高水平學會等

7、，并對合作生態進行了梳理，這對指導學科建設和重大科研基金立項具有導向作用。中國學者在學科領域內的進步明顯，初步形成了高水平的學科人才梯隊，且在典型學者和重要研究陣地中占比較高。但是，在學術期刊、國際會議等方面存在劣勢，中國主導能力偏弱，這不利于學科話語權的提升，也與中國在該領域發文量排名世界第一的情況不匹配。這在一定程度上阻礙了中國科學家作為學術共同體的發展，不利于從跟隨性走向引領性的地位變革。三是白皮書非常重視對情感計算成果轉化及應用情況的研究。中國共產黨二十大報告提出，“加快實施創新驅動發展戰略。堅持面向世界科技前沿、面向經濟主戰場、面向國家重大需求、面向人民生命健康，加快實現高水平科技自

8、立自強”。針對應用情況的定量分析和案例研究，有助于引導廣大科技工作者面向經濟主戰場和重大實際需求開展科研攻關，同時促進相關從業人員對技術全景加深理解和認知，促進經濟主體增加情感計算賦能應用的探索，加速數字經濟轉型升級和人工智能技術迭代應用，促進更多企業從產業鏈下游向產業鏈中上游的價值重塑。正是白皮書在以上三個方面的扎實工作，為情感計算未來趨勢預測筑牢了基礎。這本白皮書也專門設立章節，對技術走向和行業應用作了展望。未來將會怎樣，不可準確預知，但對過去和現狀的精準把握，為情感計算的發展脈絡提供了蹤跡。當今世界正在經歷百年未有之大變局，這場變局不限于一時一事、一國一域，而是深刻而宏闊的時代之變。我堅

9、信，中國在情感計算領域的影響力將繼續迅速提升，我們樂見這種不可阻擋的力量為情感計算學術發展和應用賦能提供源源不斷的動力。電子科技大學講席教授日本德島大學榮譽教授日本工程院院士歐盟科學院院士2022 年 11 月情感計算白皮書序二近年來，中國在人工智能技術領域的發展突飛猛進。上一代人工智能技術在研發、行業應用和內涵普及方面可謂“百花齊放”。經過一大批科學家和實踐者的努力，在短短幾年的時間里，中國就在人工智能發展的第一階段追趕上了世界先進水平。中國發展人工智能等前沿信息技術不僅為了實現中華民族偉大復興，也為了世界可持續發展和人類進步。德勤作為一家立足中國本土的國際性專業服務機構，正是感受到了這樣的

10、使命而欣然地加入新一代人工智能技術情感計算的開發策源和轉化實踐的隊伍。與諸多科學家和實踐者一樣，我們也清楚地預見情感心智在整體智能技術群中的重要性。情感計算是一項涵蓋心理學、認知科學、計算機科學、數學等多學科交叉的前沿技術，因此我們需要通過一個由多方角色組成的生態網絡，通過實現各自的訴求來形成共贏，從而推動情感計算技術從研發向轉化、普及等環節發展。為此，在之江實驗室的發起和指導下，德勤通過多年創新積累的生態網絡群組織包括上?？茖W技術出版社、中國科學院文獻情報中心、英國工程技術學會、亞馬遜云科技、上海師范大學等在內的大批專家學者，共同完成情感計算白皮書的撰寫和發布工作。由于情感計算技術是過往鮮有

11、人涉足的前沿技術領域，對當前全球情感計算技術的相關信息進行匯總、解讀和分析工作自然也是困難重重，尤其是在面臨日新月異的技術更替環境下，如何確保內容的時效性，并以最快的速度、最高的質量和最全的信息進行白皮書發布，成為本次任務的最大挑戰。這樣的任務實施起來如同發起和管理一項大科學工程，也充分考驗了參與者彼此的協同和默契。在撰寫白皮書的半年多時間里，參與指導和編寫的近 50 位學界領軍人物、學者專家情感計算白皮書和行業領袖能夠在新冠肺炎疫情頻發的不確定環境下，毅然打破地域限制，按時且高質量地完成白皮書的撰寫任務，這令人感到興奮和激動！白皮書從人類對自身情感研究的歷史到通過信息技術的手段如何進行仿生實

12、現情感計算，再到已經實現的場景應用，對情感計算技術進行介紹，實為一部情感計算技術發展和應用的簡明百科。這樣的內容安排，充分寄托了項目組對情感計算技術在科研和商業應用兩個方面的期許。我們始終堅信，一項好的技術既離不開前沿科學的啟蒙，也脫不開與社會經濟發展的實質聯系。白皮書的發布并不意味著項目組工作的結束，而是揭開了中國在情感計算技術方面技術研究和應用轉化的序幕。我們衷心地期盼更多對情感計算技術有熱情的個人和團隊加入我們的大家庭，在新一代人工智能技術賦能社會安定、國家昌盛、人類發展等方面作出更多的貢獻。全國政協委員德勤中國主席2022 年 11 月目錄引言 1第一章理論概述 31.1人類社會的情感

13、 31.1.1情感對人類的意義 31.1.2情感理論建模 51.2情感計算的沿革、定義和內容 81.2.1情感計算的發展歷程 81.2.2情感計算的定義 91.2.3情感計算的研究內容 91.3情感計算的意義 12第二章技術綜述152.1單模態情感計算 162.1.1文本情感計算 162.1.2語音情感計算 172.1.3視覺情感計算 182.1.4生理信號情感計算 202.2多模態情感計算 212.2.1研究背景和發展現狀 222.2.2多模態數據集 222.2.3多模態融合策略 222.2.4問題與挑戰 23第三章成果情況253.1情感計算領域研究趨勢 263.1.1整體趨勢 26情感計算

14、白皮書3.1.2主要研究陣地（國家/地區分析）273.1.3主要發文期刊 293.1.4領域分布 293.2高水平國際會議 313.2.1ACM 多媒體國際會議 323.2.2AAAI 人工智能會議 323.2.3國際計算語言學年會 333.2.4IEEE 計算機視覺和模式識別會議 333.3高水平期刊 343.3.1 IEEE 情感計算匯刊 343.3.2 專家系統與應用 353.3.3 知識系統 353.3.4 信息處理與管理 363.4重要研究成果 363.4.1ESI 高被引論文和熱點論文 363.4.2重要會議獲獎論文 423.4.3重要期刊獲獎論文 433.5代表性專利和標準 45

15、3.5.1代表性專利 453.5.2代表性標準 47第四章科研情況494.1學者分布及代表性科學家 494.1.1全球學者地圖 494.1.2中國學者分布 504.1.3全球典型學者 524.1.4高被引學者 524.2高水平學會 524.2.1情感計算促進協會 524.2.2中國人工智能學會情感智能專業委員會 534.3高水平學術機構 534.3.1重要研究機構 53目錄4.3.2典型研究機構 544.3.3新興研究機構 564.4生態系統分析 564.4.1學者合作網絡 564.4.2引用網絡分析 574.4.3關鍵詞共現分析 57第五章應用情況615.1總體分析 615.2行業應用 65

16、5.2.1教育培訓領域 665.2.2生命健康領域 665.2.3商業服務領域 675.2.4工業設計領域 685.2.5科技傳媒領域 685.2.6社會治理領域 69第六章未來趨勢716.1下一階段技術走向預見 716.1.1高質量、大規模數據集的構建 716.1.2零/少樣本學習或無監督學習方法 726.1.3多模態融合技術創新 726.1.4多模型推理 726.1.5認知神經科學啟發的情感計算 726.1.6跨文化情感識別 736.1.7數據與知識驅動的技術革新 736.2下一階段行業應用展望 736.2.1智慧服務領域 736.2.2虛擬現實領域 746.2.3社會安全領域 746.2

17、.4金融決策領域 756.2.5科藝融合領域 75情感計算白皮書主要參考文獻76附錄781.情感計算領域前 20 名全作者發文國家歷年發文量 782.情感計算領域發文 Q1 期刊 803.情感計算領域發文量前 20 名的國家合作詳情 904.情感計算領域主要代表產品及應用技術 92致謝941第一章理論概述引言情感計算（Affective Computing）是一個涉及計算機科學（含智能科學）、腦與心理科學（含心理學、神經科學）、社會科學（含社會學、經濟學、管理學）、醫學等的交叉學科領域，并逐步成為全球學術和工程熱點。中國科學院科技戰略咨詢研究院發布的2021 年研究前沿熱度指數報告顯示，以“多

18、模態情感計算”為核心的相關研究熱度指數位列前 10 名。根據英國工程技術學會（The Institution of Engineering and Technology，IET）提供的文獻進行計量分析顯示，情感計算領域的發文量呈現高速增長態勢，中國和美國的學者成為該領域最具代表性的研究力量。自然（Nature）旗下刊物發表的綜述論文表明，20162020 年來自中國的研究力量迅速崛起，論文總數已超過美國，越來越多的科研機構和高科技企業正投身于情感計算的研究和實踐。為了響應中國乃至全球學術界和產業界對了解和掌握情感計算最新發展動向的需求，向科學研究人員和行業實踐人員提供較為完整的技術發展藍圖和應

19、用趨勢，以助推情感計算的發展與轉化。由之江實驗室人工智能研究院跨媒體智能研究中心發起，德勤科學加速中心、上?？茖W技術出版社、中國科學院文獻情報中心和英國工程技術學會共同組成聯合項目組，推動了情感計算白皮書（以下簡稱“白皮書”）的發布。由行業領袖和國內外知名學者組成的顧問委員會和專家委員會為白皮書的編制給予了專業性審查和指導。在人機共生的時代背景下，隨著人類對情感內涵理解的不斷深化，智能機器“雙商（智商+情商）”理念的進一步普及，情感智能的迭代升級以及在數字經濟驅動下的產業變革，多要素共同作用成為推動情感計算的學科發展、技術演化和行業進步的重要創新動力。在白皮書的編寫過程中，項目組充分調研了情感

20、計算及其關聯學科的技術發展和遷移進程，在學術界和產業界專家的共同努力下，白皮書最終形成“集大成”和“思全局”的框架，以期使研究者和實踐者能夠對情感計算的最新發展有一個全面的認識，并以更廣闊、更長遠的視角思考情感計算的未來走向。3第一章理論概述第一章理論概述情感計算是一個多學科交叉的研究領域，涉及計算機科學、腦與心理科學、社會科學等學科。計算機科學與機電科學側重于提供各類信息技術手段和工程化能力，能夠對情感的感知、識別、理解、反饋等實施數字化重構和計算實現，從而使機器能夠擁有類人情感心智功能。腦與心理科學的心理及意識領域側重于提供關于人類情感的基礎定義、相關要素結構存在的意義等方面的理論，這為情

21、感理論建模構筑了基石；腦與心理科學的另一分支認知神經科學則側重于研究人類大腦對情感加工的機理以及建立與情感相關的心理要素功能網絡，這為開發情感計算模型提供了關鍵的啟發和策略的指導。社會科學和醫學為情感計算的應用提供了充分的“用武之地”，是該類技術應用場景設計的策源地。由此可見，情感計算是一個多學科共建的領域，也是一個由行業實際需求推動技術進步和迭代的領域。1.1人類社會的情感1.1.1情感對人類的意義情感被譽為人類社會生活的文法（Grammar of Social Living），是人與人進行信息交流、關系維系和思想溝通的重要載體，是推動人類文明生生不息、多元繁榮的重要力量。根據物種進化理論，

22、情感被認為是保障人類的基本生存能力、形成社會習性、支撐高級思維的心理要素。人類如果不具有情感，那么維持生存的將只有原始沖動和生存欲望，這樣的物種幾乎不可能發展出高度發達的社會文明。雖然情感在整個人類進化過程中發揮了重要作用，但是人們對情感功能的認知和重視經歷了一個漫長的過程。時至今日，涉及情感的各種理論已具規模。關于這些理論的研究可以追溯到距今約 3 000 年的早期人類文明。這一歷程可大致分為三個階段，如圖 1-1 所示。第一階段的主要活動是嘗試識別和厘清“情感”及其有關的概念。在早期東方文明體系下，古代中國的易經哲學和諸子百家哲學以及古代印度哲學都對情感作出了理解和闡述。例如，禮記禮運提出

23、了“七情”的概念以及“何謂人情？喜、怒、哀、懼、愛、惡、欲，七者弗學而能”的系統性論述。在早期西方文明體系下，古希臘醫生希波克拉底（Hippocrates，約公元前 460公元前 377 年）在古代生理醫學體系下提出人類“體液說”。他認為，體液是人體性質的物質基礎，以不同體液為性質主導的人會更容易表現出某種或某幾種特定的情感。這與同時期人類的四種氣質學說4情感計算白皮書（膽汁質、多血質、黏液質、抑郁質）似乎有潛在的映射和聯系。第二階段的主要活動是以科學的視角對上述概念進行驗證，并明確概念之間的機能關系。該階段的兩大情感研究陣營分別是現代生理醫學和科學心理學。在現代生理醫學體系下，著名生物學家查

24、爾斯達爾文（Charles Darwin）的著作人類和動物的表情（The Expression of Emotion in Man and Animals）被公認為與他的物種起源（On the Origin of Species）分量相當的“情感”研究巨作。達爾文在書中提出了人類所擁有的一般表情，如痛苦、哭泣、快樂、憎恨、憤怒等。在此基礎上，他進一步闡述了基于這些表情的情感、思維過程以及相應的生理表現。這被認為是現代科學有關情感及其行為研究的開始。在科學心理學體系下，美國心理學家斯坦利沙赫特（Stanley Schachter）和 杰 爾 姆 辛 格（Jerome Singer）共同提出的激活

25、歸因情緒理論（Attribution Theory of Emotion），被認為是實現人工智能情感功能的理論基礎。該理論認為情感既來自生理反應的認知評價，也來自對導致這些反應的情境的認知評價。這一解釋為情感智能的實現提供了策略和思路。第三階段是心理學、生理學和信息技術的融合階段。在德國心理學家威廉馮特（Wilhelm Wundt）創立科學心理學后的半個多世紀里，世界各地的心理學流派如雨后春筍般涌現。這些流派對情感都有著不同視角的認知和理論。同時，隨著現代生理醫學的發展，在神經科學視角下情感的腦機制研究得到長足進步。美國心理學家保羅?？寺≒aul Ekman）提出了如今被視作普遍標準的人類七

26、大基本表情理論：快樂、悲傷、憤怒、厭惡、驚訝、蔑視和恐懼。由?？寺I導開發的人類表情動作編碼系統（FACS）被認為是機器視覺讀懂人類表情的關鍵技術。1997 年，美國麻省理工學院媒體實驗室（MIT Media Lab）羅莎琳德皮卡德（Rosalind Picard）提出情感計算的明確定義，這正式開啟了實現情感智能的人工智能新時代。結合不同時期人們對情感性質和作用的認識，可以將情感對人類的意義歸納為以下五個方面。一是生存功能。人類為了適應環境作出有利于生存和發展的生理反應，如在危險環境中的緊張和應激、在受到侵擾和威脅時的憤怒和亢奮、在獲得食物和生存必需品時的喜悅和興奮。情感不斷地強化人類適應和利

27、用環境的能力，并形成習得性的生理反應，對個體的注意、記憶、感知等進行調節，從而在進化中持續保障人類生存權和發展權。圖 1-1早期情感理論發展的三個階段第二階段第一階段第三階段法國啟蒙運動到科學心理學誕生的科學啟蒙階段（公元 1718世紀到 19 世紀末）科學心理學誕生之后的心理學、生理學和信息技術的融合階段（公元19 世紀末及以后）歐洲文藝復興及其之前的探索思辨階段（大約 公 元 1718 世 紀及以前）5第一章理論概述二是溝通功能。諾貝爾經濟學獎獲得者、美國心理學家赫伯特西蒙（Herbert Simon）認為，情感的識別和表達對于信息的交流和理解是必需的。情感對人類意圖的準確表達和理解至關重

28、要，同樣的文字語言用不同的情感來表達，其內涵是完全不同的。因此，情感與語言密不可分。情感起到了關鍵的語義消歧作用，無論對信息的發出方還是信息的接收方都至關重要。這也是很多重要事項需要面對面交流的一個重要原因。在面對面場景下，相較于語音或文字溝通，表情、肢體動作等具有情感內涵的表達方式，有助于減少誤解，增進交流和互信。三是決策功能。諾貝爾經濟學獎獲得者、美國心理學家丹尼爾卡尼曼（Daniel Kahneman）認為，大腦通過快（“系統一”）與慢（“系統二”）兩種方式作出決策。常用的無意識的“系統一”主要依賴于情感、經驗等迅速作出判斷；有意識的“系統二”主要依賴于理性思辨。因此，情感廣泛參與了人類

29、的高級思維和決策過程，并深刻影響了決策結果和決策效率。四是動機功能。情感能夠激發和維持個體的行為，對個體的資源投入程度、行為持久程度以及對行為結果的評估都會產生顯著的影響。五是維系功能。情感是在人類社會化過程中階層、族群、家庭等的維系紐帶，是低成本維系人類社會關系的核心，是潛在的社會交往契約，并與個體的行為準則、道德約束等息息相關。因此，情感的性質和功能既決定了情感與人類的生存和發展密不可分，也對人類社會的進步有著重要意義。1.1.2情感理論建模有關情感的理論非常豐富，并且隨著時間的推移被不斷地擴展和豐富。早期的情感理論多是基于生理層面闡述的。通過圖 1-2 不難看出，情感是一個非常復雜且涉及

30、面很廣的概念。中國古代就有對“七情”“情理法”等理論的論述，并把與情感和心智有關的概念統稱為“情”。隨著白話文的普及和西方現代科學體系的引入，人們從“情”的概念中逐漸分離出“情感”“情緒”“感情”等概念。本白皮書參考中國科學院心理研究所傅小蘭關于中英文譯法的說明，將“emotion”譯為“情緒”，“affect”譯為“情感”，“feeling”譯為“感情”或“感受”?！癳motion”一詞來自拉丁文“e”（意為“向外”）和“movere”（意為“動”），從構詞上來看，情緒含有移動、運動的意思，強調非常短暫但強烈的體驗。反觀感情和情感，英國心理學家邁克爾艾森 克（Michael Eysenck）

31、和 馬 克 基 恩（Mark Keane）認為，情感具有廣泛的意義，表示情緒、心境和偏好等不同的內心體驗。中國心理學家孟昭蘭和黃希庭認為，情感是情緒過程的主觀體驗，而感情是情緒、情感這一類心理現象的籠統稱呼。綜合上述觀點，本白皮書認為，情緒是情感性反應的過程，感情是情感性反應的內容，而情感涵蓋上述詞義，是情緒和感情等的籠統稱謂。參考情感計算領域的做法以及孟昭蘭的定義，即“多成分組成、多維量結構、多水平整合，并為有機體生存適應和人際交往，而同認知交互作用的心理活動過程和心理動機力量”，本白皮書將上述學術詞匯統稱為“情感”（在后續章節中不再區分上述概念）并進行定義。情感是一種包括認知、生理、體驗、

32、行為等多種要素的心理狀態，是有機體應對和控制生存環境的進化產物。在情感計算領域，運用最多的理論模型是情感分類理論模型，主要包括離散情感模型和維度情感模型。離散情感模型將情感分為各個獨立的標簽，每一種情感之間沒有關聯性。美國心理學家卡羅爾伊扎德（Carroll Izard）使用因素分析法，建立了包括興趣、驚訝、痛苦、厭惡、高興、憤怒、恐懼、悲傷、害羞、輕蔑、懺悔在內的 11 種基本情感分類模型。?？寺ㄟ^表情分析，得出了更6情感計算白皮書詹姆斯-蘭格理論坎農-巴德理論評定-興奮學說沙赫特-辛格理論為普遍接受的七種基本情感分類模型，即快樂、悲傷、憤怒、厭惡、驚訝、恐懼和蔑視。離散情感模型更符合人的

33、認知與在日常生活中的表達形式，主要反映的是人類的基本情感類型，區分較為清晰，具有天然的可解釋性。維度情感模型則是運用情感空間將不同的情感通過多維向量進行表示。在情感的二維分類模型中具有代表性的是美國心理學家詹姆斯羅素（Jmaes Russel）提出的環形情感分類模型（見圖 1-3），也因其橫縱軸結構（橫軸表示效價，左右分別表示消極和積極情感；縱軸表示喚醒度，上下分別表示喚醒程度高和低）被稱為 VA（Valence-Arousal）情感模型。情感的三維分類模型的種類很多，主要也是通過軸和極點來界定情感的類型，所有情感分布在每個軸兩極間的不同位置，比較常用的有兩種：由愉悅度（Pleasure）、激

34、活度（Arousal）、優勢度（Dominance）組成的情感三維模型；由愉悅度（Pleasure）、強度（Activation）、關注度（Attention）組成的情感三維模型。另一個著名的情感三維模型是美國心理學家羅伯特普拉奇克（Robert Plutchik）提出的基于情感進化理論的“情感輪”模型（見圖 1-4），也被稱為倒錐體情感三維模型；包括兩極性（Polarity）、相似性（Similarity）、強度（Intensity）三個維度。不同于傳統的情感維度模型，該模型是情感進化理論的一部分，系統闡釋圖 1-2早期情感理論情感是植物性神經系統活動的必然產物。在詹姆斯-蘭格理論基礎上進一

35、步提出，除了外周神經系統以外，更為關鍵的是中樞神經系統的丘腦，這是影響情感產生和變化的中心系統。大腦皮層的興奮程度也是情感喚醒的重要通路，大腦皮層和皮下組織協同作用產生了情感。該學說將情感的產生過程進行了劃分，分別是情境刺激、情感評估和情感產生，并首次將認知理論引入情感研究領域，這為沙赫特-辛格理論的提出進行了鋪墊。個體情感除了生理性的喚醒以外，更為關鍵的是認知喚醒。情感是周邊環境刺激與個體生理狀況結合后，通過大腦皮層表現出來的結果。情感信息的感官收集和判斷處理是一個認知過程，相關模型被稱為情感喚醒模型。情感是人與環境交互產生的結果，人會不斷地對周圍環境進行初評、次評和再評，這三次評價反映了情

36、感的認知過程。認知-評價理論7第一章理論概述害怕憤怒喚醒不愉快愉快平靜未喚醒輕松安逸滿足開心興高采烈興奮激動惶恐緊張無力煩亂傷心憋悶厭煩疲乏厭惡悲痛幸福驚奇?圖 1-4美國心理學家羅伯特普拉奇克提出的“情感輪”模型圖 1-3美國心理學家詹姆斯羅素提出的環形情感分類模型8情感計算白皮書了八種基本情感，并提出了“其他情感（復合情感）是由基本情感組合而成”的重要論述。情感的四維分類模型由于過于抽象和復雜，并未被廣泛接納。目前，運用比較多的是情感二維分類模型和情感三維分類模型。在這些理論模型的基礎上，研究者嘗試對情感進行量化，轉換成客觀可表征的數據，以推動人機交互和情感體驗研究的發展。1.2情感計算的

37、沿革、定義和內容1.2.1情感計算的發展歷程自 1956 年人工智能的概念被提出后，關于情感計算的研究日益活躍（見圖 1-5）。圖 1-5國外情感計算發展歷程1956年1990年1998年 1999年 2004年1960年1997年20042007年2010年美國達特茅斯學院（Dartmouth College）開會研討了如何用機器模擬人的智能。會上，人工智能（Artificial Intelligence，AI）的概念被首次提出，人工智能學科由此誕生。此后，人們開始通過研究人的智能活動規律，開發類人的智能系統，以使計算機能夠模擬人的智能行為。前期的研究基本集中在人的理性和邏輯活動規律在機器的

38、實現上。與此同時，心理學家對感性或情感的研究也在逐步深化美國心理學家彼得薩洛維（Peter Salovey）和約翰邁耶（John Mayer）發表的名為情感智能（Emotional Intelligence）的文章，描述了他們創建的情感智能框架。該文章認為，情感也是一種智能，強調情感的認知成分和處理能力美國人工智能促進協會（AAAI）分別召開了針對人工情感和認知的專業學術會議。同一時期，日本的“感性工學”逐步發展，即從工程學的角度實現對人的感性需求的滿足，把情感信息的研究從心理科學角度過渡到心理科學、機電科學、信息科學等相關學科的交叉融合領域。在歐洲，許多大學成立了情感與智能關系的研究小組IE

39、EE情感計算匯刊（IEEE Transactions on Affective Computing）創刊。它是情感計算領域的第一本期刊，是由全球最大的非營利性專業技術學會電氣與電子工程師協會（IEEE）創辦的美國社會心理學家丹尼爾卡茨（Daniel Katz）發表了關于態度功能的理論，揭示態度具有適應功能、自我防御功能、認知功能、價值表達功能等四種基本功能皮卡德出版了情感計算（Affective Computing）著作，對情感計算進行了系統的闡述。至此，這門交叉性學科開始得到廣泛關注歐盟設立了一個名為HUMAINE的人機交互情感項目，旨在為能夠記錄、建模和影響個體情感的導向系統奠定基礎。歐盟

40、27所大學聯合參與了該項目9第一章理論概述中國對情感計算的研究始于 20 世紀 90 年代。20 年來，中國情感計算研究蓬勃發展，從最初的獨立研究向國際化、聯盟化和體系化發展（見圖 1-6）。1.2.2情感計算的定義“人工智能之父”馬文明斯基（Marvin Minsky）曾被問及關于機器情感的問題，他認為這一問題的核心不在于智能機器能否有情感，而在于沒有情感的機器能否實現智能。雖然他最先提出了讓計算機具有情感能力的想法，但是學術界公認的第一個正式提出情感計算完整定義的是皮卡德。她所著的情感計算將情感計算定義為針對人的外在表現，能夠進行測量和分析，并能對情感施加影響的計算。此外，也有一些學者提出

41、了不同的見解。與皮卡德采用認知主義框架不同，瑞典計算機科學家克里斯蒂娜霍克（Kristina Hk）以及美國計算機科學家菲比森格斯（Phoebe Sengers）和保羅多羅希（Paul Dourish）等學者從現象學出發，認為情感計算的情感是在人與人、人與機器之間的交互過程中構建起來的。日本工程院院士任福繼（Fuji Ren）認為，情感計算旨在通過開發能夠識別、表達、處理人情感的系統和設備來減少計算機與人之間的交流障礙。中國科學院自動化研究所胡包剛及其團隊認為，情感計算的目的是通過賦予計算機識別、理解、表達、適應人情感的能力來建立和諧的人機環境，并使計算機具有更高、更全面的智能。之江實驗室人工

42、智能研究院跨媒體智能研究中心李太豪認為，情感計算是賦予機器以感知、識別、理解情感并具有擬人化情感表達的能力。1.2.3情感計算的研究內容情感計算的研究內容主要包括五個方面（見圖 1-7）。情感基礎理論模型主要包括離散情感模型和維度情感模型兩種類型（見圖 1-8）。兩種類型各有優劣，具體采用哪種模型，取決于實際應用任務和場景需求。在信號數據采集方面，語言文字作為人類最重要的溝通工具，在各種溝通載體上形成了海量的數據資源，為文本挖掘提供了基礎。因此，語言文字信號獲取的成本最低。但是，數據質量參差不齊，容易產生語法錯誤、文字亂碼等問題，從而對情感圖 1-6中國情感計算發展歷程2005年2003年20

43、21年20世紀90年代中國學者開始投身于情感計算的研究。中國的情感計算雖然起步較晚，但是發展勢頭強勁第一屆“中國情感計算及智能交互學術會議”在北京舉辦中國中文信息學會情感計算專委會（籌）在北京成立首屆“情感計算和智能交互國際學術會議”在北京召開。此外，多所大學在2000年前后逐步建立起相關的研究單元。其中，具有代表性的有之江實驗室人工智能研究院跨媒體智能研究中心、清華大學人機交互與媒體集成研究所、中國科學院自動化研究所和哈爾濱工業大學社會計算與信息檢索研究中心等10情感計算白皮書圖 1-7情感計算的研究內容情感基礎理論情感信號的采集情感分析多模態融合情感的生成與表達12453情感計算的研究內容

44、目前主要依托心理學領域的離散情感模型和維度情感模型對情感進行界定，并由基本情感向復合情感延伸主要涉及文本、語音、視覺（如表情、手勢等）、生理信號等多個方面，并建立相應的數據集基于多模態情感特征和融合算法，以提升情感分類準確率讓機器人通過面部表情、語音語調、肢體動作等表現出情感狀態運用機器學習和深度學習算法對情感信號進行建模與識別圖 1-8情感基礎理論模型維度情感模型離散情感模型能更好地與詞匯和概念進行語義上的接軌，具有易于理解、可解釋性強和界定清晰的優勢，但其細粒度不高，對情感的量化描述能力有限是一個連續空間的回歸問題，其優勢在于具有很強的定量性、抽象性和歸納性，且情感數值向量具有連續性，但其

45、不具備直觀的可解釋性，使得機器難以形成豐富的情感交互應對策略11第一章理論概述識別產生不利的影響。由于攝像頭、麥克風等傳感器成本較低且無須與用戶直接接觸，采集語音、面部表情等情感信號較為便利。這些領域的數據量十分龐大，相關的研究論文數量也很多，且不少數據直接來自實際場景。生理數據相較于文本、語音、表情等信號數據，其優勢在于能夠更加直接、客觀、真實地反映個體的情感狀態，較少受到個體主觀意識的影響。因此，生理數據也成為情感計算領域的研究熱點之一。目前，在情感計算領域，運用較多的生理數據包括腦電、皮膚電、呼吸、皮膚溫度、心電、肌電、血容量脈沖、眼電等。由于需要佩戴較為復雜且成本較高的生理數據傳感器，

46、生理數據的獲取較難在實際應用中進行推廣。目前，實驗室或研究所能夠使用的生理數據規模普遍較小。針對文本數據、語音數據、視覺數據、生理數據，研究人員開發了相應的數據分析算法和工具（見圖 1-9）。文本數據分析語音數據分析視覺數據分析生理數據分析 文本數據分析。傳統的文本情感分析通過構建特定領域的情感詞典，再根據情感詞和文本的映射關系進行情感分析。但是，情感詞典的特定屬性限制了文本情感分析在多領域應用的能力。近年來，隨著深度學習的發展，以基于 Transformer模 型 的 雙 向 編 碼 器 表 示（Bidirectional Encoder Representation from Transf

47、ormers，BERT）語言模型和生成式預訓練（Generative Pre-Training，GPT）語言模型為代表的預訓練語言模型在多種情感分析任務中獲得成功，這引起了學術界和產業界極大關注。語音數據分析。語音情感識別借助語言學和聲學的相關技術，除了分析語法、語義之外，還會識別與情感狀態有關的聲學特征信息，如語速、語音、語調。當前，提取情感語音特征應用較為廣泛的是 VGGish 模型和 wav2vec 模型。視覺數據分析。在表情、肢體動作、場景環境等視頻和圖片情感識別中，對面部表情的識別占據研究的主體。?？寺热颂岢龅拿娌縿幼骶幋a系統（Facial Action Coding System

48、，FACS）是一個經典的基本表情識別模型，該模型雖然簡單但應用廣泛?；谏疃壬窠浘W絡的深度情感特征，利用人臉情感識別數據集訓練的神經網絡模型，如VGGNet 深度卷積神經網絡，取得了不錯的效果。生理數據分析。與上述文本、語音、表情信號相比，生理信號的識別難度更大。同時，生理信號具有獨特的屬性。例如，在對腦電數據進行計算時，需要開展較為繁雜的預處理流程，包括電極位置定位、帶通濾波、轉換參考、分析段截取、偽跡去除、壞電極插補等，隨后要采取特征提取、特征降維等步驟，最后運用機器學習分類器對情感進行識別。自 2018 年以來，運用深度學習方法開展腦電數據情感計算的論文呈現較大幅度的增長態勢，包括卷積神

49、經網絡（Convolutional Neural Network，CNN）、深度信念網絡（Deep Belief Networks，DBN）、循環神經網絡（Recurrent Neural 圖 1-9數據分析算法和工具12情感計算白皮書Network，RNN）、棧式自動編碼器（Stacked Auto Encoders，SAE）等在內的方法得到普遍運用。早期的情感計算一般都是單模態的，即在文本、語音、表情、肢體動作、生理信號等模態中對其中一種進行數據分析和情感識別。然而，人在表達情感的時候往往是通過多種方式進行聯合表達的，因此使用單模態進行情感識別所獲取的情感信息具有局限性。人的情感豐富、細膩

50、，表達形式多種多樣，這就需要融合多個信息源，綜合處理，協調優化，以求盡可能精準地識別人類情感。多模態融合算法利用來自不同模態的信息整合成一個穩定的多模態表征，可以有效地解決這一問題。根據融合階段的不同，常見的多模態融合方法可以分為基于特征級的早期融合、基于模型級的混合融合、基于決策級的后期融合。根據情感的分析識別結果，機器通過面部表情、情感回復生成、肢體動作等方式向用戶傳遞帶有情感溫度的表達和回應。例如，利用特定的聲音風格、綜合具有情感標簽的文本內容合成語音，讓機器表達出特定的情感。這個過程將需要合成的文字內容和特定風格的聲音輸入神經網絡，然后讓神經網絡合成特定風格的語音。如果需要通過肢體動作

51、表達情感，則需要先分析動作的基本單元，然后再根據情感與單元組合的映射關系合成相應的交互動作，讓機器執行。1.3情感計算的意義（1）情感計算是實現自然化、擬人化、人格化人機交互的基礎性技術和重要前提首先，情感計算讓人機交互擁有“深度”。計算機雖然已經擁有強大的計算能力，但是因缺乏與人相似的情感能力而始終無法與人進行深層次的、自然的人機交互。皮卡德曾表示，當初就是因為在研究人工智能時好像各方面受限于忽視了情感或者無法充分理解情感的機制。這促使她提出情感計算的概念并展開研究。情感的識別和表達對信息的交流和理解是必需的，使機器具備情感智能從而有助于交互信息的深度感知和理解。其次，情感計算讓人機交互擁有

52、“溫度”。人與機器的交互不再冰冷和程式化，而是更加貼心和共情，以突出人本理念、人性理解、人文關懷。再次，情感計算讓人機交互擁有“態度”。機器擁有了人格化特征、個性甚至是自我意識，可以帶來全新的人機共生生態。（2）情感計算為人工智能決策提供了優化路徑1718 世 紀，法 國 哲 學 家 勒 內 笛 卡 爾（Ren Descartes）提出的身心二元論在西方世界占據思想的主流。笛卡爾拒絕承認情感在理性決策中的作用，認為受情感支配會喪失自主權。然而，如今眾多研究已經表明情感在決策、理解、學習等理性思考中扮演著重要且正面的角色并影響最終的結果。認知神經科學家通過對情感障礙病理學、神經生理學、神經影像學

53、等的研究，為情感影響認知這個理論提供了堅實的科學依據。大量的研究表明，人在解決某些問題的時候，純理性的決策往往并非最優解。在作出決策時，情感的加入反而有可能幫助人們找到更優解。因此，情感變量的輸入或將幫助機器作出更加人性化的決策。（3）情感計算在多領域具有巨大應用價值，對開啟智能化、數字化時代具有重大價值目前，情感計算在教育培訓、醫療健康、商業服務等領域的應用，極大地提高了人的生活質量和幸福感。在教育培訓領域，情感計算的切入點主要在于識別學習者的情感狀態，然后給予相應的反饋和調節。例如，教師能夠通過情感教學智能系統進一步了解學生的課堂參與度，以便及時調整教學節奏和內容，改進教學計劃。智能系統能

54、夠通過情感分析挖掘學生感興趣的主題，從而推薦定制化的學習內容。學生也能通過智能系統進行真實的教學反饋，13第一章理論概述以提高教學評價的綜合性與準確性。智能系統的優勢在于既能在傳統課堂中使用，也能嵌入網絡軟件被應用于線上課堂。特別是在新冠肺炎疫情的影響下，線上教育培訓的應用場景更廣、頻率也更高。但是，遠程教育缺乏面對面互動的情感化課堂氛圍，因此使用情感計算的線上課堂值得被應用和推廣。除了課堂教育之外，情感計算還有利于教育游戲和教育機器人的研究和發展。融入情感元素的游戲和機器人能夠帶來更好的人機交互體驗，從而更有效地達到教育培訓目的。在醫療健康領域，尤其是在心理疾病的治療上，情感計算能夠科學和客

55、觀地對患者的情感進行識別和判斷，這是對行為觀察、量表填寫等主觀性較強的傳統診斷手段的有益補充?？陀^的數據有利于個性化、精準化醫療水平的提升，根據收集到的數據，可以為患者量身打造最合適的治療方案。在商業服務領域，情感計算的應用更加廣泛。一方面，消費者的體驗與情感高度關聯，情感計算可以幫助企業了解消費者的內心世界以及驅動消費行為的誘因。由此挖掘產生的信息能夠協助企業制定具有前瞻性的商業策略。另一方面，融入情感計算的產品能夠給消費者提供更貼心的服務。此外，情感計算還能用于安保防范和輿情監控，能夠在減輕人力成本的同時提升監控質量，保障社會和諧、穩定、安全?？傮w而言，雖然情感計算的研究和應用時間不長，但

56、是可以預見其潛力巨大。近代科學大部分是在認識和改造外部世界的過程中發展開來的，但目前人們對內心世界的認識還處于比較粗淺的階段。情感計算是在人工智能框架下的一大進步，體現了一種更高層次的智能，有助于引領人類走向和諧人機共生社會。15第二章技術綜述?隨著計算機科學的不斷發展，以及社會對個性化人機交互需求的不斷增強，情感計算在人機交互中的重要性日益凸顯，基于情感理解與表達的人機交互研究也受到了各領域的廣泛關注。情感計算對人的感知、推理、決策、規劃、創造、社會互動等許多活動起著不可或缺的作用?；谇楦杏嬎愕难芯吭谛袨榉治隹茖W中具有重要意義。情感計算大致可分為單模態情感計算和多模態情感計算，本章將按照圖

57、 2-1 所示，對情感計算展開介紹。第二章技術綜述圖 2-1情感計算研究框架16情感計算白皮書2.1單模態情感計算單模態情感計算主要包含文本、語音、視覺、生理信號等四種模態，下面將分別介紹其技術情況。2.1.1文本情感計算文本就是人與人之間的交流因時空等限制而借助的媒介，也是記錄信息的一種載體。文本記錄了人的思維意識活動，其中一些文本一定帶有情感傾向，那么對這部分信息的挖掘、研究和應用就是文本情感計算的主要內容。（1）研究背景和發展現狀由于機器無法直接理解語言文字這種非結構化的數據，自然語言處理（Natural Language Processing，NLP）應運而生。NLP 有兩個核心任務：

58、一是自然語言理解（Natural Language Understanding，NLU）通過語法分析、句法分析與語義分析對句子、段落、語篇等長文本進行理解；二是自然語言生成（Natural Language Generating，NLG）將非語言格式的數據轉換成人可以理解的語言格式。NLP建立了人類與計算機溝通的橋梁。由于數據的龐雜，人工分析成本高且耗時耗力，運用大數據技術和人工智能技術對文本的情感進行分析可以極大地提高效率和準確率。因此，文本情感計算應運而生且成為 NLP 的一大研究熱點。目前，文本情感計算屬于計算機語言學的研究范疇，主要研究情感狀態與文本信息的對應關系。文本情感的計算主要由

59、文本情感特征標注、文本情感特征提取算法和文本情感分類技術組成。計算機無法識別文本，需要先將文本轉為向量再進行分析。目前，常見的文本生成向量的方法有 CNN、RNN、長短期記憶網絡（Long Short-Term Memory，LSTM）等。（2）數據集NLP 數據集主要按語言種類進行生產。中文文本分類領域的相關數據集有根據新浪新聞 RSS 訂閱頻道 20052011 年的歷史數據篩選過濾生成的THUCNews 數據集、根據新浪微博生成的 weibo_senti_100k 和 simplifyweibo_4_moods、今日頭條新聞文本分類數據集、搜狗實驗室開發的全網新聞數據（SogouCA）和

60、搜狐新聞數據（SogouCS）、騰訊云消息隊列 CKafka 上線的數據中心接入的服務模塊 DataHub 等。英文文本分類領域的相關數據集有亞馬遜評論數據集（Amazon Reviews Dataset）、安然電子郵件數據集（Enron Email Dataset）、包含 5萬余條電影評論的影評數據集（IMDB Dataset）、大型英文詞匯數據庫 WordNet 等。（3）主要方法文本情感分析的首要研究問題是情感分類，當前主流的情感分類方法大致有五種：通過構建帶有情感傾向的情感詞典再基于情感詞典進行比較分析的方法、基于機器學習的方法、基于“情感詞典+機器學習”的方法、基于弱標注的方法、基于

61、深度學習的方法?；趥鹘y機器學習的情感分析方法主要有三類：監督學習、半監督學習和無監督學習。監督學習本質上是分類，通過已有的訓練樣本去訓練以獲得一個最優模型，再將全部的輸入映射為相應的輸出，對輸出進行簡單的判斷從而實現分類目的的方法。常見的監督學習方法有 K 最近鄰（K-Nearest Neighbor，KNN）、樸素貝葉斯（Naive Bayes）、支持向量機（Support Vector Machine，SVM）等。無監督學習沒有任何訓練樣本，需要直接對數據進行建模。常用的無監督學習方法有 K 均值聚類算法（k-means clustering algorithm，K-means）、主成分

62、分析法（Principal Component Analysis，PCA）等。半監督學習的方法是監督學習與無監督學習相結合的一種學習方法。上述方法雖然簡單易懂也具有較高的穩定性，但是存在精度不高和依賴人工操作的缺陷?；谏疃葘W習的分析方法彌補了這種缺陷。一方面，神經網絡的引入使模型的預測精度得到提高；另一方17第二章技術綜述面，不需要額外構建字典，從而降低了工作復雜度，減少了對人工操作的依賴。例如，LSTM 能夠對前后文進行連貫性建模、BERT 能夠將全文作為訓練樣本抽取特征。當人在閱讀一段文本時，都是基于自己已經擁有的對先前所見詞的理解來推斷當前詞的真實含義，也就是說，思想具有持久性。于是，

63、循環神經網絡最先被應用到 NLP 中，保證了信息的持久化和前后信息的連貫性，其中比較經典的 RNN是 LSTM、門 控 循 環 單 元（Gate Recurrent Unit，GRU）。隨著神經網絡在 NLP 中的應用逐漸深入，研究者發現組合神經網絡與單一的神經網絡相比往往有性能上的提升。例如，在 LSTM 的神經層后面接上捕捉局部特征的 CNN，能夠進一步提高精確度。但是，循環神經網絡也不是完美的，尤其是RNN 的機制會存在長程梯度消失的問題，對于較長的句子也很難寄希望于將輸入的序列轉化為定長的向量而保存所有的有效信息。為了解決由長序列到定長向量轉化而造成的信息損失的問題，注意力機制（Att

64、ention Mechanism）被引入。2018 年，谷歌公司推出的預訓練語言理解模型 BERT，通過大量無標注的語言文本進行語言模型的訓練，從而得到一套模型參數，利用這套參數對模型進行初始化，再根據具體任務在現有語言模型的基礎上進行精調來提高模型精度。（4）問題和挑戰由于語言的復雜性，目前文本提取仍面臨諸多挑戰，如文本隱含內容的提取、非標準化文本的出現、不同語言的文本情感分析等。鑒于文本情感分析應用范圍的復雜性，模型的適用范圍往往較為單一，很難在多個應用場景下均保持良好的表現。此外，有限的數據集也限制了文本情感分析在多元化場景中的應用。雖然文本能獨立地表示一定的情感，但是人的交流總是通過信

65、息的綜合表現來進行的。因此，多模態的情感分析更符合人對情感的感知，更符合人表達情感的模式。研究的結論也表明，相比單一的文本情感分析，多模式的情感分析效果更好。根據模態組合的常見方式，由文本情感分析衍生出兩大類多模態分析，即文本音頻分析和視頻文本分析。這也是目前研究者普遍關注的領域。2.1.2語音情感計算（1）研究背景和發展現狀傳統的語音處理系統僅僅著眼于語音詞匯傳達的準確性，隨著語音識別技術的迅速發展，如何識別語音中的情感已成為語音識別領域新興的研究方向。如今，“物”與“人”的交互變得更加頻繁和重要，人與人之間最自然的交互語音交互，成為物聯網中較為理想的人機交互方案。語音情感是指語音信號蘊含的

66、說話者的情感，主要表現在兩個部分：一個是語音所包含的語言情感內容，另一個是聲音本身所具有的情感特征，如音調的高低變化等。與語音情感相關的計算稱為語音情感計算。語音情感計算的研究內容包括語音情感識別和語音情感合成。（2）數據集語音情感數據集是語音情感計算的重要組成部分。目前，數據集的主要分類方式有兩種：按照情感語音的生成方式、情感的描述模型進行分類。根據語音的生成方式分類，語音情感數據集可被分為三類，分別是表演型、引導型、自然型；根據情感的描述模型分類，數據集可被分為兩類，分別是離散語音情感數據集、維度語音情感數據集。常用的代表性語音數據集如圖 2-2 所示。（3）主要方法語音情感識別系統對給定

67、語音的潛在情感進行分類的方法包括傳統方法、基于深度學習的方法。傳統的分類器有兩類：一類是基于統計的分類器，另一類是基于判別的分類器?；诮y計的分類器主要包括隱馬爾可夫模型（Hidden Markov Model，HMM）、高斯混合模型（Gaussian Mixture 18情感計算白皮書Model，GMM）和 KNN?；谂袆e的分類器主要包括人工神經網絡（Artificial Neural Network，ANN）、決策樹（Decision Tree）和 SVM。深度學習算法由于多層次的結構和高效的結果而被廣泛應用于語音情感識別領域，主要包括深度玻爾茲曼機（Deep Boltzmann Mac

68、hines，DBM）、遞歸神經網絡、CNN、LSTM，以及引入注意力機制的 LSTM。（4）問題和挑戰語音情感計算雖然具有廣闊的應用前景，但是尚未達到成熟階段。目前，語音情感計算尚待解決的問題包括缺少被廣泛認可的數據集、標注困難、語音的聲學特征與情感映射關系不清等。2.1.3視覺情感計算（1）研究背景和發展現狀在社交媒體時代，隨著具有拍照功能的移動終端的普及，各類圖片和視頻如潮水般涌入網絡，這為情感計算研究者提供了海量數據，人們嘗試用合適的模型來識別圖片和視頻所承載的情感信息。目前，視覺情感計算的研究熱點主要包括基于面部表情的情感識別研究和基于肢體動作的情感識別研究?；诿娌勘砬榈那楦凶R別研究

69、主要通過傳統計算機視覺以及深度學習來理解面部特征和情感；基于肢體動作的情感識別主要通過人體肢體動作來獲取人的情感信息。肢體動作與面部相比具有更大的自由度，這使得它能夠通過更豐富的方式來表達更復雜的情緒甚至意圖，也有助于使機器具有理解更豐富、更細微情感的能力，進而挖掘個體內心更深層次的情感和意圖。（2）數據集視覺情感數據集可以分為圖片情感數據集（見圖 2-3）和視頻情感數據集（見圖 2-4）。美國南加利福尼亞大學語音分析和解析實驗室（SAIL）的IEMOCAP（The Interactive Emotional Dyadic Motion Capture Database）數據集常用的代表性語音

70、數據集中國科學院自動化研究所的CASIA（Chinese Emo-tional Speech Corpus）數據集和FAU-Aibo（FAU Aibo Emotion Corpus）自然型數據庫德國柏林工業大學通信科學研究所的EmoDB（Berlin Emotional Database）數據集德國卡爾斯魯厄理工學院通信工程實驗室收集的無償數據集-VAM（Vera Am Mittag Database）數據集英國貝爾法斯特女王大學（Queens University Belfast）基于英國帝國理工學院（Imperial College London）iBUG小組開發的Semaine數據集圖

71、2-2常用的代表性語音數據集19第二章技術綜述（3）主要方法視覺情感計算主要研究從視覺信息感知和理解人的情緒，可以通過傳統機器學習方法與基于深度學習的方法對視覺情感計算進行研究。傳統機器學習方法主要有方向梯度直方圖、支持向量機、K 最近鄰、隨機森林等。但是，當面對爆炸式增長的視覺內容數據量時，傳統機器學習方法難以快速、準確地處理多媒體內容數據的伸縮性、泛化性問題。近年來，深度學習在許多領域均取得不錯的成績，尤其是在圖片分類、圖片識別、圖片檢索等計算機視覺領域。視覺情感計算的深度學習方法與傳統方法相比，具有更高的魯棒性與準確性，因此被廣泛應用于基于視覺的情感計算與分析領域。圖片情感計算方法以卷積

72、神經網絡方法為代表，主要通過深度學習從大量圖像數據中自動學習有助于情感分類的有效特征或強特征，以進一步提升圖片情感計算或分類能力。視頻情感計算方法以循環神經網絡為主，該深度學習方法擅長處理視頻等序列輸入，被廣泛應用于計算機視覺任務。圖 2-3圖片情感數據集ImageNet目前世界上最大的圖片識別數據集WIDERFADCE 人臉檢測基準數據集ArtPhoto在IAPS基礎上的擴展GAPED包含負面圖片、正面圖片和中性圖片WFLW 具有豐富的屬性標簽，如遮擋、姿勢、明暗、表情等APS由佛羅里達大學的情緒和注意力國家心理健康中心開發，旨在為研究情緒和注意力提供一套標準化的圖片，主要被廣泛應用于心理學

73、研究Image-Emotion-Social-Net 囊括三種類型的情緒標簽1 434080個，包括兩種情緒大類及八種情緒小類FlickrLDL TwittweLDL包含八種情緒標記的3萬張照片RAF-DB包含約3萬張面部圖片，除了表情標注以外，對每張人臉還有幾個特征點標注，包括人臉邊界框、種族、年齡和性別等典型的圖片情感數據集如遮擋、姿勢、明暗、如遮擋、姿勢、明暗、表情等典型的圖片情感數據集表情等Emotion6包含?？寺岢龅牧N基本情緒及一個中性情緒分類20情感計算白皮書（4）問題和挑戰視覺情感計算在實際應用中面臨不少難題。一是語義鴻溝。語義鴻溝是由于計算機獲取圖片的視覺信息與用戶對圖片

74、理解語義信息的不一致而導致的偏差。二是情感表述的準確性問題和標注困難問題。2.1.4生理信號情感計算（1）研究背景和發展現狀隨著高精確度、小型、便攜和低成本傳感器的普及，基于生理信號的情感計算快速發展。廣義而言，所有身體變化都可以視作生理信號。情感計算研究最常用的生理特征是腦電、心率和心率異變以及皮膚電流反應。（2）常用生理信號 腦電信號腦電信號與其他生理信號相比，具有直接客觀、難以偽裝、容易量化、特征多元的特點，并且與情感具有直接相關性，能夠表現出更高的情感識別精度，因此成為基于生理信號的情感識別中應用最廣泛的信號之一。在腦電信號預處理中最重要的過程是去除偽跡和噪聲，剝離與情感相關的腦電活動

75、，從而提取多種特征：如事件相關電位（ERP）、信號統計量、不穩定指數、高階交叉特征、分形維數等時域特征；如功率譜密度、微分熵等頻域特征；如事件相關去同步（ERS）、事件相關同步（ERD）、時頻微分熵等時頻域特征；非線性動力學特征；空域特征。最后，將多種特征帶入分類器進行分類。卷積神經網絡、深度信念網絡、深度殘差網絡等深度學習的方法也被用于基于腦電信號的情感分類。眼動信號眼動信號主要通過眼動追蹤技術獲取，記錄人的眼球運動在時間和空間上的數據。這些數據主要包括注視時間、注視位置、瞳孔大小、眼電圖信號LIRIS-ACCEDE包含9 800個視頻片段（每個時長為8 12秒）沿著效價軸排序，從最負面的視

76、頻到最積極的視頻，被廣泛用于情感評分HUMAINE由3個自然數據集和6個誘導反應數據集組成主流的視頻情感數據集MMI包括61個表現不同基本情緒的成年人和25個對情緒視頻作出反應的成年人的數據，目前被廣泛應用于情感分類MAHNOB-HCI是一個記錄情感刺激反應的多模式數據集，旨在進行情感識別和內隱標記研究。該數據集同步記錄了包括面部視頻、眼睛凝視數據和周圍/中樞神經系統生理信號圖 2-4視頻情感數據集21第二章技術綜述等，其中眼電圖信號是在眼動信號中應用比較廣泛的信號。眼電圖信號一般通過 Hjorth 參數、離散小波變換等多種方式提取特征，并將特征帶入分類器中進行分類。深度學習算法也逐步被應用于

77、特征提取、特征融合、情感分類等多個情感識別過程，以提升情感計算的效果。肌電信號肌電信號主要通過電極檢測肌肉收縮時產生的表面電壓，從而獲取肌電圖數據。肌電信號數據 集 主 要 包 括 DEAP、DECAF、HR-EEG4EMO、BioVid Emo DB 等。肌電信號的特征一般包含時域和時頻域兩個方面。時域主要提取肌電信號的均值、標準差、最大值、最小值等統計學的特征。時頻域主要是通過小波變換對肌電信號進行分解，提取各層小波系數的均值、標準差等。肌電信號的預處理包括濾波、降噪等，通過基于時域、頻域以及二者相結合等進行特征提取，利用小波變換、獨立成分分析（ICA）算法等進行特征選擇與降維，從而將特征

78、帶入基于傳統方法的分類器或深度學習算法中進行分類。皮膚電信號皮膚電信號是一種常用的情感計算指標，依賴于人體的汗腺分泌，電導率隨著汗液離子填充汗腺而變化。皮膚電導可以在身體的任何地方測量，最常見的電極放置位置是在手的中指和食指末梢部位。皮膚電導水平（Skin Conductance Level，SCL）和皮膚電導反應（Skin Conductance Response，SCR）是兩個重要的情感計算特征。皮膚電信號數據集主要包括 CASE、DEAP、HR-EEG4EMO、BioVid Emo DB 等。皮膚電信號的預處理包括降噪、歸一化等，通過提取統計特征或算法優化的方式進行特征提取，最后將特征放

79、入合適的分類器中進行情感計算。心電信號心電信號（ECG）是人體心臟搏動時心肌細胞產生的動作電位綜合而成的。心電信號能夠反映心臟的活動，情緒的變化也會直接導致心臟活動的變化，因此心電信號也能運用于情感識別領域。心電特征主要包括 PQRST（心電圖的 5 個波形）、心率、心率變異性（如 SDNN、SDANN、rMSSD、pNN50 等），公開的心電信號情感數據集較少，常用的是德國奧格斯堡大學情感生理數據集和 HR-EEG4EMO 數據集。呼吸信號呼吸是人體重要的一個生理過程，隨著情感的起伏波動，呼吸系統的活動在速度和深度上會有所改變。因此，通過對呼吸信號的研究，可以用于判斷個體情感狀態的變化。常用

80、的呼吸信號特征包括呼吸頻率、平均呼吸水平、連續呼吸之間的最長和最短時間、深呼吸和淺呼吸、相鄰呼吸波峰的間期、呼氣幅度的一階差分、二階差分等。常用的數據集是 DEAP 數據庫、HR-EEG4EMO 數據集和MIT 情感生理數據集。（3）問題與挑戰基于生理信號的情感識別技術雖然已經擁有諸多成功案例，但是存在許多未解決的科學問題。首先是信號的采集不便。測量生理信號是建立生理情感計算系統的第一步，而用于檢測信號的傳感器卻極大地受限于場地、環境、可操作性等，也面臨可穿戴性差和計算能力弱等困擾。其次是生理信號的通用性較低。例如，隨著年齡的變化或某些疾病的產生，生理信號數據會產生差異，即使是同一個人，隨著體

81、力活動、交談或姿勢的變換，生理信號也會不同。這并不與情感的變化直接相關。再者是情感標注不精確、數據難以窗口化、采樣繁瑣、數據的處理與計算難度大，以及非情感和情感對生理影響存在多對一映射、用戶隱私泄露等問題。2.2多模態情感計算雖然人臉表情、肢體動作、語音等均能獨立22情感計算白皮書地進行情感理解和表達，但是人的相互交流總是通過不同模態信息的綜合表現來進行的。多模態情感分析可以將不同模態之間的信息進行互補并用于消歧，使情感分析更準確，具有更高的魯棒性，也更貼合人類的自然表達。這讓多模態情感計算成為當下人工智能領域最熱門的話題之一。2.2.1研究背景和發展現狀單模態的信息量不足且容易受到外界各種因

82、素的影響，如面部表情容易被遮擋、語音容易受噪聲干擾等。此外，當個體主觀上對情感信號加以掩飾或者單一通道的情感信號受到其他信號影響時，情感分析性能就會明顯下降。人的情感通常以多種模態的方式呈現，大腦在整合多感官信息時存在多階段融合的現象。多模態情感分析能夠有效利用不同模態信息的協同互補來增強情感理解與表達能力。引入多模態情感計算是提高模型魯棒性等性能以及優越性的關鍵。目前，對多模態情感計算的研究主要集中在對情感識別和理解的方法上。多模態情感計算的發展趨勢集中體現在四個方面：融合語義信息多尺度對情感進行準確地理解，從多個維度進行多模態情感分析；提高在復雜環境下情感計算的魯棒性，實現在非協作開放模式

83、下，面向高維碎片化開源數據，實現目標對象情感狀態的精準識別；與預訓練及多任務聯合訓練等方法結合，實現在更多場景下的多模態情感計算；探索通用的多模態情感計算模型，通過適配多場景應用，實現多模態情感計算應用零成本遷移。2.2.2多模態數據集針對多模態情感計算的迫切需求，美國卡內基梅隆大學提出了一個大規模的多模態對話情感計算數據集 CMU-MOSEI。CMU-MOSEI 包含了視頻文本、用協同語音分析庫技術（COVAREP）抽取的聲學特征等。在標簽方面，CMU-MOSEI 數據集不僅具有情感標簽，而且對情感的強弱進行了標注，從而可以支撐細粒度的情感分析任務。目前，主流的生理信號類多模態情感計算資源主

84、要采用音頻、視頻刺激方法誘發情緒，同步采集多模態生理信號，進而分析不同情緒下中樞神經系統和自主神經系統的反應，以實現基于多模態生理信號的情感識別。典型計算資源包括 DEAP、DECAF、HR-EEG4EMO 等數據集，包含腦電、皮膚電、呼吸、皮膚溫度、心電、肌電、血容量脈沖、眼電等信號。實驗被試者根據自身感受從喚醒度、效價、偏好、支配度和熟悉度等維度進行評分。由于被試個體的性別、年齡等因素均會對情緒激發產生重要影響，考慮引入相關人口統計學信息并建模是非常必要的。2.2.3多模態融合策略目前，新興研究方法大多基于多模態情感特征及融合算法創新，以提升情感分類的準確率。在情感計算中，每個模塊所傳達的

85、人類情感的信息量大小和維度不同。在人機交互中，不同的維度還存在缺失和不完善的問題，因此情感計算應盡可能從多個維度入手，將單一不完善的情感通道補上，最后通過多結果擬合來判斷情感傾向。在模態融合方面，多模態情感計算可分為模型無關和模型依賴兩種路線。模型無關包括特征級融合（前期融合）、決策級融合（后期融合）和混合式融合。特征級融合主要先通過構建特征集合或混合特征空間，再送入分類模型進行分類決策。決策級融合關鍵在于找出不同模態在決策階段的可信程度，再進行協調、聯合決策?；旌鲜饺诤习鲜鰞煞N融合。模型依賴的方法為多模態融合設計了特殊結構，基于核函數的融合和基于圖的融合常用于淺層模型，基于神經網絡的融合

86、、基于張量的融合、基于注意力機制的融合等則多用于深層模型。模型級融合可以將不同模態特征分別輸入不同模型結構再進一步提取特征。決策級融合與特征級融合23第二章技術綜述相比，更容易進行，但關鍵是要探究各個模態對情緒識別的重要程度。然而，模型級融合并不需要重點去探究各模態的重要程度，而是根據模態特性需要建立合適的模型，聯合學習關聯信息?？傊?，模型級融合相較于決策級融合和特征級融合最大的特點在于靈活地選擇融合的位置。近年來，有學者提出了多階段多模態情感融合，即先訓練一個單模態模型，將其隱含狀態與另一個模型特征拼接得到雙模態模型并進行再訓練，以此類推，得到多模態模型。2.2.4問題與挑戰解決多模態情感計

87、算問題需要更豐富的模態信息積累，以及不同模態之間的細粒度對齊，這無疑對多模態信息的提煉與整合提出了更高的要求。同時，受情感信息捕獲技術的影響，以及標記困難的問題，建立高質量多模態數據集是當下的主要挑戰之一。傳統多模態學習范式對特征之間的關聯關系信息和特征的高階信息的關注不夠，而深度多模態學習范式則缺乏大規模的情感數據資源，有關多模態特征融合的情感理解模型研究還有待深入，如融合語義信息進行多尺度情感準確理解、提高復雜環境下情感計算的魯棒性、探索通用的多模態情感計算模型等。這些技術的完善將進一步推動多模態情感計算的研究與發展。25第三章成果情況第三章成果情況本章以科技文獻為基礎數據進行統計，若文中

88、無其他特殊說明，統計口徑如表 3-1 所示，檢索策略如表 3-2 所示。此外，白皮書還使用了以下數據庫。Incite數據庫。該數據庫基于科睿唯安（Clarivate Analytics）Web of Science 核心合集七大索引數據庫的數據全部文獻類型的出版物數據進行出版物計數和指標計算，從而為科研人員提供績效分析?；究茖W指標（Essential Science Indicators，ESI）數據庫。該數據庫是一個基于 Web of Science數據庫的深度分析型研究工具。ESI 可以確定在某個研究領域有影響力的國家、機構、出版物、論文以及研究前沿。期 刊 引 證 報 告（Journa

89、l Citation Records，JCR）數據庫。該數據庫是一個多學科期刊評價工具。期刊引證報告提供基于引文數據統計信息的期刊評價資源。通過對參考文獻的標引和統計，期刊引證報告可以在期刊層面衡量某項研究的影響力，顯示引用和被引期刊之間的相互關系。表 3-1統計口徑論文數據來源Web of Science 核心合集數據庫專利數據來源Derwent Innovations Index 數據庫數據收集時間2022 年 7 月 21 日論文文獻類型Proceedings Paper、Article、Review Article、Early Aceess引文統計方式被引頻次統計時間截至 2022 年

90、 7月 21 日，不在此時間范圍內的論文及其被引頻次均不在引文統計的計算范圍內數據清理規范機構名稱采用機器與人工方式協同進行清理規范，但在科學家發表論文時由于機構名稱撰寫不規范，可能會造成論文統計的遺漏以及指標計算結果的偏差中國論文定義中國（含港澳臺地區）作者統計方式在進行作者統計時會說明作者統計方式，主要包括第一作者統計和全作者統計 Web of Science 核心合集是世界領先的引文數據庫，包括 Science Citation Index Expanded、Social Sciences Citation Index、Arts&Humanities Citation Index、Eme

91、rging Sources Citation Index、Conference Proceedings Citation Index-Science（CPCI-S）、Conference Proceedings Citation Index-Social Sciences&Humanities（CPCI-SSH）等共計 10 個索引數據庫。Derwent Innovations Index（DII）由湯森路透知識產權與科技集團出版，包括 Derwent World Patent Index（DWPI）與 Derwent Patents Citation Index（DPCI）。26情感計算白皮

92、書表 3-2檢索策略索引字段策略主題關鍵詞（TS）affective recognitionORmood recognitionORaffective computingORartificial emotional intelligenceORemotion AIORexpression recognitionORemotion recognitionORemotion learningORsentiment analysisORsentiment recognize學科分類（WC）Computer Science Artificial Intelligence OR Engineering

93、Electrical Electronic OR Computer Science Theory Methods OR Computer Science Information Systems OR Computer Science Interdisciplinary Applications OR Telecommunications OR Neurosciences OR Computer Science Software Engineering OR Psychiatry OR Computer Science Cybernetics OR Psychology Multidiscipl

94、inary OR Automation Control Systems OR Computer Science Hardware Architecture OR Engineering Multidisciplinary OR Robotics OR Engineering Biomedical OR Acoustics3.1情感計算領域研究趨勢自 1997 年皮卡德正式提出情感計算概念至今，情感計算已歷經 26 年的發展，該領域科研人員產出并積累了大量的科研論文。以 Web of Science 核心合集數據庫為數據基礎，對該領域的論文進行檢索，結果顯示，至今全球發文量共計 27 434 篇

95、。其中，會議論文 13 836 篇，會議論文和期刊論文各占總發文量的 50%左右。圖 3-1情感計算領域發文趨勢（2022 年不完全統計）3.1.1整體趨勢如表 3-3 和圖 3-1 所示，19972009 年，情感計算領域的全球發文量平穩上升，雖然偶有波動，但是整體呈現增長趨勢。20102019 年，深度學習的崛起推動了情感計算領域的高速發展，發文量迅速上升，情感計算研究進入爆發式增長階段。2019 年，發文量達到 3 208 篇。2019 年以后，由于深度學習方法創新進入平臺期，情感計算研究也隨之進入平臺期，研究熱度和上升趨勢有所放13201745365373132 12522234845

96、15474746647671 1081 3811 9402 1332 4013 0773 2082 95532191 59605001 0001 5002 0002 5003 0003 5001997 1999 2001 2003 2005 2007 2009 2011 2013 2015 2017 2019 2021發文量/篇年份27第三章成果情況緩。2022 年，因統計時間窗口未覆蓋全年，數據不完整，故出現大幅下跌。3.1.2主要研究陣地（國家/地區分析）以論文全部作者和第一作者所屬國家/地區字表 3-3情感計算領域整體發文趨勢出版年發文量/篇占總發文量的百分比/%1997130.0519

97、98200.071999170.062000450.162001360.132002530.192003730.2720041320.4820051250.4620062220.8120073481.2720084511.6420095471.9920104741.7320116642.4220127672.80201311084.04201413815.03201519407.07201621337.78201724018.752018307711.222019320811.692020295510.772021321911.73202215965.82表 3-4情感計算領域全球發文量前 2

98、0 名的國家（單位：篇）序號全部作者發文國家發文量第一作者發文國家發文量1中國6 905中國6 4482美國4 085印度2 9383印度3 075美國2 8644英國2 136英國1 2445德國1 482德國1 1046日本1 145意大利8737意大利1 111日本8568澳大利亞1 062韓國7999西班牙996西班牙74210加拿大933澳大利亞70811韓國925加拿大62212法國852法國53713荷蘭684土耳其53214土耳其634荷蘭42315沙特阿拉伯565馬來西亞39116新加坡515巴西38917馬來西亞481巴基斯坦36818巴基斯坦460希臘36519巴西457

99、新加坡32320希臘425伊朗319段進行計量統計，分析情感計算領域的主要研究陣地。如表 3-4 所示，在情感計算領域全球發文量前 20 名的國家中，中國是全部作者和第一作者發文量最多的國家，占總發文量的 24%和 23%。中國、美國、印度、英國和德國位居全部作者和第一作者發文量前 5 名，是情感計算領域最重要的研究陣地。其中，美國在全部作者發文量上排名第二，但在第一作者發文量上排名第三，位居印度之后。情感計算領域前 20 名的全作者發文國家的歷年發文量見附錄 1。28情感計算白皮書除了 20212022 年以 2 年為步長外，以 4 年為步長對情感計算領域發文量前 10 名國家的發文量進行統

100、計，結果如表 3-5 所示。如圖 3-2 所示，在整個發文期內，中美兩國的發文量對比有較大改變。19972004 年，美國的發文量遠超中國，其中 19972000 年中國發表 3-5發文量前 10 名國家的發文量統計（單位：篇，以 4 年為步長）序號國家發文量19972000 20012004 20052008 20092012 20132016 20172020 202120221中國6292984921 3742 9831 5862美國31942484561 0491 6205443印度11141047271 4566664英國6561242395178563095德國7211101984

101、005381886日本2829971302704231607意大利1737933224451868澳大利亞210421152494321949西班牙193611223540418510加拿大31339113256362135圖 3-2情感計算領域發文量前 5 名的國家與美國發文量比年份文總量為美國的 20%，20012004 年中國發文總量上升為美國的 31%。從 2005 年開始，中國發文量反超美國，20212022 年中國發文量約為美國的 3 倍。由此可見，近年來中國在情感計算領域的研究積累較快，研究數量相比美國有一定的優勢。此外，近兩年印度的發文量首超美29第三章成果情況國，可見印度逐漸

102、成為情感計算領域的主要研究陣地。3.1.3主要發文期刊本部分以期刊論文為基礎數據進行分析，如表 3-6 所示，13 598 篇期刊論文分布在 1 204 本期刊上，其中發文最多的是 IEEE ACCESS，發文量為 650 篇。該刊在 2021 年期刊引證報告電信 學（Telecommunications）、電 氣 與 電 子 工 程（Engineering，Electrical&Electronic）、信息系統（Computer Science，Information Systems）等 3 個 領域內的 Q2 期刊，影響因子（Impact Factor，IF）為3.476。1 204 本

103、期 刊 中 有 834 本 在 2021 年 期 刊 引證報告中具有影響因子。834 本期刊的影響因子分布如表 3-7 所示，其中影響因子大于 10 的期刊共計 26 種，影響因子最高的 5 本期刊分別是 美 國 精 神 病 學 雜 志 （American Journal of Psychiatry）（19.242）、IEEE 控制論交易（IEEE Transactions on Cybernetics）（19.118）、信息融合（Information Fusion）（17.564）、大腦（Brain）（15.255）、美國計算機協會計算概觀（ACM Computing Surveys）（1

104、4.324）。如圖 3-3 所示，絕大多數地球科學領域期刊的影響因子都分布在 2 IF 4 和 4 IF 7 這兩個區間內。3.1.4領域分布本部分通過對情感計算領域論文的 Web of Science 類別進行統計以分析研究領域分布。Web of Science 在期刊級別分配類別（Categories）中共分為 254 個類別，Web of Science 核心合集（Web of Science Core Collection）涵蓋的每種期刊都分配表 3-6 期刊論文發文量前 20 名的期刊（單位：篇）序號出版物名稱發文量1IEEE Access6502Multimedia Tools a

105、nd Applications3303Frontiers in Psychology2854IEEE Transactions on Affective Computing2855Sensors2606Expert Systems with Applications2317Neurocomputing2238Applied Sciences-Basel1999International Journal of Advanced Computer Science and Applications19810Psychiatry Research18511Knowledge-Based Systems

106、17412Schizophrenia Research13313Neuropsychologia12914Journal of Intelligent&Fuzzy Systems11715Neural Computing&Applications10716Information Processing&Management10417Cognitive Computation9218Electronics9119IEEE Transactions on Multimedia8520Information Sciences84表 3-7期刊影響因子分布（單位：種）期刊影響因子期刊數量IF 10267

107、 IF 10704 IF 72092 IF 43221 IF 2153IF 154 http:/ Web of Science 類別。一種期刊最多可以分配 6 個類別。期刊的所有文章都將被分配到發表該期刊的 Web of Science 類別。在為期刊選擇Web of Science 類別時，需要考慮的標準包括期刊的主題和范圍、作者與編委會的隸屬關系、提供贈款資助的供資機構、引用參考文獻等。情感計算領域的所有文章共涉及 158 個 Web of Science 類別，覆蓋計算機、通信、工程、心理學、醫學等學科，其中發文量最多的前 20 個類別如表 3-8 所示。占比最多的類別為計算機科學與人工

108、智能，發文量為 10 470 篇，占總發文量的36.31%，其次為電氣與電子工程，發文量為 8 514篇，占總發文量的 29.52%。表 3-8發文最多的前 20 個類別序號Web of Science 類別發文量/篇占總發文量的比重/%中文名英文名1計算機科學與人工智能Computer Science，Artificial Intelligence10 47036.312電氣與電子工程Engineering，Electrical&Electronic8 51429.523計算機科學理論與方法Computer Science，Theory&Methods7 45425.854計算機科學與信息系

109、統Computer Science，Information Systems7 25725.165計算機科學與跨學科應用Computer Science，Interdisciplinary Applications3 13310.866電信學Telecommunications2 6719.267計算機科學與軟件工程Computer Science，Software Engineering2 4248.418神經科學Neurosciences2 2887.93圖 3-3期刊影響因子圖示IF 107 IF 104 IF 72 IF 41 IF 2IF 107 IF 104 IF 72 IF 41

110、IF 2IF 1IF 131第三章成果情況3.2高水平國際會議本部分結合了中國計算機學會推薦國際學術會議和期刊目錄 核心計算機科學會議排名（CORE Computer Science Conference Rankings）及專家意見形成情感計算領域高水平國際會議列表。需要特別指出的是，該部分只根據目前已有的目錄和排名進行整理和歸納，并不能作為學術評價的依據。此外，會議的影響力并不直接與發表在會議上的單一論文的影響力正相關。表 3-9 列出了情感計算領域發文量較多且影響力較大的會議。序號Web of Science 類別發文量/篇占總發文量的比重/%中文名英文名9精神病學Psychiatry2

111、 2197.6910計算機科學與控制論Computer Science，Cybernetics1 5875.5011成像科學和攝影技術Imaging Science&Photographic Technology9183.1812自動化控制系統Automation&Control Systems8713.0213計算機科學與硬件架構Computer Science Hardware&Architecture8713.0214交叉心理學Psychology，Multidisciplinary8272.8715交叉工程學Engineering，Multidisciplinary7722.6816機

112、器人學Robotics7042.4417臨床神經病學Clinical Neurology6612.2918心理學Psychology6232.1619生物醫學工程Engineering，Biomedical5942.0620聲學Acoustics5541.92（續表）表 3-9情感計算領域高水平國際會議序號會議名稱CCF RANKCORE RANK中文名英文名簡稱1ACM 多媒體國際會議ACM International Conference on MultimediaACM MMAA+2AAAI 人工智能會議AAAI Conference on Artificial Intelligence

113、AAAIAA+3國際計算語言學年會Annual Meeting of the Association for Computational LinguisticsACLAA+4IEEE 計算機視覺和模式識別大會IEEE Conference on Computer Vision and Pattern RecognitionCVPRAA32情感計算白皮書3.2.1ACM 多媒體國際會議ACM 多 媒 體 國 際 會 議（ACM International Conference on Multimedia，ACM MM）是在中國計算機學會推薦國際學術會議和期刊目錄中“計算機圖形學與多媒體”的 A

114、類會議。ACM MM從 1993 年創辦以來每年舉辦 1 次，會議通過口頭、視頻和海報演示、輔導、座談會、展覽、研討會、博士研討會、多媒體挑戰賽等多種方式塑造研究領域的新想法。ACM MM 會議專注于推進多媒體的研究和應用，包括但不限于圖像、文本、音頻、語音、音樂、傳感器、社交數據。會議涉及的研究主題包括四個大類主題，12 個細分主題（見圖 3-4）。其中，“情感與社會信號”領域的研究內容包括通過分析用戶情感從而開發更具有吸引力的多媒體交互。3.2.2AAAI 人工智能會議AAAI 人工智能會議（AAAI Conference on Artificial Intelligence）是由國際人工

115、智能協會（Association for the Advancement of Artificial Intelligence）主辦的人工智能領域頂級會議之一，也是中國計算機學會推薦國際學術會議和期刊目錄人工智能領域的 A 類會議和核心計算機科學會議排名的 A+會議。20182022 年，AAAI 人工智能會議在情感計算領域發文共計 95 篇。AAAI 人工智能會議也設置了情感計算領域的研討會（Workshop），如 2018 年的“情感內容分析（Affective Content Analysis）”研討會。該研討會重點對文本和語言進行情感計算，構建情感計算過程中的標準化的基線、數據集和評估

116、指標。中國計算機學會推薦國際學術會議和期刊目錄分為 A、B、C 類。中國計算機學會（CCF）在制定目錄時規定，會議論文是指“Full paper”或“Regular paper”，即正式發表的長文，會上以其他形式發表的論文，如 Short paper、Demo paper、Technical Brief、Summary 以及作為伴隨會議的研討會（Workshop）等，不計入目錄。序號會議名稱CCF RANKCORE RANK中文名英文名簡稱5IEEE 計算機視覺國際會議IEEE International Conference on Computer VisionICCVAA+6情感計算和智能

117、交互國際會議International Conference on Affective Computing and Intelligent InteractionACII7IEEE 自動人臉和手勢識別國際會議和研討會IEEE International Conference and Workshops on Automatic Face and Gesture RecognitionFGCB8IEEE 國際聲學語音和SP 會議IEEE International Conference on Acoustics，Speech and SPICASSPBB注：“CCF RANK”“CORE RAN

118、K”分別為中國計算機學會推薦國際學術會議和期刊目錄分類、核心計算機科學會議排名等級。（續表）33第三章成果情況3.2.3國際計算語言學年會國際計算語言學年會（Annual Meeting of the Association for Computational Linguistics）是自然語言處理領域最高級別的會議，由國際計算語言學協會（The Association for Computational Linguistics）舉辦。國際計算語言學協會是主要的國際科學和專業協會，致力于研究涉及人的語言計算問題。該協會成立于 1962 年，最初名為機器翻譯和計算語言 學 協 會（Associa

119、tion for Machine Translation and Computational Linguistics，AMTCL），1968 年 改 名為國際計算語言學協會。國際計算語言學協會的活動除了每年夏天舉行國際計算語言學年會之外，還贊助美國麻省理工學院出版社出版計算語言學（Computational Linguistics）期刊，該刊是該領域的主要出版物。國際計算語言學年會為中國計算機學會推薦國際學術會議和期刊目錄人工智能領域的 A 類會議和核心計算機科學會議排名的A+會議。該會議的研究主題為各種語言的計算模型，為特定的語言學或心理語言學現象提供計算解釋。3.2.4IEEE 計算機視覺

120、和模式識別會議IEEE 計 算 機 視 覺 和 模 式 識 別 會 議（IEEE Conference on Computer Vision and Pattern Recognition，IEEE CVPR）是首屈一指的計算機視覺領域年度會議，由 IEEE 計算機學會（IEEE Computer Society）和計算機視覺基金會（Computer Vision Foundation）共同贊助。使用者可以通過計算機視覺基金會開放獲取會議論文。IEEE CVPR 是中國計算機學會推薦國際學術會議和期刊目錄人工智能領域的A 類會議和核心計算機科學會議排名的 A 類會議。圖 3-4ACM 多媒體國

121、際會議涉及的研究主題通過多媒體吸引用戶情感與社會信號多媒體搜索和推薦總結、分析和陳述體驗交互和體驗質量藝術與文化多媒體應用多媒體內容理解多模式集成和結盟視覺與語言基于邊緣的資源高效多媒體計算多媒體系統系統和中間件運輸與交付數據系統管理與索引主題1主題2主題3主題434情感計算白皮書3.3高水平期刊目前，高水平期刊沒有明確的定義。本部分以中國科學院文獻情報中心期刊分區表與期刊引證報告分區表相結合的方式標定高水平期刊，這兩種分區表都是基于期刊影響因子進行分區計算的。特別需要指明的是，期刊影響因子是反應期刊影響力的常用指標，但并不代表期刊或者期刊文章的質量，只能在一定程度上反應期刊的影響力。（1）期

122、刊影響因子期刊影響因子是美國科技信息研究所所長尤金加菲爾德（Eugene Garfield）在 1972 年提出的一個評價期刊的重要指標。該指標是一個相對數量指標，主要用以調整和修正期刊總被引頻次過大的問題。期刊影響因子是指某刊在某年被全部源刊物引證該刊前 2 年發表論文的次數，與該刊前 2 年所發表的全部源論文數之比，即：期刊影響因子=某刊前 2 年發表論文在該年的被引用次數/該刊前 2 年發表論文總數（2）期刊引證報告期刊引證報告包括 SCI 收錄的 12 000 余種期刊之間的引用和被引用的數據，并對這些數據進行了統計、運算，針對每種期刊定義了期刊影響因子等指數。截至報告撰寫日，期刊引證

123、報告2021是最新公布的期刊引文報告。期刊引證報告將期刊劃分為 21 個大類（Groups）、254 個小類（Categories），一種期刊可以歸屬多個小類。（3）中國科學院期刊引證報告期刊分區中國科學院期刊引證報告期刊分區是中國科學院文獻情報中心的研究成果，中國科學院期刊引證報告期刊分區表基礎版對科睿唯安每年發布的期刊引證報告的 SCI 期刊在學科內依據 3 年平均影響因子劃分分區。為了使歷年的期刊分區相對穩定，減少影響因子上下波動帶來的影響，中國科學院分區表采用 3 年平均 IF。計算公式如下：3 年平均 IF=（當年 IF+去年 IF+前年 IF）/3中國科學院期刊引證報告期刊分區包括

124、大、小類兩種學科分類體系：小類學科體系是基于科睿唯安發布的期刊引證報告的學科；大類學科體系是由地學、地學天文、環境科學、農林科學、工程技術、物理、化學、生物、數學、醫學、社會科學、管理科學、綜合性期刊等共 13 個大類學科所構成的分類體系。在情感計算領域期刊論文涉及的 1 204 本期刊中，有247本期刊為期刊引證報告Q1分區期刊（見附錄 2）。以發文數量、計算機相關大領域為遴選標準進行遴選，標定情感計算領域高水平學術期刊（前 10 名），如表 3-10 所示。3.3.1 IEEE 情感計算匯刊IEEE 情感計算匯刊（IEEE Transactions on Affective Computi

125、ng）是 IEEE 旗下一本跨學科期刊，旨在傳播關于可以識別、解釋和模擬人的情感與相關情感現象的系統設計的研究結果。該刊涵蓋但不限于以下主題：傳感與分析，從面部和身體手勢識別情感狀態的算法和特征；分析文本和口語以進行情感識別；分析情感言語的韻律和語音質量；從功能性磁共振成像（FMRI）、EEG等中樞與皮膚電（GSR）等外周生理測量中識別情感狀態；情感狀態的多模態識別方法；識別群體情感；心理問題的數據收集方法（如情緒誘導和引發）或技術方法（如動作捕捉）；用于提供情感語料庫的注釋工具和方法等。該刊在中國科學院分區表中屬于工程技術大類，在小類計算機（人工智能、計算機）、控制 IEEE.https:/

126、ieeexplore.ieee.org/xpl/aboutJournal.jsp?punumber=516536935第三章成果情況論分區為 Q2 區，在 JCR 中小類計算機（人工智能、計算機）、控制論分區為 Q1 區。2021 年，該刊的影響因子為 13.990，無自引期刊影響因子為13.634，為非開源（OA）期刊。該刊為季刊，2021年發文量為 84 篇。3.3.2 專家系統與應用專家系統與應用（Expert Systems with Applications）主要發表關于專家和智能系統的設計、開發、測試、實施、管理的論文。該刊在中國科學院分區表中屬于工程技術大類，在小類計算機（人工智

127、能、電子與電氣工程、運籌學與管理科學）分區為 Q2 區，在 JCR 中屬于小類計算機（人工智能、電子與電氣工程、運籌學與管理科學）分區為Q1 區。2021 年，該刊的影響因子為 8.665，無自引期刊影響因子為 7.494，為開源期刊。該刊為周刊，2021 年發文量為 1 863 篇。3.3.3 知識系統知識系統（Knowledge-Based Systems）是荷蘭出版的人工智能領域的國際性跨學科英文期刊，專注于基于知識和其他人工智能技術系統的研究。該刊目前的主要主題包括但不限于認知互動和腦機接口、智能決策支持系統、預測系統和預警系統、數據科學理論、方法和技術等。該刊在中國科學院分區表中屬于

128、工程技術大類，在小類計算機（人工表 3-10情感計算領域高水平期刊序號期刊名稱Web of Science 類別IF1IEEE Transactions on Affective ComputingComputer Science，Cybernetics/Computer Science，Artificial Intelligence13.9902Expert Systems with ApplicationsComputer Science，Artificial Intelligence/Engineering，Electrical&Electronic/Operations Researc

129、h&Management Science8.6653Knowledge-Based SystemsComputer Science，Artificial Intelligence8.1394Information Processing&ManagementComputer Science，Information Systems/Information Science&Library Science7.4665IEEE Transactions on MultimediaComputer Science，Software Engineering/Computer Science，Informat

130、ion Systems/Telecommunications8.1826Information SciencesComputer Science，Information Systems8.2337Pattern RecognitionComputer Science，Artificial Intelligence/Engineering，Electrical&Electronic8.5188Applied Soft ComputingComputer Science，Interdisciplinary Applications/Computer Science，Artificial Intel

131、ligence8.2639Decision Support SystemsOperations Research&Management Science/Computer Science，Information Systems/Computer Science，Artificial Intelligence6.96910Future Generation Computer Systems-The International Journal of EscienceComputer Science，Theory&Methods7.30736情感計算白皮書智能）分區為Q2區，在JCR中屬于小類計算機（

132、人工智能）分區為 Q1 區。2021 年，該刊的影響因子為 8.139，無自引期刊影響因子為 7.194，為非開源期刊。該刊每年出版8期，2021年發文量為951篇。3.3.4 信息處理與管理信息處理與管理（Information Processing&Management）是英國出版的英文期刊，專注于計算和信息科學的前沿原創研究。該刊在中國科學院分區表中屬于工程技術大類，在小類計算機（信息系統）分區為Q2區，在JCR中屬于小類計算機（信息系統、信息科學與圖書館科學）分區為 Q1 區。2021 年期刊影響因子為 7.466，無自引期刊影響因子為 5.910，為非開源期刊。該刊為雙月刊，2021

133、年發文量為 340 篇。3.4重要研究成果本部分根據數據來源，將重要研究成果分為三個部分：ESI 高被引與熱點論文、領域重要會議獲獎論文、領域重要期刊獲獎論文。3.4.1ESI 高被引論文和熱點論文ESI 是一種分析工具，旨在識別 Web of Science核心合集中表現最好的研究。ESI 對來自世界各地的 11 000 多種期刊進行分析，根據出版和引用表現對 22 個廣泛領域的國家、機構、期刊、論文、作者進行排名。ESI 數據來源于 Web of Science核心合集中的科學引文索引擴展（SCIE）和社會科學引文索引（SSCI）。引文計數來自包括 Science Citation Ind

134、ex Expanded、Social Science Citation Index和 Arts&Humanities Citation Index 在內的索引期刊的引文。ESI數據每2個月更新1次，1年更新6次。本部分采用的 ESI 數據發布日期為 2022 年 7 月 14日，為 2022 年第 2 個雙月刊。論文覆蓋范圍為 10年 4 個月，即 2012 年 1 月 1 日至 2022 年 4 月 30日。是否納入 ESI 取決于是否滿足某些引用閾值。只有被引用次數最多的國家、機構、論文、期刊、作者才會被納入 ESI。表 3-11 顯示了高被引論文（Highly Cited Papers）

135、和熱點論文（Hot Papers）的閾值。高被引論文是指與同一領域同年發表的所有其他論文相比，被引用次數達到前 1%的論文；熱點論文是指 2 年內發表的與同一領域同年發表的所有其他論文相比，被引用次數達到前 0.1%的論文，熱門論文在發表后迅速獲得引用。表 3-11ESI 高被引論文和熱點論文的閾值實體百分位數/%數據年高被引論文110熱點論文0.12情感計算領域的 ESI 高被引論文和熱點論文如表 3-12 所示，本期 ESI 共有 153 篇高被引論文，其中 5 篇為熱點論文。ESI 按照 22 個學科對期刊進行排名并確定表現最好的論文，每種期刊只被分配到一個領域。在期刊跨學科的情況下，根

136、據對引用參考文獻的分析，在論文層面進行重新分類。37第三章成果情況表 3-12情感計算領域高被引論文和熱點論文（被引頻次排序前 50 名）序號作者標題被引次數出版年1Ganin,Y;Ustinova,E;Ajakan,H;Germain,P;Larochelle,H;Laviolette,F;Marchand,M;Lempitsky,VDomain-Adversarial Training of Neural Networks1 75220162Koelstra,S;Muhl,C;Soleymani,M;Lee,JS;Yazdani,A;Ebrahimi,T;Pun,T;Nijholt,A;P

137、atras,IDEAP:A Database for Emotion Analysis Using Physiological Signals1 58020123Mohammad,SM;Turney,PDCrowdsourcing A Word-Emotion Association Lexicon73720134Frick,PJ;Ray,JV;Thornton,LC;Kahn,RECan Callous-Unemotional Traits Enhance the Understanding,Diagnosis,and Treatment of Serious Conduct Problem

138、s in Children and Adolescents?A Comprehensive Review64020145Baltrusaitis,T;Ahuja,C;Morency,LPMultimodal Machine Learning:A Survey and Taxonomy60520196Soleymani,M;Lichtenauer,J;Pun,T;Pantic,MA Multimodal Database for Affect Recognition and Implicit Tagging59620127Zheng,WL;Lu,BLInvestigating Critical

139、Frequency Bands and Channels for EEG-Based Emotion Recognition with Deep Neural Networks57320158Feldman,RTechniques and Applications for Sentiment Analysis57220139Ravi,K;Ravi,VA Survey on Opinion Mining and Sentiment Analysis:Tasks,Approaches and Applications571201510Cambria,E;Schuller,B;Xia,YQ;Hava

140、si,CNew Avenues in Opinion Mining and Sentiment Analysis551201311Thelwall,M;Buckley,K;Paltoglou,GSentiment Strength Detection for the Social Web540201212Gravina,R;Alinia,P;Ghasemzadeh,H;Fortino,GMulti-Sensor Fusion in Body Sensor Networks:State-of-the-art and research challenges467201713Poria,S;Camb

141、ria,E;Bajpai,R;Hussain,AA Review of Affective Computing:From Unimodal Analysis to Multimodal Fusion458201714Eyben,F;Scherer,KR;Schuller,BW;Sundberg,J;Andre,E;Busso,C;Devillers,LY;Epps,J;Laukka,P;Narayanan,SS;Truong,KPThe Geneva Minimalistic Acoustic Parameter Set(GeMAPS)for Voice Research and Affect

142、ive Computing448201615Poria,S;Cambria,E;Gelbukh,AAspect Extraction for Opinion Mining with A Deep Convolutional Neural Network444201638情感計算白皮書序號作者標題被引次數出版年16Zhang,L;Wang,S;Liu,BDeep Learning for Sentiment Analysis:A Survey439201817Jenke,R;Peer,A;Buss,MFeature Extraction and Selection for Emotion Rec

143、ognition from EEG397201418Kiritchenko,S;Zhu,XD;Mohammad,SMSentiment Analysis of Short Informal Text381201419Lopes,AT;deAguiar,E;DeSouza,AF;Oliveira-Santos,TFacial Expression Recognition with Convolutional Neural Networks:Coping with Few Data and the Training Sample Order362201720Barrett,LF;Adolphs,R

144、;Marsella,S;Martinez,AM;Pollak,SDEmotional Expressions Reconsidered:Challenges to Inferring Emotion from Human Facial Movements360201921Sariyanidi,E;Gunes,H;Cavallaro,AAutomatic Analysis of Facial Affect:A Survey of Registration,Representation,and Recognition356201522Rivera,AR;Castillo,JR;Chae,OLoca

145、l Directional Number Pattern for Face Analysis:Face and Expression Recognition340201323Moraes,R;Valiati,JF;Neto,WPGDocument-Level Sentiment Classification:An Empirical Comparison Between SVM and ANN328201324Chen,T;Xu,RF;He,YL;Wang,XImproving Sentiment Analysis Via Sentence Type Classification Using

146、Bilstm-CRF and CNN314201725Mollahosseini,A;Hasani,B;Mahoor,MHAffectnet:A Database for Facial Expression,Valence,and Arousal Computing in the Wild313201926Dawel,A;OKearney,R;McKone,E;Palermo,RNot Just Fear and Sadness:Meta-Analytic Evidence of Pervasive Emotion Recognition Deficits for Facial and Voc

147、al Expressions in Psychopathy308201227Craik,A;He,YT;Contreras-Vidal,JLDeep Learning for Electroencephalogram(EEG)Classification Tasks:A Review306201928Soleymani,M;Pantic,M;Pun,TMultimodal Emotion Recognition in Response to Videos302201229Bird,G;Cook,RMixed Emotions:The Contribution of Alexithymia to

148、 the Emotional Symptoms of Autism299201330Mostafa,MMMore Than Words:Social Networks Text Mining for Consumer Brand Sentiments297201331Hiser,J;Koenigs,MThe Multifaceted Role of the Ventromedial Prefrontal Cortex in Emotion,Decision Making,Social Cognition,and Psychopathology2952018（續表）39第三章成果情況序號作者標題

149、被引次數出版年32Kleinsmith,A;Bianchi-Berthouze,NAffective Body Expression Perception and Recognition:A Survey287201333Baek,H;Ahn,J;Choi,YHelpfulness of Online Consumer Reviews:Readers Objectives and Review Cues287201234Zeng,NY;Zhang,H;Song,BY;Liu,WB;Li,YR;Dobaie,AMFacial Expression Recognition Via Learning

150、 Deep Sparse Autoencoders286201835Schouten,K;Frasincar,FSurvey on Aspect-Level Sentiment Analysis277201636Bakermans-Kranenburg,MJ;van IJzendoorn,MHSniffing Around Oxytocin:Review and Meta-Analyses of Trials in Healthy and Clinical Groups with Implications for Pharmacotherapy277201337Cummins,N;Schere

151、r,S;Krajewski,J;Schnieder,S;Epps,J;Quatieri,TFA Review of Depression and Suicide Risk Assessment Using Speech Analysis271201538Happy,SL;Routray,AAutomatic Facial Expression Recognition Using Features of Salient Facial Patches267201539Nassirtoussi,AK;Aghabozorgi,S;Teh,YW;Ngo,DCLText Mining for Market

152、 Prediction:A Systematic Review264201440Lu,JW;Zhou,XZ;Tan,YP;Shang,YY;Zhou,JNeighborhood Repulsed Metric Learning for Kinship Verification261201441Corneanu,CA;Simon,MO;Cohn,JF;Guerrero,SESurvey on RGB,3D,Thermal,and Multimodal Approaches for Facial Expression Recognition:History,Trends,and Affect-Re

153、lated Applications260201642Nassif,AB;Shahin,I;Attili,I;Azzeh,M;Shaalan,KSpeech Recognition Using Deep Neural Networks:A Systematic Review259201943Pinkham,AE;Penn,DL;Green,MF;Buck,B;Healey,K;Harvey,PDThe Social Cognition Psychometric Evaluation Study:Results of the Expert Survey and RAND Panel2592014

154、44Kupferberg,A;Bicks,L;Hasler,GSocial Functioning in Major Depressive Disorder258201645Zhao,JF;Mao,X;Chen,LJSpeech Emotion Recognition Using Deep 1D&2D CNN LSTM Networks255201946Hassan,MM;Uddin,MZ;Mohamed,A;Almogren,AA Robust Human Activity Recognition System Using Smartphone Sensors and Deep Learni

155、ng251201847Jelodar,H;Wang,YL;Yuan,C;Feng,X;Jiang,XH;Li,YC;Zhao,LLatent Dirichlet Allocation(LDA)and Topic Modeling:Models,Applications,A Survey248201948Guha,T;Ward,RKLearning Sparse Representations for Human Action Recognition2472012（續表）40情感計算白皮書熱 點 論 文 1 基于動態圖卷積神經網絡的腦 電 情 感 識 別（EEG Emotion Recognit

156、ion Using Dynamical Graph Convolutional Neural Networks）作者：東南大學教育部兒童發展與學習科學教育部重點實驗室 Tengfei Song、Wenming Zheng 等。摘要：科研人員提出了一種基于新型動態圖卷積神經網絡（DGCNN）的多通道腦電情感識別方法。所提出的腦電情感識別方法的基本思想是使用圖對多通道腦電特征進行建模，然后在此模型基礎上進行腦電情感分類。與傳統的圖卷積神經網絡（GCNN）方法不同，提出的 DGCNN 方法可以通過訓練神經網絡來動態學習不同 EEG 通道之間的內在關系，從而有利于更具判別性的 EEG 特征提取。然后，

157、利用學習到的鄰接矩陣學習更具判別性的特征，以改進 EEG 情感識別。熱 點 論 文 2 GCB-Net：圖 卷 積 廣 義 網 絡及 其 在 情 感 識 別 中 的 應 用（GCB-Net：Graph Convolutional Broad Network and Its Application in Emotion Recognition）作者：華南理工大學計算機科學與工程學院Tong Zhang、Xuehan Wang 等。摘要：科研人員設計了一種圖卷積寬帶網絡（GCB-Net），用于探索圖結構數據的深層次信息。GCB-Net 使用圖卷積層來提取圖結構輸入的特征，并堆疊多個規則卷積層來提取

158、相對抽象的特征。最后的串聯使用了廣義的概念，它保留了所有層次的輸出，允許模型在廣泛的空間中搜索特征。為了提高所提出的 GCB-Net 網絡的性能，應用了廣義學習系統（BLS）來增強其特性。熱 點 論 文 3 基于生物信號的心理應激檢測 研 究 進 展 綜 述（Review on Psychological Stress Detection Using Biosignals）作者：希臘研究與技術基金會Hellas（FORTH）Giorgos Giannakakis 等。摘要：本文綜述了通過生理信號測量的心理應激對人體的影響，還探討了多模態生理信號分析和建模方法，以獲得準確的應力相關性。本文旨在全

159、面綜述應激條件下產生的生理信號模式，并為更有效地應激檢測提供可靠的實用指南。熱 點 論 文 4 ABCDM：一種基于注意力的雙向 CNN-RNN 深 度 情 感 分 析 模 型（ABCDM：An Attention-based Bidirectional CNN-RNN Deep Model for Sentiment Analysis）作者：新加坡南洋理工大學 Mohammad Ehsan Basiri 等。摘要：本文提出了一種基于注意力機制的雙向 CNN-RNN 深度模型（ABCDM）。通過利用兩個獨立的雙向 LSTM 和 GRU 層，ABCDM 將通過考慮兩個方向上的時間信息流來提取過去

160、和未來的上下文。此外，注意力機制被應用于 ABCDM 雙向層的輸出上，或多或少地強調不同的單詞。為了降低特征的維度并提取位置不變的局部特征，ABCDM 利用卷積和池化機制。情感極性檢測是情感分析中最常見和最基本的任務，對 ABCDM 的有效性進行了序號作者標題被引次數出版年49Vellante,M;Baron-Cohen,S;Melis,M;Marrone,M;Petretto,DR;Masala,C;Preti,AThe Reading the Mind in the Eyes Test:Systematic Review of Psychometric Properties and A V

161、alidation Study in Italy244201350Yu,Y;Duan,WJ;Cao,QThe Impact of Social and Conventional Media on Firm Equity Value:A Sentiment Analysis Approach2392013（續表）41第三章成果情況評估。在 5 個評論和 3 個推特（Twitter）數據集上進行了實驗。將 ABCDM 與最近提出的用于情感分析的 6 種 DNN 進行比較，結果表明，ABCDM 在長評論和短推文極性分類方面都達到了最先進的結果。熱 點 論 文 5 基于深度學習的文本分類：綜述（Dee

162、p Learning-Based Text Classification：A Comprehensive Review）作者：美國 Snapchat 公司 Shervin Minaee 等。摘要：本文全面回顧了近年來開發的 150 多個基于深度學習的文本分類模型，并討論了它們的技術貢獻、相似性和優勢。本文還總結了 40 多個廣泛用于文本分類的流行數據集。最后，科研人員定量分析了不同深度學習模型在流行基準上的性能，并討論了未來的研究方向。此外，被引頻次大于 1 000 的非熱點論文如下：論文 1 DEAP：使用生理信號進行情緒分析的數據庫（DEAP：A Database for Emotion

163、Analysis Using Physiological Signals）作者：英國倫敦瑪麗女王大學 Sander Koelstra等。摘要：本文提出了一個用于分析人類情感狀態的多模態數據集。實驗記錄了 32 名參與者的 EEG和外周生理信號，每個參與者觀看 40 段一分鐘長的音樂視頻片段。參與者根據喚醒度、價值、喜歡/不喜歡、支配度和熟悉度對每個視頻進行了評分。32 名參與者中的 22 名，還被記錄了正面視頻。本文介紹了使用 EEG、外周生理信號和多媒體內容分析模式對喚醒、價值和喜歡/不喜歡等級進行單次試驗分類的方法和結果。最后，對不同模態的分類結果進行決策融合。論文 2 情感識別方法綜述：

164、聽覺、視覺和自 發 表 達（A Survey of Affect Recognition Methods：Audio，Visual，and Spontaneous Expressions）作者：美國伊利諾伊大學 Zhihong Zeng 等。摘要：對人類情感行為的自動分析已經引起了心理學、計算機科學、語言學、神經科學和相關學科研究人員越來越多的關注。盡管刻意行為在視覺外觀、音頻輪廓和時間上與自發行為不同，但是現有的方法通常只處理故意顯示和夸張的原型情緒表達。為了解決這個問題，最近出現了開發能夠處理自然發生的人類情感行為算法的嘗試。此外，據報道越來越多的人致力于人類情感分析的多模式融合，包括視聽

165、融合、語言和副語言融合以及基于面部表情、頭部運動和身體姿勢的多用戶視覺融合。本文介紹并綜述了這些最新進展。首先，從心理學的角度討論人類的情感感知。其次，本文研究解決機器理解人類情感行為問題的可用方法。最后，討論重要問題，如訓練和測試數據的收集和可用性等，最后概述了推進人類情感感知技術的一些科學和工程挑戰。論文 3 基于詞典的情感分析方法（Lexicon-Based Methods for Sentiment Analysis）作者：加拿大西蒙弗雷澤大學 Maite Taboada等。摘要：本文提出了一種基于詞典的文本情感提取方法。語義方向計算器（SO-CAL）使用帶有語義方向（極性和強度）注釋

166、的單詞字典，并包含強化和否定。SO-CAL 應用于極性分類任務，即為文本指定正或負標簽的過程，該過程捕捉文本對其主要主題的看法。研究表明，SO-CAL 的性能在跨域和完全不可見的數據上是一致的。此外，本文還描述了字典創建的過程，以及使用 Mechanical Turk檢查字典的一致性和可靠性。論文 4 基于局部二值模式的人臉表情識別：一項綜合研究（Facial Expression Recognition Based on Local Binary Patterns：A Comprehensive Study）作者：荷蘭飛利浦公司 Caifeng Shan 等。摘要：自動面部表情分析是一個有趣

167、且具有挑戰性的主題，它影響著人機交互和數據驅動動畫等許多領域的重要應用。從原始人臉圖像中提取有效的面部特征是成功進行人臉表情識別的關鍵步驟。42情感計算白皮書在本文中，研究人員基于統計局部特征的局部二值模式（Local Binary Patterns，LBP），對獨立于人的面部表情識別進行了實證評估。不同的機器學習方法在多個數據庫上進行系統檢查。大量實驗表明，LBP 特征對人臉表情的識別是有效的。研究人員進一步構造了增強版 LBP 來提取最具鑒別性的 LBP特征，并通過使用具有增強版 LBP 特征的支持向量機分類器來獲得最佳識別性能。此外，作者研究了用于低分辨率面部表情識別的 LBP 特征，這

168、是一個關鍵問題，但在現有工作中很少涉及。在實驗中，作者觀察到 LBP 特征可以在人臉圖像的低分辨率可用范圍內穩定地運行，并在真實環境中捕獲的壓縮低分辨率視頻序列中產生有希望的性能。論文 5 人 機 交 互 中 的 情 感 識 別（Emotion Recognition in Human-Computer Interaction）作者：英國貝爾法斯特女王大學 Roddy Cowie等。摘要：人在交往中，有兩種信息傳遞渠道：一種是明確信息，另一種是隱含信息。當前的語言研究及工程技術研究主要對第一種信息進行理解，第二種信息并未被很好地理解。了解對方的情感是與第二種隱含信息相關的關鍵任務之一。為實現情

169、感計算，必須開發信息處理和分析技術以鞏固對情感的心理和語言分析。本研究的目標是開發一個能夠利用面部和聲音信息識別人類情感的混合系統。論文 6 情緒識別的普遍性和文化特異性：一種 Meta 分析方法（On the Universality and Cultural Specificity of Emotion Recognition：A Meta-Analysis）作者：美國哈佛大學Hillary Anger Elfenbein等。摘要：利用 Meta 分析方法檢查了文化內部和跨文化的情感識別。相比于隨機水平，情感得到更為普遍的認同。當情感同一民族、種族或地區群體的成員表達和識別時，準確性更高，

170、這表現出群體優勢。從生活在同一國家、物理距離和電話交流等方面來衡量，對彼此接觸較多的文化群體而言，這一優勢較小。多數群體成員在評價少數群體成員方面不如群體之間的反向評價。在均衡研究設計中，跨文化的準確性較低，而在使用模仿而非擺拍或自發情感表達的研究中，跨文化的準確性較高。研究設計的屬性似乎不會調節群體優勢的大小。3.4.2重要會議獲獎論文本部分對情感計算領域重要會議的獲獎論文進行分析，以了解近年來通過會議形式發布的重要研究成果。（1）ACM 多媒體國際會議獲獎論文（Best Demo 論文）時間：2016 年。標題：SentiCart：多語言視覺情感的制圖和地理環境化（SentiCart：Ca

171、rtography and Geo-contextualization for Multilingual Visual Sentiment）。作者：美國哥倫比亞大學 Brendan Jou 等。摘要：研究人員開發了 SentiCart 可視化系統來繪制世界各地的多語言視覺情感。研究人員通過研究在不同的語言環境中視覺情感感受的差異以及語言多樣性來研究文化多樣性對視覺情感的影響。（2）國際計算語言學年會獲獎論文（最佳論文獎）時間：2011 年。標題：具有結構特征的細粒度情緒分析（Fine-Grained Sentiment Analysis with Structural Features）。作者

172、：德國曼海姆大學 Ccilia Zirn 等。摘要：在（子）句子級別上運行的情感分析系統很難開發，因為較短的文本片段很少攜帶足夠的信息來確定情感。因此，在本文中，研究人員提出了一個全自動框架，用于結合多個感知詞典和鄰域 https:/www.aclweb.org/aclwiki/Best_paper_awards43第三章成果情況以及話語關系，進行子句級細粒度的情感分析，以克服上述問題。研究人員使用馬爾可夫模型將來自不同情感詞匯圖標的極性分數與有關相鄰細分市場之間的關系信息進行整合，并評估產品評論的方法。實驗表明，使用結構特征可以提高極性預測的準確性，實現高達 69%的準確率。3.4.3重要期

173、刊獲獎論文2021 年，IEEE 情感計算匯刊編委會從2017 年 5 月至 2019 年 12 月期間發表在該刊上的122 篇論文中評選出 7 篇最佳論文。具體如下：論文 1 基于動態圖卷積神經網絡的腦電情緒 識 別（EEG Emotion Recognition Using Dynamical Graph Convolutional Neural Networks）作者：東南大學 Tengfei Song、Wenming Zheng等。摘要：本文率先將圖方法引入腦電電極間功能連接關系的表征上，提出了一種動態圖卷積神經網絡模型的腦電情感識別方法，并提出了通過網絡動態學習來自適應獲取腦電電極間

174、鄰接關系（圖鄰接矩陣）的思想和方法，突破了在腦功能連接關系不確定的情況下構建圖鄰接矩陣的技術瓶頸。論文 2 用于預測未來情緒、壓力和健康的個性化多任務學習（Personalized Multitask Learning for Predicting Tomorrows Mood，Stress，and Health）作者：麻省理工學院媒體實驗室 Sara Taylor等。摘要：本研究采用多任務學習（MTL）技術來訓練個性化的機器學習模型，這些模型根據每個人的需求進行定制。研究比較了 MTL 的三種公式：MTL 深度神經網絡，它共享多個隱藏層，但每個任務都有唯一的最終層；多任務多核學習，通過對特征

175、類型的內核權重來跨任務提供信息；分層貝葉斯模型，其中任務共享一個共同的狄利克雷過程先驗。實證結果表明，與傳統的機器學習方法相比，使用 MTL 來考慮個體差異可以巨大地改進性能，并提供了個性化的、可操作的見解。論文 3發現腦電在情緒識別中隨時間變化的穩定模式（Identifying Stable Patterns over Time for Emotion Recognition from EEG）作者：上海交通大學 Bao-Liang Lu 等。摘要：該論文利用機器學習方法研究了在情感腦機接口中情緒腦電模式隨時間變化的穩定特性。對于基于腦電信號的情緒識別任務，是否存在穩定的腦電模式是一個研究空

176、白。為了解答此問題，該研究首先設計了跨時間的多次情緒誘發實驗，之后在兩個公開的腦電情感數據集 DEAP 和 SEED 上系統地評估了不同的腦電特征提取、特征平滑以及模式分類方法。最后，情緒識別的實驗結果表明，腦電的穩定模式在不同實驗中具有一致性。在 beta和 gamma 頻段，兩側顳葉區對積極情緒的激活高于消極情緒。中性情緒的神經模式在頂葉和枕葉有更高的 alpha 反應。對于負面情緒，神經模式在頂葉和枕葉部位有明顯更高的 delta 反應，在前額葉部位有更高的 gamma 反應。腦電神經模式在不同時間的實驗中相對穩定。這一結論為使用腦電信號構建情感腦機接口提供了數據有效性的理論保證。論文

177、4 基于腦電信號的情感識別研究綜述（Emotions Recognition Using EEG Signals：A Survey）作者：葡萄牙里斯本大學 Soraia M.Alarco 等。摘要：本文介紹了從 20092016 年進行的神經生理學研究的調查，全面概述了使用腦電圖（EEG）信息進行情感識別的工作，并將分析重點放在識別過程中涉及的主要方面（如研究對象、提取的特征、分類器），同時比較每個方面的產出。本文提出了一系列較好的實踐建議，研究人員必須遵循這些建議才能獲得可重復、可復制、經過充分驗證和高質量的結果。論文 5 面部動作的自動分析：一項綜述研究（Automatic Analysi

178、s of Facial Actions：A Survey）作者：英國諾丁漢大學 Brais Martinez 等。摘要：近年來，面部動作編碼系統（FACS）44情感計算白皮書作為描述面部表情最全面和最客觀的方法之一，受到了廣泛關注。在過去的 30 年里，心理學家和神經科學家廣泛研究了利用 FACS 分析面部表情的各個方面。FACS 編碼的自動化將加快和拓寬這項研究的應用速度和范圍，也為理解人類如何通過面部表情進行交流開辟了新的途徑。這樣的自動化有助于提高編碼的可靠性、精確性和時間分辨率。本文全面闡述了面部動作的機器分析研究，也系統地回顧了此類系統的面部動作的預處理、特征提取和機器編碼等組成部分

179、。此外，研究人員還對現有 FACS 編碼的面部表情數據庫進行了總結。本文最后討論了自動化面部動作分析應用于現實生活所面臨的挑戰。研究人員撰寫這篇調查論文有兩個意圖：一是對現有文獻進行最新的回顧；二是對未來面部動作識別領域的研究人員所面臨的機遇和挑戰提供一些見解。論文 6通過從現有播客錄音中檢索情感語音來構建自然主義的情感平衡語音語料庫（Building Naturalistic Emotionally Balanced Speech Corpus by Retrieving Emotional Speech from Existing Podcast Recordings）作者：美國得克薩斯大

180、學達拉斯分校 Reza Lotfian 等。摘要：缺乏大型且自然的情感數據庫是將在受控條件下的語音情感識別結果應用于現實生活的關鍵障礙之一。收集情感數據庫要耗費大量的經濟成本和時間成本，這限制了現有語料庫的大小。目前，給定的記錄協議（如口語對話為積極、討論或辯論為消極）決定了用于收集自發數據庫的方法往往提供不平衡的情感內容。本文提出了一種新的方法可以有效地構建一個大型且自然的情感數據庫。該數據庫具有平衡的情感內容，還能降低成本并減少體力勞動。該方法依賴于從音頻共享網站獲得現有自然產生的錄音。該方法結合了機器學習算法與使用眾包且具有成本效益的標注過程來檢索和傳遞平衡情感內容的錄音，從而構建大規模

181、的語音情感數據庫。該方法提供了來自多個演講者使用不同的信道條件來傳遞平衡情感內容的自然情感表達，而這些情感內容是其他數據收集協議難以獲得的。論文 7AMIGOS：個人和群體情感、人格和情緒研究數據集（AMIGOS：A Dataset for Affect，Personality and Mood Research on Individuals and Groups）作者：英國倫敦瑪麗女王大學 Juan Abdon Miranda-Correa 等。摘要：研究人員構建了一個關于個體和群體情感、人格特質和心境的多模態研究數據集AMIGOS。研究人員在個體觀眾和群體觀眾的兩種社交情境下使用短視頻和長

182、視頻誘發情感。這也是 AMIGOS 與其他數據集的不同之處。該數據集允許通過個體的神經生理信號對情感反應進行多模態研究，這些信號與人格和情感以及社會環境和視頻持續時間有關。研究人員在兩個環境中進行了實驗。在第一個實驗中，40 名參與者觀看了 16 個情感短視頻。在第二個實驗中，參與者觀看了 4 個長視頻，其中一些是單獨觀看的，另一些是分組觀看的。實驗利用可穿戴式傳感器記錄了參與者的腦電、心電和皮膚電信號，還記錄了參與者的頭部高清視頻以及 RGB 和深度全身視頻。實驗對參與者的情感作了標注，既包括參與者在視頻中感受到的情感水平(如效價、喚醒度、支配度、熟悉度、喜歡度等)的自我評估，也包括效價和喚

183、醒度水平的外部評估。研究人員詳細分析了對效價和喚醒度、人格特質、情感和社會情境的單次實驗分類的不同維度以及基線方法和結果。45第三章成果情況表 3-13情感計算領域重要轉讓專利序號公開號專利名稱申請人受讓人法律事件1CN110675859B結合語音與文本的多情感識別方法、系統、介質及設備華南理工大學廣東履安實業有限公司轉讓2US10902058B2Cognitive content display deviceIBMKyndryl Inc轉讓3CN108806667B基于神經網絡的語音與情感的同步識別方法重慶大學重慶七騰科技有限公司轉讓4CN105469065B一種基于遞歸神經網絡的離散情感識

184、別方法中國科學院自動化研究所北京中科歐科科技有限公司轉讓5CN104200804B一種面向人機交互的多類信息耦合的情感識別方法合肥工業大學山東心法科技有限公司轉讓6US9436674B2Signal processing approach to sentiment analysis for entities in documentsAttivio IncServicenow Inc轉讓7CN103377293B多源輸入、信息智能優化處理的全息觸摸交互展示系統河海大學常州校區江蘇明偉萬盛科技有限公司轉讓8CN104995650A用于使用源于社交媒體的數據和情感分析來生成復合索引的方法及系統湯姆森

185、路透社全球資源公司金融及風險組織有限公司轉讓9CN103049435B文本細粒度情感分析方法及裝置浙江工商大學杭州腦殼頂科技有限公司轉讓10CN101872424B基于 Gabor 變換最優通道模糊融合的人臉表情識別方法重慶大學北京妙微科技有限公司轉讓3.5代表性專利和標準3.5.1代表性專利本部分使用的 Derwent Innovations Index 是世界上最全面的增值專利信息數據庫，它涵蓋來自全球近 60 個專利頒發機構的 1 430 多萬項基礎發明，可追溯至 1963 年，覆蓋了全球 96%的專利數據，為研究人員提供世界范圍內化學、電子與電氣、工程技術領域綜合、全面的發明信息，是檢

186、索全球專利最權威的數據庫之一，被全球 40 多個國家專利局審查員使用和信賴。本部分以主題（專利名稱和摘要）為索引字段進行檢索，對發明專利中有轉讓記錄或許可記錄同時具有較高專利價值的有效發明專利進行遴選，形成情感計算領域代表性專利。專利轉讓是指專利權人作為轉讓方，將其發明創造專利的所有權或將持有權移轉受讓方，受讓方根據訂立的合同支付約定價款，通過專利權轉讓合同取得專利權的當事人，即成為新的合法專利權人。對情感計算領域的專利進行篩選，遴選了 incopat 專利價值度為 10 的轉讓專利，如表 3-13所示。46情感計算白皮書表 3-15中國新型研發機構授權的高水平情感計算相關專利序號公開號專利名

187、稱申請人專利狀態1CN113837153A一種融合瞳孔數據和面部表情的實時情感識別方法及系統之江實驗室授權2CN114049678A一種基于深度學習的面部動作捕捉方法及系統之江實驗室授權3CN113611286A一種基于共性特征提取的跨語種語音情感識別方法和系統之江實驗室授權4CN113576482A一種基于復合表情加工的注意偏向訓練評估系統和方法之江實驗室授權5CN113378806A一種融合情感編碼的音頻驅動人臉動畫生成方法及系統之江實驗室授權6CN113257225A一種融合詞匯及音素發音特征的情感語音合成方法及系統之江實驗室授權7CN112712824A一種融合人群信息的語音情感識別方

188、法和系統之江實驗室授權8CN112545519A一種群體情感同質性的實時評估方法和評估系統之江實驗室授權9CN113191212A一種駕駛員路怒風險預警方法及系統合肥綜合性國家科學中心人工智能研究院（安徽省人工智能實驗室）授權專利許可是指專利權人將其所擁有的專利技術許可他人實施的行為。在專利許可中，專利權人成為許可方，允許實施的人成為被許可方，許可方與被許可方要簽訂專利實施許可合同。中國在情感計算領域的重要許可專利信息如表 3-14 所示。此外，中國新型研發機構也授權了一批高水平的情感計算相關專利，如表 3-15 所示。表 3-14情感計算領域中國的重要許可專利序號公開號專利名稱申請人被許可人

189、法律事件1CN111506700B基于上下文感知嵌入的細粒度情感分析方法杭州電子科技大學杭州遠傳新業科技有限公司許可2CN110110840B一種基于憶阻神經網絡的聯想記憶情感識別電路中國地質大學（武漢）武漢海博霧聯科技有限公司、武漢啟奕信息技術服務有限公司許可3CN107045618B一種人臉表情識別方法及裝置北京陌上花科技有限公司蘋果研發（北京）有限公司許可4CN107609132B一種基于語義本體庫中文文本情感分析方法杭州電子科技大學杭州遠傳新業科技有限公司許可5CN106570474B一種基于 3D 卷積神經網絡的微表情識別方法南京郵電大學南京因果人工智能研究院有限公司許可47第三章成

190、果情況 https:/www.iso.org/standards-catalogue/browse-by-ics.html 目前，被國標組織確認并公布的其他國際組織包括國際計量局（BIPM）、國際人造纖維標準化局（BISFA）、食品法典委員會（CAC）、時空系統咨詢委員會（CCSDS）、國際建筑研究實驗與文獻委員會（CIB）、國際照明委員會（CIE）、國際內燃機會議（CIMAC）、國際牙科聯盟會（FDI）、國際信息與文獻聯合會（FID）、國際原子能機構（IAEA）、國際航空運輸協會（IATA）、國際民航組織（ICAO）、國際谷類加工食品科學技術協會（ICC）、國際排灌研究委員會（ICID）、國

191、際輻射防護委員會（ICRP）、國際輻射單位和測試委員會（ICRU）、國際制酪業聯合會（IDF）、萬圍網工程特別工作組（IETF）、國際圖書館協會與學會聯合會（IFLA）、國際有機農業運動聯合會（IFOAM）、國際煤氣工業聯合會（IGU）、國際制冷學會（IIR）、國際勞工組織（ILO）、國際海底組織（IMO）、國際種子檢驗協會（ISTA）、國際理論與應用化學聯合會（IUPAC）、國際毛紡組織（IWTO）、國際動物流行病學局（OIE）、國際法制計量組織（OIML）、國際葡萄與葡萄酒局（OIV）、材料與結構研究實驗所國際聯合會（RILEM）、貿易信息交流促進委員會（TarFIX）、國際鐵路聯盟（UI

192、C）、經營交易和運輸程序和實施促進中心（UN/CEFACT）、聯合國教科文組織（UNESCO）、國際海關組織（WCO）、國際衛生組織（WHO）、世界知識產權組織（WIPO）、世界氣象組織（WMO）等。3.5.2代表性標準（1）國際標準國際標準是指國際標準化組織（ISO）、國際電工委員會（IEC）和國際電信聯盟（ITU）制定的標準，以及國際標準化組織確認并公布的其他國際組織制定的標準。國際標準在世界范圍內統一使用。信 息 技 術 情 感 計 算 用 戶 界 面（AUI）Information technology-Affective computing user interface（AUI）標準

193、號為 ISO/IEC 301501：2022，其 中 第 一 部 分 模 型（Part1：Model）于 2022 年6 月發布，第二部分情感特征（Part2：Affective characteristics）正在建設中。（2）國內標準人工智能情感計算用戶界面模型標準號為 GB/T 406912021，由中國科學院軟件研究所、中國科學院自動化研究所、中國科學院心理研究所、科大訊飛股份有限公司等共同起草，于 2021年 10 月 11 日發布，2022 年 5 月 1 日生效。該標準給出了基于情感計算用戶界面的通用模型和交互模型，描述了情感表示、情感數據采集、情感識別、情感決策、情感表達等模塊

194、，適用于情感計算用戶界面的設計、開發和應用。（3）團體標準智能化心理服務規范標準號為 T/ZAITS 204012022，由浙江省智能技術標準創新促進會組織，浙江連信科技有限公司、之江實驗室、浙江省方大標準信息有限公司、浙江大學心理與行為科學系、浙江工業大學、杭州師范大學護理科學系、蘇州企發管理咨詢有限公司、北京詢?？萍加邢薰?、神木新正和心理健康服務有限公司共同起草，于 2022 年 1 月 28 日發布和實施。該標準規定了智能化心理服務的術語和定義、服務系統組成和服務模式、服務系統能力要求、服務內容、服務流程、心理服務檔案建立及信息安全要求。該標準主要適用于利用數字化智能技術為除嬰幼兒以外

195、的所有人群提供智能心理服務，為協助醫療機構和精神?？漆t生提供的輔助性心理服務亦可參照執行。49第四章科研情況第四章科研情況布形成宏觀認識。對學者所屬地區進行分析統計后發現，亞洲地區是情感計算領域學者分布最為集中的地區。如表4-1、圖 4-1 所示，中國情感計算領域學者數量最多（3 474 個），美國次之（2 083 個），印度位居第三（2 001 個）。4.1學者分布及代表性科學家4.1.1全球學者地圖（1）全球學者分布本部分以情感計算領域文章第一作者所屬國家進行統計分析，從而對情感計算領域全球學者分表 4-1情感計算領域第一作者國家分布（前 20 名）序號國家學者數序號國家學者數1中國3 4

196、7411澳大利亞4552美國2 08312法國3823印度2 00113土耳其3694英國86414荷蘭3005德國71315馬來西亞2656意大利59216巴西3217日本55117巴基斯坦2688西班牙46718希臘2139加拿大46319新加坡18010韓國45620伊朗21650情感計算白皮書（2）h 指數分布以文獻集中的所有作者進行統計，其中引用次數多于0次的共計47 998名作者的h指數進行統計，結果如表 4-2 所示。其中 h 指數最高為 53，大于50 的 1 人，h 指數在 110 數據段內分布人數最多為 47 881 人。10 名的國家合作情況如圖 4-2 所示。其中，中美

197、合作發文量最多，達 540 篇，其次為中英合作，為256 篇。附錄 3 為發文量前 20 名的國家合作詳情。中國與其他國家存在廣泛的合作，中國發文的6 905 篇中有 1 707 篇為國際合作發文，占總發文量的 24.72%。主要合作國家如表 4-3 所示，其中中美合作的論文數最多，為 540 篇，占總合作論文數的 31.64%，涉及 2 168 名學者，中英合作次之。中新合作和中芬合作的論文雖然數量不突出，但是平均引用數相對較高，這說明合作研究質量相對較高。4.1.2中國學者分布對情感計算領域發文第一作者進行統計，對作者地址字段進行數據清洗得出國內學者分布重要地區如表 4-4、圖 4-3 所

198、示。其中，北京以 1 053 位學者位居榜首，廣東有 513 位學者位居第二，江蘇、臺灣和上海分別位居第三、第四和第五。圖 4-1情感計算領域學者主要國家（前 10 名）分布表 4-2h 指數作者分布h 指數作者數11047 88111201042130931503 501（3）中外合作情感計算領域存在廣泛的國際合作，發文量前51第四章科研情況圖 4-2情感計算領域發文量前 10 名的國家合作情況表 4-3情感計算領域中國主要合作發文國家序號合作國家論文數引用數平均引用數學者數1中國-美國54011 568212 1682中國-英國2564 430171 0573中國-日本2121 99295

199、054中國-澳大利亞1691 628107495中國-新加坡1233 774314886中國-加拿大1061 931184117中國-芬蘭661 982301528中國-德國581 273223149中國-印度546441220310中國-法國4459514205表 4-4情感計算領域中國學者分布前 20 名的地區序號地區學者數序號地區學者數1北京105311四川1942廣東51312山東1833江蘇44213天津1614臺灣43014遼寧1605上海37315重慶1556浙江29816湖南1497湖北27217福建1218香港24718黑龍江1179陜西24219河南9410安徽20120河

200、北68西班牙加拿大中國澳大利亞美國日本德國英國印度意大利52情感計算白皮書4.1.3全球典型學者本部分結合論文數量、研究貢獻、同行評議等多個維度標定情感計算領域典型學者，如表 4-5 所示。特別需要說明的是，因人才標定的指標多變性以及統計數據的來源差異，本部分內容僅作參考，不作為評價依據。4.1.4高被引學者基于愛思唯爾（Elsevier）發布的 2021 年“中國高被引學者（Highly Cited Chinese Researchers）”榜單數據，在 4 701 名中國學者中找到的情感計算領域學者如表 4-6 所示。4.2高水平學會4.2.1情感計算促進協會情 感 計 算 促 進 協 會

201、（Association for the 圖 4-3情感計算領域中國學者分布前 20 名的地區表 4-5情感計算領域典型學者序號學者任職機構1任福繼日本德島大學2羅莎琳德皮卡德（Rosalind Picard）美國麻省理工學院3 埃里克坎布里亞（Erik Cambria）新加坡南洋理工大學4 比約恩舒勒（Bjoern Schuller）英國帝國理工學院5鄭文明東南大學6馬婭潘蒂奇（Maja Pantic）英國帝國理工學院7趙國英芬蘭奧盧大學8呂寶糧上海交通大學9卡洛斯布索（Carlos Busso）美國得克薩斯大學達拉斯分校10什里坎特納拉亞南（Shrikanth Narayanan）美國南加

202、利福尼亞大學1 053513442430373298272247242201194183161160155149121117946802004006008001 0001 200北京廣東江蘇臺灣上海浙江湖北香港陜西安徽四川山東天津遼寧重慶湖南福建黑龍江河南河北學者數地區53第四章科研情況Advancement of Affective Computing，AAAC）是情感計算、情感與人機交互領域的專業性、全球性協會，負責管理情感計算和智能交互國際會議（International Conference on Affective Computing and Intelligent Interact

203、ion，ACII）的投標和組織。4.2.2中國人工智能學會情感智能專業委員會中國人工智能學會情感智能專業委員會（以下簡稱“專委會”）成立于 2007 年，是國內在電子信息科學領域首個情感計算方面的學術組織。專委會的研究領域包括情感建模、情感認知、多模態情感交互、情感與心理信號測量、人工心理等。專委會承辦了首屆“亞洲情感計算與智能交互學術會議”，出版了國內第一套人工心理與數字人技術叢書。專委會旨在團結和組織中國人工心理與情感計算相關領域的專業人士，開展學術交流活動，加強人才培養，促進學術界與工業界的合作，承擔知識普及、建言獻策等社會服務工作，為提升中國在人工心理與情感計算領域的科研、教學、應用水

204、平及國際影響力作出貢獻。4.3高水平學術機構4.3.1重要研究機構本部分通過全作者統計，以發文量進行排序從而標定重要機構，全球前10名的發文機構如表4-5所示。涉及的主要指標包括引文影響力（Citation Impact）和學科規范化的引文影響力（Category Normalized Citation Impact，CNCI）。引文影響力。一組文獻的引文影響力的計算是通過使用該組文獻的引文總數除以文獻數量得到的。引文影響力展現了該組文獻中某一篇文獻獲得的平均引用次數。學科規范化的引文影響力。一篇文獻的 CNCI是通過其實際被引次數除以同文獻類型、同出版年、同學科領域文獻的期望被引次數獲得的。

205、當一篇文獻被劃歸至多個學科領域時，則使用實際被引次數與期望被引次數比值的平均值。一組文獻的CNCI，如某個人、某個機構或國家，是該組中每篇文獻 CNCI 的平均值。CNCI 是一個非常有價值且無偏的影響力指標，它排除了出版年、學科領域與文獻類型的影響。如果 CNCI 的值等于 1 說明該組論文的被引表現與全球平均水平相當，大于 1 說明被引表現高于全球平均水平，小于 1 則低于全球平均水平。CNCI 的值等于 2 說明該組論文的平均被引表現為全球平均水平的 2 倍。如表 4-7 所示，中國有 2 家機構進入前 10 名，中國科學院以 581 篇位居榜首，清華大學排名第九。美國有 1 家機構即加

206、利福尼亞大學系統進入前10 名，以 335 篇位居第五。英國、法國、印度分別有 2 家機構進入前 10 名，新加坡有 1 家機構。表 4-6情感計算領域“中國高被引學者”姓名機構呂寶糧上海交通大學張宏江源碼資本周愛民華東師范大學秦兵哈爾濱工業大學李學龍西北工業大學劉濱北京理工大學姜育剛復旦大學黃德雙同濟大學董超中國科學院陳敏華中科技大學 https:/aaac.world/http:/ 4-7情感計算領域發文量前 10 名的機構序號機構名稱論文數量引文影響力論文被引百分比/%學科規范化的引文影響力高被引論文h 指數Q1 期刊中論文的百分比/%國家中文名英文名1中國科學院Chinese Acad

207、emy of Sciences58117.0977.282.4444958中國2英國倫敦大學University of London37351.3989.542.3787369.93英國3法國國家科學研究中心Centre National de la Recherche Scientifique（CNRS）34617.3680.351.3623952.06法國4UDICE 法國研究型大學聯盟UDICE-French Research Universities34116.8580.351.3813851.03法國5加利福尼亞大學系統University of California System3

208、3538.0584.182.8045959.6美國6印度理工學院系統Indian Institute of Technology System（IIT System）29510.6874.921.8052842.11印度7印度國立技術學院系統National Institute of Technology System（NIT System）2887.7170.141.3332427.66印度8新加坡南洋理工大學Nanyang Technological University28736.3083.975.18146066.4新加坡9清華大學Tsinghua University26420.74

209、82.952.9423863.27中國10英國帝國理工學院Imperial College London26337.9687.833.6434367.39英國4.3.2典型研究機構（1）美國麻省理工學院媒體實驗室美國麻省理工學院媒體實驗室的情感計算研究小組（Affective Computing Group）旨在創造并評估將情感人工智能和其他情感技術結合起來的新方法?！扒楦杏嬎恪倍x的提出者皮卡德是該小組的創始人和主任。（2）新加坡南洋理工大學計算智能實驗室南洋理工大學計算智能實驗室（Computational Intelligence Lab，CIL）是南洋理工大學工程學院的一部分，主要進行

210、知識密集型人工智能研究，情感計算是該實驗室的重點研究方向之一。南洋理工大 https:/www.media.mit.edu/groups/affective-computing/overview/https:/www.ntu.edu.sg/cil/about-us55第四章科研情況學計算機科學與工程學院副教授、情感分析服務公司 SenticNet 創始人埃里克坎布里亞在該實驗室任職。（3）清華大學人機交互與媒體集成研究所清華大學人機交互與媒體集成研究所在媒體信息智能處理、人機交互、普適計算等方面開展高水平研究，建有多個學術基地，如普適計算教育部重點實驗室、清華大學-騰訊互聯網創新技術聯合實驗室

211、、網絡多媒體北京市重點實驗室、清華大學計算機系-華為終端智能交互技術創新聯合實驗室、清華大學（計算機系）-深蘭科技機器視覺聯合研究中心等。近年來，該研究所主持多項本學科領域重要項目，如“十三五”重點研發計劃、“973”計劃、國家自然科學基金委員會（NSFC）重點項目等，在頂級期刊和會議上發表了大量的學術論文，多篇文章獲得最佳論文獎，獲得國家級科技獎勵 10 項，在科技成果轉化方面影響重大。該所有兩個主要研究方向：和諧人機交互，如情感計算、語音交互、大幅面交互、腦機接口、交互效率與優化、新型終端自然交互接口等；普適計算環境，如普適計算模式、主動服務、嵌入式系統、情境感知、智能空間及物聯網等。（4

212、）模式識別國家重點實驗室中國科學院自動化研究所的模式識別國家重點實 驗 室（National Laboratory of Pattern Recognition）以模式識別基礎理論、圖像處理與計算機視覺及語音語言信息處理為主要研究方向，研究人類模式識別的機理及其有效的計算方法，為開發智能系統提供關鍵技術，為探求人類智力的本質提供科學依據。其中：在圖像處理與計算機視覺方向主要研究視覺模式的分析與理解，研究內容包括三維視覺和場景分析、物體檢測與識別、視頻分析與語義理解、醫學影像分析、生物特征圖像識別、遙感圖像分析、文檔圖像分析、多媒體計算等；在語音與語言信息處理方向主要研究聽覺模式的分析與理解，研

213、究內容包括語音識別、話語理解、口語翻譯、情感交互、中文語言處理與信息檢索等。目前，該實驗室承擔 400 余項科研項目，包括國家重點研發計劃項目，科技創新 2030-“新一代人工智能”重大項目，國家自然科學基金重大、重點和面上項目，杰出青年科學基金項目和創新群體項目，國際合作項目，企業合作項目，等等。研究隊伍匯集了譚鐵牛院士、陶建華研究員等知名學者。（5）東南大學情感信息處理實驗室東 南 大 學 情 感 信 息 處 理 實 驗 室（Affective Information Processing Lab，AIPL）隸屬于東南大學生物科學與醫學工程學院和兒童發展與學習科學教育部重點實驗室（東南大學

214、），主要致力于情感計算、模式識別、計算機視覺和機器學習及其在兒童智能發展、教育和醫療等方面的應用研究。該實驗室由鄭文明教授創建于 2004 年，深耕情感計算領域，主持了包括“973”計劃、國家自然科學基金重點項目等在內的多項國家和省部級課題，在包括 IEEE Transactions 系列期刊與 IEEE ICCV、IEEE CVPR、歐洲計算機視覺國際會議（European Conference on Computer Vision，ECCV）、神經信息處理系統大會（Conference and Workshop on Neural Information Processing System

215、s，NIPS）、國 際 人 工智 能 聯 合 會 議（International Joint Conference on Artificial Intelligence，IJCAI）和 AAAI 人工智能會議等計算機領域頂級會議上已發表論文百余篇，研究成果獲國家技術發明獎二等獎。（6）合肥工業大學情感計算與系統結構研究所合肥工業大學情感計算研究所于 2011 年成立，主要從事高等智能、情感計算、大規模知識獲取的基礎理論研究工作，并把具有情感的先進智能機器 https:/ 2017 年 9 月 6 日，主攻智能感知、人工智能、智能網絡、智能計算和智能系統等五大科研方向。20192022 年，之江

216、實驗室跨媒體智能研究中心在情感計算領域發文量達 27篇，是情感計算領域的新興創新研究機構，研究跨媒體統一表征與關聯理解、視覺知識表達與視覺智能、跨媒體知識演化、跨媒體智能分析等基礎理論和關鍵技術，研發跨媒體內容生成、多模態感知、情感計算、情感智能人機對話系統等旗艦平臺。之江實驗室跨媒體智能研究中心副主任李太豪研究員主要從事情感計算及跨媒體智能研究，師從日本工程院院士、歐盟科學院院士、中國人工智能學會副理事長、日本德島大學情感計算與先進智能實驗室主任任福繼教授，曾在哈佛大學 Verne Caviness 實驗室從事人工智能和腦科學交叉學科博士后研究，已入選浙江省省級引才計劃創新長期項目。4.4生

217、態系統分析4.4.1學者合作網絡利用 Derwent Data Analyzer 工具對情感計算領域的文獻作者進行合作分析，通過設置作者發文量大于等于 30 篇、合作發文量大于等于 3 篇這兩個條件，學者合作網絡可以識別出同一團隊或不同團隊的合作情況，結果如圖 4-4 所示。其 中：英 國 帝 國 理 工 學 院 比 約 恩 舒 勒（Bjoern Schuller），德國慕尼黑工業大學張子興（Zixing Zhang）、法國格勒諾布爾-阿爾卑斯大學法比安蘭熱瓦爾（Fabien Ringeval）團隊與德國慕尼黑工業大學弗洛里安埃本（Florian Eyben）合作較多；中國科學技術大學先進技術

218、研究院王上飛教授與美國倫斯勒理工學院紀強（Qiang Ji）在基于面部表情的情感計算領域進行合作；日本德島大學任福繼教授與中國合肥工業大學孫曉教授在文本情感計算和語音情感計算方面合作較多。圖 4-4情感計算領域學者合作網絡57第四章科研情況圖 4-5學者引用網絡4.4.2引用網絡分析本部分對情感計算領域 27 877 篇文獻的作者進行直接引用（Citation）分析，為突顯重點作者，在分析過程中遴選了發文量不小于 30 篇的 40 位作者進行分析，分析結果如圖 4-5 所示。其中，顏色相同的簇內的作者在研究內容上具有較強的相關性和繼承性。4.4.3關鍵詞共現分析詞頻是指在所分析的文檔中詞語出現

219、的次數。在科學計量研究中，可以按照學科領域建立詞頻詞典，從而對科學家的創造活動作出定量分析。詞頻分析法就是在文獻信息中提取能夠表達文獻核心內容的關鍵詞或主題詞，通過關鍵詞或主題詞的頻次高低分布來研究該領域發展動向和研究熱點的方法。關鍵詞共現分析（共詞分析）的基本原理是對一組詞兩兩統計它們在同一組文獻中出現的次數，通過這種共現次數來測度關鍵詞之間的親疏關系。（1）詞頻分析對作者關鍵詞字段進行詞頻分析，如表 4-8所示，其中技術主題詞與排名最前的技術主題詞是共現關系。（2）關鍵詞共現分析本部分基于關鍵詞共現的方法將所有文獻作為一個數據集，采用 Thomson Data Analyzer 軟件將論文

220、的作者關鍵詞字段經過機器與人工清洗，之后利用 VOSviewer 軟件對論文核心主題詞代表此主題中出現的高頻主題詞數據進行聚類，根據論文數據集大小設置一定共現頻次和共現強度以對關鍵詞進行聚類。結合專家判讀，分別對每個聚類進行命名和解讀，對期刊發文主題進行識別和分析。對 27 877 篇文獻以作者關鍵詞字段進行分析，經過機器與人工清洗后，從 36 436 個關鍵詞中選取出現頻次大于 20 次的 613 個關鍵詞作為分析對象，進行聚類計算。通過對這些論文共現強度最大的核心主題詞進行聚類，得到 5 個簇，如表 4-9 和圖 4-6 所示。58情感計算白皮書表 4-8情感計算領域作者關鍵詞前 20 名

221、詞頻分析序號記錄數量技術主題詞排名最前的技術主題詞 共現次數 時間區間/年近三年記錄比率/%16 305Sentiment AnalysisOpinion Mining 866；Machine Learning 757；Twitter 656200620231923 711Emotion RecognitionAffective Computing 328；Feature Extraction 283；EEG 272199720222132 121Affective ComputingEmotion Recognition 328；Machine Learning 153；Emotion 12

222、2200020231341 598Machine LearningSentiment Analysis 757；Natural Language Processing 214；Emotion Recognition 175200220232651 554Facial Expression RecognitionFeature Extraction 129；Deep Learning 120；Face Recognition 89199720231461 508Deep LearningSentiment Analysis 485；Emotion Recognition 243；Machine

223、Learning 172201220223671 117Opinion MiningSentiment Analysis 866；Natural Language Processing 143；Machine Learning 135200620221081 020Natural Language ProcessingSentiment Analysis 648；Machine Learning 214；Opinion Mining 143；Deep Learning 14320062023299970EmotionAffective Computing 122；Facial Expressi

224、on 76；Emotion Recognition 66199920221210918Feature ExtractionEmotion Recognition 283；Sentiment Analysis 169；Facial Expression Recognition 129200320223411852TwitterSentiment Analysis 656；Machine Learning 129；Social Media 116201120221712697Social MediaSentiment Analysis 490；Twitter 116；Machine Learnin

225、g 83200920222059第四章科研情況序號記錄數量技術主題詞排名最前的技術主題詞 共現次數 時間區間/年近三年記錄比率/%13682Speech Emotion RecognitionDeep Learning 58；Feature Extraction 53；Emotion Recognition 37200620232714658Social CognitionSchizophrenia 184；Theory of Mind 161；Emotion Recognition 157200220221515571Text MiningSentiment Analysis 431；Opi

226、nion Mining 83；Machine Learning 74200620221516556Facial ExpressionEmotion Recognition 155；Emotion 76；Affective Computing 42199820221417533ClassificationSentiment Analysis 184；Machine Learning 86；Emotion Recognition 70200320221918515SchizophreniaSocial Cognition 184；Emotion Recognition 83；Theory of M

227、ind 6519982022919504EEGEmotion Recognition 272；Affective Computing 71；Emotion 43200420222220459Convolutional Neural NetworkDeep Learning 114；Facial Expression Recognition 83；Sentiment Analysis 772003202227表 4-9情感計算領域五個研究主題詳情序號研究主題核心主題詞數量平均被引頻次平均關聯強度1利用 NLP 技術進行情感計算和意見挖掘15310.41197.802 面部表情和微表情識別分析13

228、415.89178.773人機交互過程中的情感計算研究12118.69110.384 情感計算在情感障礙分析中的應用研究3033.5165.595基于深度學習的多模態情感分析819.8260.95（續表）60情感計算白皮書圖 4-6情感計算領域五個研究主題分析結果的核心主題詞平均被引頻次代表包含此主題詞的論文發文以來的平均被引頻次，平均關聯強度代表此主題概念包含的核心主題詞間聯系的緊密程度，主題關聯強度越大代表核心主題詞間共現強度越大、研究越集中，反之則代表共線強度相對較低、研究越分散。其中，情感計算在情感障礙分析中的應用研究平均被引頻次最高，這說明目前情感計算與醫學領域特別是在情感障礙、抑郁

229、癥識別領域的交叉研究影響力較大?；谏疃葘W習的多模態情感分析的平均關聯強度最大，這說明該主題的研究相對最為集中。61第五章應用情況5.1總體分析近年來，隨著情感計算的日益發展，教育、健康、商業、工業、傳媒、社會治理等領域對情感計算的需求逐步顯現，尤其是在 2007 年之后技術賦能的企業數量表現出明顯增長態勢，如圖 5-1所示。在教育培訓方面，有效地利用情感識別等情感計算技術，有助于使用者根據情感狀態調節課程內容與課程節奏，提高學習效率。受新冠肺炎疫情的影響，線下教育紛紛轉戰線上，線上教育使得教師難以對學生課堂的反映進行及時關注，這成為線上教育的一大難題。面對巨大的市場需求，人工智能、情感計算等

230、技術的發展有望提升線上教育的學習體驗和教學體驗。在生命健康方面，很多心理及生理癥狀可以通過對情感的識別進行初篩和診斷。情感人工智能（EAI）在醫療保健領域的應用尚不廣泛，但在自閉癥、雙向情感障礙、抑郁癥等多種疾病的評估治療方面已有許多研究嘗試和積累。隨著人們對健康理念的更加關注，心理健康、精神健康等逐步受到廣泛重視，將情感計算應用到生物醫學領域將成為一個新趨勢。有望將情感計算應用于早期識別心理疾病，并在維護患者隱私、降低病恥感的前提下輔助疾病的初篩、干預與患者康復工作。第五章應用情況圖 5-1全球情感計算企業增量走勢 圖 5-1 至圖 5-9 均來源于德勤科學加速中心，數據截止日期為 2022

231、 年。62情感計算白皮書數字經濟的發展掀起了消費者線上消費和接受線上服務的熱潮。利用情感計算技術在顧客感知上進一步獲取商業價值或者提高服務效率和品質，這成為學術界和商界研究和探索的方向。例如，可以通過獲取用戶在線評論數據，利用基于情感文本挖掘技術來預測消費者的購買偏好。工業設計作為促進國家工業發展的重要工具，在產品設計方面既要達到物質上的基本實用性，又要不斷地融入新思想、新思維使之具有情感性，用更多的設計語言、設計形態來緩解人們生活和工作的壓力，滿足精神世界的需求。特別是在當今物質產品異常豐富和競爭日趨白熱化的時代，情感元素已經成為工業設計重要且獨特的元素。產品設計的情感交流是從設計師傳遞到產

232、品再傳遞給大眾的高層次信息傳達過程。情感計算技術與工業設計的融合，使通過識別、分析情感提高產品的功能性成為可能。情感作為一種心理體驗具有較強的語言感染性，經過傳播和溝通后極易轉化為社會群體所共有的心理特征。在科技傳媒日益發展的今天，有效地利用情感計算技術分析并合理引導公眾情緒，對社會穩定、企業發展、公共問題解決等都將有所助益。隨著政府推進信息化、數字化進程地不斷加快，在社會公共治理中情感計算也開始被應用于諸多場景，如社交媒體和社會情緒監測、災后群眾心理救援、刑偵審訊時的測謊檢測、重要場所安防等。心理及意識科學、認知神經科學、計算機科學，甚至人體工學等學科的發展以及迅速成長的市場需求，都將帶動應

233、用情感計算技術場景的不斷拓展和落地。從市場方面來看，近年來情感計算技術的推廣和應用離不開眾多企業的發力。企業根據其擁有的技術基礎和企業發展規劃，開始在不同領域進行戰略布局。例如，教育培訓領域的獨角獸企業BrainCo、專注技術創新的科技公司?？低?、代表性創業企業 SensorStar 和 Robokind 等，通過研發和推廣的智能系統或軟件，在提升教育教學效率和實施個性化教育上嶄露頭角。Expper Technologies、軟銀機器人、優必選等公司均致力于智能機器人的研發與多場景應用。竹間智能作為情感計算領域的代表性創業企業，憑借多款搭載情感計算技術的代表性產品在商業服務、智慧金融、智慧醫

234、療等領域全面開花。Behavioral Signals、audEERING、科思創動、Talkwalker、Converus、Discern Science 等情感計算領域的代表性創業企業則憑借領域前沿的技術專利與企業、政府等開展合作，將技術優勢轉化為產品優勢。Emotiv、Smart Eye、NVISO、Affectiva等獨角獸企業不斷通過技術的研發提升產品的市場競爭力來推動企業發展。英特爾、高合 HiPhiGo、新東方、Facebook、淘寶、度小滿金融、新浪等知名企業也紛紛入局。以美國麻省理工學院為首的高校也通過產學合作將情感計算技術應用到教育、健康、商業、工業、傳媒、社會治理等多個領

235、域。在廣泛收集國內外應用情感計算技術的產品和服務的基礎上，通過綜合參考用戶評價、業界評價以及新聞媒體報道等，篩選出應用于教育、健康、商業、工業、傳媒、社會治理等領域具有代表性的產品和服務，并對相關企業進行了梳理和分析。圖 5-2 顯示了主要應用行業的代表性產品和服務的企業分布。圖 5-3 顯示了代表性企業的資本規模分布?？梢钥闯?，成立時間較短且企業規模較小的創業型企業較多，而資本相對較為雄厚的獨角獸企業與老牌代表性企業占比較為相近。白皮書對各個公司代表性產品和服務及其主要應用技術進行了整理和分析。通過附錄 4 可以看出，情感計算的應用技術類型分布較廣，涵蓋了語音情感計算、行為情感計算、生理信號

236、情感計算、文本情感計算以及多模態情感計算，而產品和服務多集中在技術型平臺與系統，只包含少數的智能機器人，各類產品和服務的受眾仍停留在企業、機構層面，尚未拓展到個人和家庭。從圖 5-4、圖 5-5、圖 5-6 可以看出，目前市場上的情感技術應用還是以單模態的應用為主。63第五章應用情況圖 5-2主要應用行業中的代表企業圖 5-3主要代表企業的資本規模分布無論是在市場需求方面，還是在研發推廣方面，情感計算的發展前景都很廣闊。但是，仍有不少人對情感計算技術的應用持有懷疑的態度。這主要體現在對應用情感計算技術可能會帶來的數據歸屬與保護、用戶的個人隱私權、人的自由意志與情感計算應用的潛在沖突、不平等等法

237、律與倫理問題。情感的廣泛性、復雜性與模型訓練的刻板性、技術應用的局限性的沖突，使人們對該技術在日常生活中的普及和眾多場景的融合問題有所擔憂。隨著情感計算技術的推廣和應用，制定相關法律法規和合理限制使用規范是非常必要的。如圖 5-7所示，不同市場規模的企業在情感計算應用的主要行業已有不同程度的發展，提高信息安全保障等能力刻不容緩。64情感計算白皮書圖 5-4全球情感計算技術主要代表企業區域分布情況圖 5-5全球單模態情感計算技術行業應用占比圖 5-6全球多模態情感計算技術行業應用占比65第五章應用情況5.2行業應用近年來，感知智能技術和信息科學技術的快速發展，為情感計算的研發和應用提供了良好的基

238、礎。情感計算已被應用于教育培訓、生命健康、商業服務、工業制造、科技傳媒、社會治理等多個領域。中國應用情感技術的代表性企業主要分布于上海、杭州，深圳、北京則是緊隨其后（見圖 5-8）。目前，中國情感計算領域的發明專利申請數約3 000 項，其中大多是在 2018 年之后申請的。在全球情感計算主要代表企業中，獨角獸和大中型企業在情感計算技術專利保護上較為積極（見圖 5-9）。圖 5-7全球情感計算主要代表企業發展應用情況圖 5-8中國情感技術企業城市部署占比圖 5-9全球情感計算主要代表企業專利保護情況66情感計算白皮書情感計算技術在中國迅猛發展，引起了越來越多的關注，市場前景非?？捎^。5.2.1

239、教育培訓領域當前，人工智能與教育逐步融合，賦予教學創新與教育變革前所未有的歷史機遇。情感計算通過計算機系統識別、感知、理解和表達人類情感，在促進感知與理解學習情感、增強情感交互、提升人機協同等方面，不斷地推動著教育培訓領域的發展。在全球范圍內情感計算技術主要被應用于以下三個方面：幫助加強線上教學中的情境化，增強師生情感交互，提升教學質量；發展并完善智能教育中的學習投入評價，科學衡量學生的能力，自動調整合適的學習內容和環境；促進特殊群體的情緒感知提升等。中國高度重視教育信息化及智慧教育的建設，接連頒布教育信息化、現代化發展規劃。自 2002年中國教育部出臺教育信息化“十五”發展規劃（綱要）后，中

240、國接連頒布了教育信息化十年發展規劃（20112020 年）（2012 年）、新一代人工智能發展規劃（2017 年）、教育信息化 2.0 行動計劃（2018 年）、加快推進教育現代化實施方案（20182022 年）（2019 年）、中國教育現代化 2035（2019 年）、關于推進教育新型基礎設施建設構建高質量教育支撐體系的指導意見（2021年）等。這為情感計算技術在教育培訓領域的應用提供了有力的政策支持。在互聯網環境下的教育模式多為混合型，即線上和線下相結合。人工智能技術在線下課堂的應用具有重要價值，如提高學校教學評估的精細化、輔助教師進行教學設計、為學生提供個性化的學習指導等。同樣，在日益普

241、及的線上課堂中，情感計算技術可以用于了解學生的情緒變化，甚至專注度、理解程度等（見圖 5-10）。隨著文本情感計算技術的逐步成熟，情感分析可以用于大規模開放式在線課程（MOOC）等在線教育的多種文本交互區域（如討論區、調查反饋、聊天室、BBS 等），也可以用于課后分析學生在學習過程中的情感變化，以實施個性化教學。由于教育情境的多樣化與疫情常態化背景下教育環境的復雜化，情感計算技術應用的形式呈現多樣化的態勢。5.2.2生命健康領域情感計算在生命健康領域得到了越來越多的關注，通過分析和評估各種類型的數據源，可以辨別接受醫療服務的用戶或患者的情感類別，并進行相應的干預，以提高醫療衛生服務的質量。由于

242、生命健康領域的特殊性，涉及情感計算包括臨床數據、藥物評論、各種生理信號、問卷調查等在內的數據源更加多樣化。隨著情感計算技術和生命健康領域的融合，相關的學術研究與實踐應用均在不斷地發展。情感狀態與個體身心健康有著密切的聯系，這已經是一個被大眾廣泛認可的觀點。將情緒識別結果與生物信號相關信息、個體的日?；顒酉嚓P聯，可以發現多種不同的影響模式，這有著廣泛、深遠的研究價值?，F階段，全球情感計算技術開始被應用于三個方面：疾病的初篩、診斷、干預及療效評估；亞健康人群的保健及情感調節；醫患服務和管理質量的提升。情感計算技術最早被應用于生命健康領域就體現在情感障礙類疾病的篩查和治圖 5-10通過識別面部表情算

243、法 評估理解學生在課堂上的情感狀態67第五章應用情況療方面，如自閉癥、情感和認知障礙等，憑借對情感捕捉的敏感性和識別的準確性，成為現有醫療手段的有力輔助手段。隨著技術的逐步成熟，現階段對情感安撫、老年人情感陪護等產品的研發逐漸增多，通過聲音、面部表情、肢體動作、生理信號以及輸出的文本信息等監測和評估敏感人群的情感和認知狀態，如孤獨、焦慮和抑郁的程度，并及時加以干預或反饋。另外，通過基于患者或家屬的評論、輿情進行情感傾向分析，了解患者的真實想法從而提升服務質量的研發也在探索之中。中國情感計算在生命健康領域的實踐和應用也在不斷地發展，大多體現在健康監測、疾?。ㄈ缇裾系K）的治療和康復保健方面。目前

244、，情感計算在生命健康領域聚焦的范圍還較為有限，但隨著計算機科學（人工智能）、認知神經科學、人體工學等學科的發展，可以預見情感計算與生命健康領域會有越來越多的交叉融合。5.2.3商業服務領域情感計算技術在商業服務領域的應用十分廣泛，涉及智能導覽、機器人精準營銷、智能客服、金融預測等眾多領域，越來越多的商家也愿意嘗試通過該技術來推動商業的發展。目前，機器人已經融入人們生活的許多方面，情感計算技術讓機器人實現類人的情感互動，可以提高用戶體驗，滿足不同用戶的需要。精準營銷、廣告的精準投放則是利用了情感計算技術強大的記錄和分析能力，通過精準地分析出用戶的偏好和情感狀態，再根據用戶的偏好、消費能力、情緒，

245、精準推送用戶可能感興趣的信息（見圖 5-11）。以消費者真實需求為基礎，提供高質量、個性化的信息和建議是促進購買行為的有效手段之一?，F階段，在全球商業服務領域情感計算應用最為廣泛的是智能客服。使用傳統人工客服的企業正面臨人力成本上升的困境，傳統機器客服也因其標圖 5-11工作人員通過情感計算設備輔助顧客選擇香水（資料來源：Emotiv 官網）68情感計算白皮書準格式化、無法變通等缺點備受詬病。智能客服結合了二者的優勢，通過對呼叫的語音進行分析，識別出行為和感知特征，指導客服人員以更好的同理心和專業精神來進行對話。金融服務業也是商業服務領域中一個不可或缺的部分。利用深度學習和大數據可以更有效地識

246、別風險，以防范化解金融風險。例如，通過采集和分析媒體報道、公司新聞等非結構化文本數據，基于金融文本情感分析的指數預測模型，對股市指數的漲跌進行預測。研究發現，情感分析特征能夠有效地提高模型預測的準確率，這表明文本情感計算和深度學習模型在金融領域具有有效性。5.2.4工業設計領域目前，情感計算在工業設計領域的應用案例主要集中在汽車行業和仿人機器人行業。在智能駕駛領域，目前情感計算技術主要應用于駕駛員監測系統（DMS）。以往的駕駛員狀態監測大多采用被動式的監測方式，即基于方向盤轉向和行駛軌跡等特征來間接判斷駕駛員狀態，而隨著情感計算技術的發展，主動式監測的方式正逐步被運用于直接監測駕駛員的生理體征

247、和行為動作，包括內隱的生理信號監測和外顯的行為反應監測兩種。內隱的生理信號監測是指通過對駕駛員 EEG、ECG 等生理指標的測量來反映駕駛員的精神狀態和行為狀態。這種方法雖然準確性高，但是由于需采用“接觸測量”的方式，在駕駛過程中使用的局限性較大。相較而言，外顯的行為反應監測主要基于攝像頭對駕駛員面部特征變化（如眼部和頭部的運動）進行捕捉和識別，推斷其情感狀態、精神狀態和行為狀態。這種非接觸式的檢測方法對駕駛員的干擾少。近年來，隨著圖像處理軟硬件技術的不斷成熟，測量速度和準確性顯著提升，外顯的行為反應監測得到較大范圍的推廣和應用。情感計算有助于推斷駕駛員的專注程度，也有助于減少因“路怒癥”所導

248、致的交通事故。情感計算可以通過示警或改變車內環境來預防駕駛員可能產生的暴躁、強迫和攻擊傾向，以形成閉環的駕乘心理健康干預策略。隨著現代科學技術的蓬勃發展，除了工業用機器人以外，仿人機器人也悄然興起。仿人機器人主要是指模仿人的形態和行為而設計和制造的機器人，可以通過對外界事物的信息收集和分析進行判斷和決策。目前，大多數仿人機器人主要應用于訪客引導、常見問題回答等較為簡單的任務。情感交互是機器人智能化的表現之一，現有的仿人機器人大多是通過感知模塊、攝像頭等裝置基于人類的面部表情等視覺信息進行情感識別的。但是，通過面部表情表達情感狀態是人與人互動的典型體現，事實上人類還沒有習慣使用此種方式與機器人進

249、行交流。雖然已經有越來越多的仿人機器人設計者關注到了情感因素，但是實現更順滑的人機情感交互需要明確人類對待仿人機器人時的情感表現特點，還要不斷探索更深層次的人類情感捕捉和識別。如圖 5-12 所示，仿人機器人在疫苗中心工作。圖 5-12仿人機器人在疫苗中心工作5.2.5科技傳媒領域隨著互聯網的普及，社交媒體平臺已經成為民眾表達觀點的主要渠道之一。輿情是公眾對社會生活中各種問題、事件的公開意見和態度的總和。其形成具有規律性，即以“情感”為內驅力，一般會經歷情感生發、情感擴散和情感耦合三個階段。這69第五章應用情況三個階段貫穿個體情感的產生和傳播，形成群體情感爆發并促成集群行為發生的全過程。通過分

250、析在線用戶的文本情感數據來調查網絡輿情的情感偏好的相關研究不勝枚舉。大到政策推行、國內外局勢，小到新產品發布、公共突發事件，都可能會引發大規模輿情。利用內容分析、情感分析的方法，結合矛盾心理測量、社會網絡分析法等心理學、社會學等學科的研究方法，把握輿情動向，開展社交媒體用戶日常情感監測、特定事件網絡輿論情感分析、企業品牌輿情管理、廣告/視頻情感計算等已成為學術界、公共管理機構、企業等獲取民眾真實想法的可靠途徑。另外，隨著人工智能技術的飛速發展，情感計算技術也逐漸被應用于交互視頻、交互廣告甚至游戲、影視等領域。情感分析通過計算機程序，能夠自動檢測出書面形式（如推特、臉書以及電子郵件等）所反映的情

251、感。情緒分析可以在文檔級（Document Level）、句子級（Sentence Level）和方面級（Aspect Level）等三個不同層次上進行。在社交媒體中，信息傳播是一個用戶高度參與和交互的過程，情感對其有重要的影響。作為溝通和交流的主要媒介之一，在社交媒體平臺上用戶表達情感的方式多種多樣。崛起的社交網絡平臺每秒鐘都在創造大量的數據，每個帖子、評論、“點贊”的背后都蘊含著人類情感。近年來，情感計算技術在科技傳媒領域的應用逐漸增多。但是，從整體來看，情感計算技術在科技傳媒領域的應用尚處于探索發展階段，應用面尚不廣泛，多集中在輿情監測方面，而在輿情監測中應用的情感計算技術又多以文本情感

252、計算方法為主。事實上，隨著抖音、快手等短視頻平臺的崛起，現在的輿情已成為文字、表情符號、圖片、視頻的跨媒體綜合性內容，這使輿情事件的傳播有了更加多樣化和復雜化的方式。這就需要多模態情感計算為輿情管控決策提供更加全面的信息，進而提高決策的精準性和可靠性。5.2.6社會治理領域隨著人工智能技術在各行業的廣泛應用，政府部門的數字化、信息化和智能化管控水平快速提升。在執法領域，執法機構使用情感計算技術判斷特定公眾的危險程度或供述的可信度，在執法人員根據經驗判斷的基礎上增加了情感分析作為輔證。如圖 5-13 所示，在刑偵、審訊等安防工作中，判斷被問詢者語言的真實性是一項至關重要的工作。穿戴式設備、眼球掃

253、描追蹤和網絡攝像頭等多種新圖 5-13預警分析系統70情感計算白皮書型工具正被用來收集面部微表情、身體語言和語音數據，再利用生理數據和面部微表情等的非自主反應和不可偽造性，分析情緒變化、語言線索，可以輔助判斷所述信息的可信度。許多國家開始利用情感計算技術提高國防安全的科學性和有效性，如邊境檢查站威脅情境檢測、公共場所安全監測等。近年來，恐怖主義一直是各國政府關注的問題，推特等社交網絡也成為追蹤和識別恐怖主義的良好信息來源。應用情感分析、文本挖掘等技術來分析信息的非結構化內容，為應對恐怖主義帶來的社會威脅提供了一個新的渠道。情感計算在智能安防領域也具有廣闊的應用前景。計算機通過對人類面部表情、語

254、音、肢體動作、生理信號等情感的獲取、分類和識別，可以及時獲取目標對象的情感變化，并對異常危險行為提出預警，實施應對措施，以幫助智能安防的建設。例如，通過專用攝像機采集視頻，根據人的表情以及身體動作的振動頻率和振幅，智能安防系統計算出攻擊性以及壓力和緊張等參數，并分析人的精神狀態，可以篩選出可疑人員并實施預警等措施。情感計算也可以助力構建全方位的數字化和智能化校園安防監控系統。71第六章未來趨勢第六章未來趨勢6.1下一階段技術走向預見人工智能發展到今天，已經越來越接近人的認知模式和智力水平。但是，為了進一步實現人類心智與情感的數字化，實現人工智能“智商+情商”的發展目標，科學家還需要在數據集、策

255、略、建模、仿生以及應用模式等領域繼續開展研究。這些方面的最新成果也將是下一步發展新一代人工智能的關鍵。6.1.1高質量、大規模數據集的構建目前，在全球主要的情感智能數據集中，按數據承載的信息形態可以分為文本數據、語音數據、圖片/視頻數據以及其他數據。目前，在文本數據集方面，需要面向中文構建更大規模、更高質量的數據集。語音數據集和圖片/視頻數據集普遍質量較高、規模較大。但是，圖片/視頻數據集的主要問題集中在與海量數據處理相匹配的高效算力實現方面。圖片和視頻的差異在于內容時間的長短。在本質上，圖片和視頻基本都依托于視覺識別技術進行表情識別而實現機器情感計算的。目前，科研技術領域在圖片的情感識別技術

256、上的發展已經基本成熟，但是在視頻方面的技術開發和應用上依然頗具挑戰?；A視頻每秒包含24 張連續時點（幀數）的圖片。計算機判斷視頻中人物的情感就是運營超常的算力對每一幀進行分析，并按時間排序而形成。這也導致了對視頻內容進行情感識別需要充分考慮情感隨時間推進的動態性以及這種動態波動所導致的情感類型無法確定的問題。同時，人類的情感在每一時點不是單一的。因此，對視頻尤其是在長時程監測過程中對動態且多情感類型融合狀態的整體情感識別，需要大量的算力和數據的有效傳輸?，F有的生理數據集主要包括英國倫敦瑪麗女王大學研究組的基于生理信號的情感分析數據庫（DEAP 數據集）、穆罕默德蘇萊馬尼（Mohammad S

257、oleymani）等和日內瓦大學計算機科學實驗室的MAHNOB-HCI 數據庫、上海交通大學呂寶糧團隊的情感腦電數據集（SEED）等。這些數據集的規模普遍較小，這在一定程度上限制了深度學習算法的訓練。因此，需要構建更大規模的情感生理數據集來突破這一限制。目前，人類不同于機器的重要特征有兩個：一是人類在社會環境中處于多種模態共存的場景，這一特征具體表現為通過語言、表情、語音、動作等來共同表達意圖和情感；二是人類在處理情感時具備模態間切換的情感推理能力，可以切換不同模態來尋找線索，并通過相互關聯以進行歧義消除和情感推理。因此，多模態大規模情感數據集的建立，有助于開發更加類人的情感智能技術，實現更加

258、精準的情感識別。72情感計算白皮書6.1.2零/少樣本學習或無監督學習方法近年來，在情感計算研究領域，深度學習取得了巨大的突破。深度學習能夠很好地實現復雜問題的學習。然而，深度學習最大的弊端之一就是需要大量人工標注的訓練數據，而這需要耗費大量的人力成本。目前的模型過于依賴大量標記數據，其性能受標記數據量的影響很大。即使數據得到了標記，其準確性也有可能受主觀因素的影響而難以保證。因此，需要開發更加有效的小樣本學習算法以及無監督深度學習算法，特別是模擬人類對從未見過對象的認知過程，開發零樣本學習的方法，通過訓練類與測試類之間的知識遷移來完成學習，從而推動情感計算在更廣泛場景中的應用。這是一個非常值

259、得研究的方向。6.1.3多模態融合技術創新多模態融合是在多模態表示的基礎上，聯合多個模態的信息，進行情感分類。根據是否與特定的深度學習模型相關，一般可以分為兩大類：模型無關的融合方法和基于模型的融合方法。前者不依賴于特定的深度學習方法，而后者利用深度學習模型能夠顯式地解決多模態融合問題。模型無關的融合方法可以分為早期融合（基于特征的融合）、晚期融合（基于決策的融合）和混合融合（基于前兩者混合的融合）。早期融合在提取特征后立即集成特征（通常只需連接各模態特征的表示），晚期融合在每種模式輸出結果（如輸出分類或回歸結果）之后才執行集成，混合融合結合了早期融合方法和單模態預測器的輸出。三種融合方法各有

260、優缺點，早期融合能更好地捕捉特征之間的關系，但容易過度擬合訓練數據。晚期融合可以更好地處理過擬合問題，但不允許分類器同時訓練所有數據。盡管使用混合多模態融合方法非常靈活，但是許多當前的體系結構需要仔細設計何時、何模態以及如何可以融合，這需要研究者根據具體應用問題和研究內容酌情選擇使用?；谀Ｐ偷娜诤戏椒ㄊ菑膶崿F技術和模型的角度解決多模態融合問題，常用的方法有三種：多核學習方法（Multiple Kernel Learning，MKL）、圖模型方法（Graphical Models，GM）、神經網絡方法（Neural Networks，NN）等。這些方法的優點是能夠很容易地利用數據的空間和時間結

261、構，特別適合與時間相關的建模任務，還允許將人類專家的知識嵌入模型，使模型的可解釋性增強。但是，其缺點是計算代價很大，在現實中較難訓練。此外，科學家還提出了多階段多模態情感融合方法。具體的過程是首先訓練一個單模態模型，然后將其作為隱含狀態與另一個模態特征拼接再訓練雙模態模型，以此類推得到多模態模型?？偠灾?，多模態融合技術能夠有效利用不同模態信息的協同互補，增強情感理解與表達能力，提升模型魯棒性和性能優越性。這是未來研究的一個重要方向。6.1.4多模型推理單個模型的輸出結果可能不可靠甚至不正確，從而導致錯誤的決策。為了解決這個問題，多模型聯合推理是一個有效解決方案。多模型融合可以有效地結合多個模

262、型的優點，充分利用模型信息之間的互補性來克服單模型表達信息不完全的局限問題，使決策更加具有穩定性和魯棒性。采用合適的融合方法是多模型聯合決策的關鍵。其中，比較有代表性的 D-S 證據理論是貝葉斯理論對主觀概率的推廣，而且因具有對不確定知識進行建模的能力而得到廣泛應用。D-S 組合規則允許來自不同來源的信念相結合，以獲得考慮所有可用證據的新信念，因此它可以很好地處理信息融合問題。6.1.5認知神經科學啟發的情感計算雖然人類在情感心智方面已經積累了大量的理論和應用技巧，但是總體而言，人類情感心智在73第六章未來趨勢意識過程、進化過程以及交互過程中的各種具體作用和影響還被蒙著一層神秘的面紗。例如，雖

263、然通過詹姆斯-蘭格理論的指導，情感會影響人的自主神經系統，但是這種影響背后的生物學基礎及進化含義卻尚未完全揭開。在機器實現情感心智時，這種影響機制是否需要被考慮，從而完善機器各系統的整體效能，就成為一個尚待解決的問題。人類大腦情感加工的認知過程、神經機制及其解剖學基礎為開發情感計算模型提供了關鍵啟發。正如受生物視覺處理過程啟發的卷積神經網絡架構、受心理學行為主義理論啟發的強化學習方法、受神經可塑性啟發的脈沖網絡模型等，認知神經科學啟發的情感計算模型和算法創新，將為賦予機器以功能類腦、性能超腦的智慧靈敏反應能力提供了可能。由此可見，人類在認知神經科學領域研究的深化，將最終關系到情感計算乃至整個人

264、工智能的發展進程。兩大學科領域之間的有效銜接也已成為以腦計劃為代表的諸多大科學工程所關心的重要主題。6.1.6跨文化情感識別隨著各地區人口遷移和文化交流的日益加劇，含有多重文化背景的情感信息涌現。例如，在上海寫字樓中，經常能聽到白領人群用中英混雜的語句來表達各種職場所聞，其中就包含著大量中國和英語國家的雙重語言文化。對于這樣的情感信息而言，目前區域性情感數據集的樣本量是遠遠不夠的。這也進一步導致現有的各類情感計算在識別相關人群情感時會產生偏差。目前，從技術手段來看解決上述問題的思路有兩種：一是人為地通過采集更多的數據并進行融合，形成更加全面的跨文化、跨民族人群的情感數據集；二是基于現有數據集進

265、一步使用深度學習，并通過在不同的場景和環境下各類人群的情感計算交互應用，實現自我迭代和數據集完善，使其更全面。從效能上來評估，顯然后者更加具有應用意義。6.1.7數據與知識驅動的技術革新對人類個體而言，對數據的理解一定激活了相關聯的其他信息，這些信息是一種潛在的知識或常識，人腦可以將數據與知識巧妙地結合起來，可以實現面向復雜問題的更加通用、智能、節約的計算。浙江大學吳飛教授認為，今后的科學計算或者人工智能計算，一定是領域專家和數據的驅動相結合，形成場景人工智能或者解決場景的任務。情感計算也將逐步進入數據和知識雙驅動時代：一方面需要從數據里吸取知識，隨后基于知識作決策和服務；另一方面不能一味從數

266、據里發現知識，一定要有知識指導計算過程。6.2下一階段行業應用展望思維作為一種高級認知過程，不僅包含理性的推理和決策，還包含大量的情感因素。當前，各類智能交互技術的研發均在追求使機器“更具有智慧和溫度”。事實上，擁有對情感的識別、分析、理解、表達的能力也應成為智能機器必不可少的一種功能。情感計算技術除了在日常的教育培訓、生命健康、商業服務、工業制造、科技傳媒以及社會治理等方面的參與與影響不斷增加和增強之外，未來還將涉及智慧服務、虛擬現實、科藝融合等前沿領域。越來越多的機構、企業及媒體擬利用此技術解決現實問題以更好地服務大眾。6.2.1智慧服務領域為了應對日益凸顯的人口老齡化問題，基于人工智能的

267、老年智能陪護系統應運而生。在老年健康管理領域，越來越多的研發開始關注諸如信號傳感器、可穿戴檢測設備、智能護理床、健康服務機器人等為老年人提供互動式的居家健康檢測、身體狀況評估、緊急救助服務的智能服務設備。特別是通過情感計算技術，綜合檢測老人的情緒狀態進行情74情感計算白皮書感陪伴，以減少老人的孤獨感并可以對抑郁癥等疾病進行早期監測和預警。人機交互這個子領域也成為研究焦點。隨著各種各樣的語音助手、聊天機器人逐漸走入大眾的生活，研發重點也從提高對話的邏輯準確性轉為加強對話的情感互動性。在真實的對話過程中，情感是人類交換的重要信息之一。在智能對話過程中，如果機器能夠知曉人類的情感并將其融入對話，會進

268、一步提高對話內容的智能程度。未來，在管理領域，通過情感計算獲得領導者與員工的情緒，并對其進行干預、協調，從而提升企業的整體效率。在商業服務領域，通過客戶評價文本，解讀客戶的情感并進行精準營銷，在滿足客戶需求的同時樹立自己的品牌。在健康領域，基于患者的情感數據分析結果，可以進行心理疾病的診斷和預測，并輔以積極干預等。以人為中心的智慧服務產業的應用場景將不斷地增加。情感認知的研究與發展是推動人機情感交互的關鍵，也是促進智慧服務普及的重要推手。在不久的將來，機器在更加智慧的同時，將更有溫度、更加人性化。通過富有情感感知的人機對話系統、智能陪護系統、情感安撫系統等，智能機器人能擔負起管理、家政、陪護等

269、服務性質的任務，在滿足人們情感需求的同時，還可以緩解越來越緊張的人力資源短缺壓力。6.2.2虛擬現實領域在虛擬網絡空間，基于情感計算的智能交互技術將扮演越來越重要的角色。這些被稱為社交機器人的智能體，能通過自然語言分析和社交網絡行為算法，在社交媒體中發布信息產品并與人交流互動。當前，智能交互技術在網絡中的參與比重和影響不斷地加大，越來越多的政治、經濟和傳媒組織利用它吸引流量、改變公共話語甚至調整輿論走向。與現實社會的實體情感機器人不同，網絡社交智能體的一大特色，就是模仿人類認知和溝通行為，做一個有獨特見地的“網民”。隨著技術的不斷進步，機器人作為活躍在社交網絡上的新“人種”，其人格化特征越來越

270、明顯。隨著虛擬現實技術發展，人們對虛擬場景的感知能力不斷增強，AR 的應用場景也從最初的軍事領域逐步拓展至商業應用領域。在虛擬現實領域，AR 主要提供沉浸式的交互功能以及提高人們在虛擬場景下的信息獲取能力，而在現實世界里，人們往往會因為對虛擬環境的感知不足或者無法準確地表達自己的想法等而產生孤獨感和不安全感，這也成為影響用戶使用行為的一個重要因素。情感計算可以使 AR 界面的設計更智能，更懂人的情感，從而提高人們的感知程度。當系統精確計算出用戶情感、需求和期望后，個性化的數字體驗應運而生。在不久的將來，當用戶帶上 AR 眼鏡時，他們的視網膜上出現完全根據他們的情感和需求量身定制的內容，那必將是

271、一種全新的體驗。6.2.3社會安全領域人與人的溝通，必然伴隨著情感的傳遞與共鳴。人們通過面部表情、肢體動作、語音、語調等表達情感，通過視覺、聽覺等感官感知和理解對方的情感。但是，表象情感是可以隱藏或偽裝的。隨著科技的發展，基于情感識別系統和深度學習算法等技術的人工智能、人機交互將在未來智能監控、犯罪風險評估、刑偵審訊等社會治理方面發揮重要作用。經過 10 余年的發展，微表情的檢測和識別取得了很大的進展，但是目前絕大部分微表情分析的工作都是針對在實驗室或者受控環境下采集的微表情樣本來進行的。如何設計出可以檢測、識別與分析自然產生的微表情，如何更容易地獲得宏表情數據來提升微表情識別系統的性能等，仍

272、然是亟待解決的課題?？梢钥闯?，微表情分析在實際的推廣和應用方面仍然存在諸多技術障礙。情感計算的逐漸成熟有助于推動此類技術的發展和應用。在國防安全方面，通過表情捕捉頭盔、生理感75第六章未來趨勢應貼片及手環等情感 AI 設備，可以提供更為精準、客觀、便捷、實時的士氣測評與心理診斷。美國陸軍研制的一種可嵌入未來“武士”軍服內的傳感器系統，能監測到穿著的單兵心跳、行進中代謝能量消耗、內層皮膚溫度及反應靈敏或遲鈍等情況。英國國防部也在研制隨身攜帶生理監測子系統以及能提供人體心理緊張程度、熱量狀態和睡眠水平的微型傳感器的“新生代武士”單兵作戰系統。借助情感 AI 設備可以滿足對士兵進行心理服務預警、戰場

273、心理危機干預等多場景需求。同時，情感計算還將助力智慧城市的構建，讓城市更安全、有溫度、會思考、可進化。只有當情感計算應用于城市生活的方方面面時，才能真正實現城市的人性化和數字化。6.2.4金融決策領域在金融領域，隨著信貸從線下轉移到線上，信貸審核、客服等流程和工作都可以通過智能機器人完成。應用了情感算法的語音機器人，既能非常自然地與用戶進行交互溝通，也能“察言觀色”，識別用戶交談時的情緒，以至于大部分用戶分辨不出是與機器在對話。情感計算還可以基于用戶語音的分析，提煉出語速、語氣、能量的變化，分析說話者的情緒、是否猶豫等，通過這些因子綜合判斷說話者說謊的概率。當前的個人征信系統雖然已經比較完善，

274、但是對個人貸款者相關的金融信用風險還無法做到全面地記錄和采集，導致各大銀行在面對個人信貸客戶時，通常需要建立自己的信用評級系統。僅憑工作人員依據信用評級結果判斷客戶的信用風險，有可能在主觀判斷錯誤的情況下產生嚴重的銀行壞賬。情感計算等技術可以根據客戶的陳述過程中的語音語調等數據，分析客戶的情感狀態和道德水平，為借貸決策提供參考。股票市場是受外部環境、輿論情緒影響較大的領域。近年來，股市投資者的情緒被廣泛研究，股市情緒的理論基礎來源于結合金融學、心理學、人類行為學等交叉學科而成的行為金融學。其基本觀念為股票的價格趨勢并非完全由公司基本面所決定，而是在很大程度上被投資者的情緒波動所左右，這是由于投

275、資者的非理性在其投資決策過程中會有各種各樣的判斷準則。對投資者情緒的研究有助于理解投資者的情緒喜好和認知偏差。同時，有效并快速的情緒分析可以幫助預測股票市場的走向。6.2.5科藝融合領域當前，在數字化時代，圖片、音頻、視頻等多媒體數據已經成為數據的主要部分，如何從多媒體數據中提取有用的信息，并進行有效檢索和挖掘，顯得尤為重要。例如，在給用戶推薦音樂的場景下，音頻的資源管理和搜索效率就顯得尤為重要。傳統的音樂搜索是以匹配文字（如歌曲標題、歌手名或者歌詞）的方式檢索出對應的內容。在音樂數據庫中進行檢索，給用戶呈現出相應內容，本質上還是基于文本的匹配檢索。在音樂的高層語義特征中，情感是一種較為高級的

276、特征。因此，在檢索技術中可以考慮音樂的情感特征，提高用戶和音樂的匹配度，這也是計算機音樂情感分析的主要任務?；跀祿Ｐ?，利用計算機技術自動識別音樂中的情緒特點，結合統計或者機器學習的方法對音樂情感進行擬合建模，能夠定量統計音樂中的情感部分?，F在的人工智能生成文本已經不僅僅可以滿足簡單寫作的要求，還能利用機器學習算法寫出富含情感、語句優美的詩詞歌賦。研究者開始致力于賦予機器智商的同時，嘗試提高機器的情商。人工智能生成文本的本質還是通過機器對數據的學習能力，計算出大量文本表示張量背后的優化參數，結合 NLP、知識圖譜、凸優化等技術，機器學習了這些詩人隱含的寫作手法，寫出的詩作的質量甚至超過人。此

277、外，為了迎合市場需求，情感計算技術也已經開始被應用于影視劇本和小說創作、廣告策劃等其他科藝融合領域。76情感計算白皮書1 ARANDJELOVIC R,GRONAT P,TORII A,et al.NetVLAD:CNN architecture for weakly supervised place recognitionC/2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Los Alamitos,CA:IEEE Computer Society,2016:5297-5307.2 BACCIANELL

278、A S,ESULI A,SEBASTIANI F.SentiWordNet 3.0:an enhanced lexical resource for sentiment analysis and opinion miningC/CHAIR N,CHOUKRI K,MAEGAARD B,et al.Proceedings of the Seventh International Conference on Language Resources and Evaluation（LREC 2010）.Valletta,Malta:European Language Resources Associat

279、ion（ELRA）,2010:2200-2204.3 CAMBRIA E,HUSSAIN A.Sentic album:content-,concept-,and context-based online personal photo management systemJ.Cognitive computation,2012,4（4）:477-496.4 DATTA R,JOSHI D,LI J,et al.Studying aesthetics in photographic images using a computational approachC/European conference

280、 on computer vision.Berlin,Heidelberg:Springer,2006:288-301.5 HO M-T,MANTELLO P,NGUYEN H-K T,et al.Affective computing scholarship and the rise of China:a view from 25 years of bibliometric dataJ.Humanities and social sciences communications,2021,8（1）:1-14.6 KHATUA A,KHATUA A,CAMBRIA E.Predicting po

281、litical sentiments of voters from Twitter in multi-party contextsJ.Applied soft computing,2020,97（Pt.A）:106743.7 LO S L,CAMBRIA E,CHIONG R,et al.Multilingual sentiment analysis:from formal to informal and scarce resource languagesJ.Artificial intelligence review,2017,48（4）:499-527.8 PEI G X,LI T H.A

282、 literature review of EEG-based affective computing in marketingJ.Frontiers in psychology,2021,12:602843.9 PICARD R W.Affective computingM.Cambridge,MA:MIT Press,2000.10 REN S Q,HE K M,GIRSHICK R,et al.Faster R-CNN:towards real-time object detection with region proposal networksC/Advances in neural

283、information processing systems.Montreal,Canada:Curran Associates,Inc.,2015,1:91-99.11 REN F J,QUAN C Q.Linguistic-based emotion analysis and recognition for measuring consumer satisfaction:an application of affective computingJ.Information technology and management,2012,13（4）:321-332.12 SIMONYAN K,Z

284、ISSERMAN A.Very deep convolutional networks for large-scale image recognitionJ.arXiv e-prints,2014:1409.1556.13 WANG B,LIAKATA M,ZUBIAGA A,et al.Tdparse:multi-target-specific sentiment recognition on TwitterC/Proceedings of the 15th Conference of the European Chapter of the Association for Computati

285、onal Linguistics:Volume 1,Long Papers.Valencia,Spain:Association for Computational Linguistics,2017:483-493.14 YOU Q,LUO J,JIN H,et al.Robust image sentiment 主要參考文獻77主要參考文獻 analysis using progressively trained and domain transferred deep networksC/Proceedings of the Twenty-Ninth AAAI Conference on A

286、rtificial Intelligence.Austin,TX:AAAI Press,2015:381-38815 IITI.Core computer science conference rankingsEB/OL.2022-08-23.https:/iiti.ac.in/people/artiwari/cseconflist.html.16 中國計算機學會.中國計算機學會推薦國際學術會議 和 期 刊 目 錄 EB/OL.（2019-04-25）2022-08-16.https:/ AAAI.The AAAI Conference on Artificial IntelligenceEB

287、/OL.2022-08-23.https:/aaai.org/Conferences/AAAI/aaai.php.18 AAAI.Sponsored Workshops at AAAI-18EB/OL.2022-08-23.https:/aaai.org/Conferences/AAAI-18/ws18workshops/#ws01.19 Clarivate.Essential science indicators：learn the basicsEB/OL.2022-07-25.https:/ Clarivate.Derwent Innovations Index on Web of Sci

288、enceEB/OL.2022-08-23.https:/ 傅小蘭.情緒心理學 M.上海：華東師范大學出版社，2016.22 李祖賀，樊養余.基于視覺的情感分析研究綜述 J.計算機應用研究，2015，32（12）：3521-3526.23 李太豪，裴冠雄.情感計算：讓機器擁有“情商”J.張江科技評論，2021（2）：24-25.24 孟昭蘭.普通心理學 M.北京：北京大學出版社，1994.25 裴冠雄，呂棟，李太豪，等.情感計算與數字經濟高質量發展的知識圖譜分析 J.科技和產業，2022，22（5）：118-126.26 王偉凝，余英林.圖像的情感語義研究進展 J.電路與系統學報，2003，8（

289、5）：101-109.27 徐小龍.中文文本情感分析方法研究 J.電腦知識與技術，2018，14（2）：149-151.78情感計算白皮書1.情感計算領域前 20 名全作者發文國家歷年發文量附錄序號國家1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021 20221中國11-442320337180114115107126144193315398468506777865835 1 019 5672美國

290、5861272328363355738794991241392052173053223474424423893971473印度-1-1116627122837791052492943663603563744062604英國111346182817343637435074728990180158220235203198221885德國-34-371118202646404759528693121100142149128119139496日本2651574991419303434223539486472868811911997130307意大利-1-211339101512172638467310

291、99492110125118128588澳大利亞-112125671217262128406255597390104121117125699西班牙-11233471312261332415346647274921101281206510加拿大-1-25-356417121919373863496480779510486884779附錄（續表）序號國家1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021

292、 202211韓國-2-141517132218302116323544455853971011001335912法國-1121226961119271829275253725568928486823713荷蘭-1315568101315242135403041625144506551692914土耳其-1345849142128405177888579703015沙特阿拉伯-181226234451777412411016新加坡11-1-12-1231291018221938344546584953612317馬來西亞-1-1-65725101736404842474656653918巴基斯

293、坦-1123121310142441508480914119巴西-113132248111521275133756748482720希臘-1-1-276615272423231326243035303518293315 80情感計算白皮書期刊名稱Web of Science 領域Frontiers in PsychologyPsychology，MultidisciplinaryIEEE Transactions on Affective ComputingComputer Science，Cybernetics/Computer Science，Artificial Intelligence

294、Expert Systems with ApplicationsComputer Science，Artificial Intelligence/Engineering，Electrical&Electronic/Operations Research&Management SciencePsychiatry ResearchPsychiatryKnowledge-Based SystemsComputer Science，Artificial IntelligenceInformation Processing&ManagementComputer Science，Information S

295、ystems/Information Science&Library ScienceIEEE Transactions on MultimediaComputer Science，Software Engineering/Computer Science，Information Systems/TelecommunicationsInformation SciencesComputer Science，Information SystemsPattern RecognitionComputer Science，Artificial Intelligence/Engineering，Electr

296、ical&ElectronicNeuroscience and Biobehavioral ReviewsNeurosciences/Behavioral SciencesPsychological MedicinePsychology/Psychology，Clinical/PsychiatryJournal of Affective DisordersClinical Neurology/PsychiatryApplied Soft ComputingComputer Science，Interdisciplinary Applications/Computer Science，Artif

297、icial IntelligenceDecision Support SystemsOperations Research&Management Science/Computer Science，Information Systems/Computer Science，Artificial IntelligenceFuture Generation Computer Systems-The International Journal of EscienceComputer Science，Theory&MethodsInformation FusionComputer Science，Theo

298、ry&Methods/Computer Science，Artificial IntelligenceArtifi cial Intelligence ReviewComputer Science，Artificial IntelligenceComputers in Human BehaviorPsychology，Experimental/Psychology，MultidisciplinaryIEEE Transactions on Image ProcessingEngineering，Electrical&Electronic/Computer Science，Artificial

299、IntelligenceSchizophrenia BulletinPsychiatryInternational Journal of Human-Computer StudiesComputer Science，Cybernetics/Ergonomics/Psychology，Multidisciplinary2.情感計算領域發文 Q1 期刊81附錄期刊名稱Web of Science 領域IEEE Transactions on CyberneticsAutomation&Control Systems/Computer Science，Artificial Intelligence/

300、Computer Science，CyberneticsNeuroimageNeurosciences/Neuroimaging/Radiology，Nuclear Medicine&Medical ImagingIEEE Transactions on Pattern Analysis and Machine IntelligenceEngineering，Electrical&Electronic/Computer Science，Artificial IntelligenceJournal of Child Psychology and PsychiatryPsychology/Psyc

301、hology，Developmental/PsychiatryIEEE Transactions on Knowledge and Data EngineeringEngineering，Electrical&Electronic/Computer Science，Artificial Intelligence/Computer Science，Information SystemsNeural NetworksComputer Science，Artificial Intelligence/NeurosciencesJournal of Big DataComputer Science，Th

302、eory&MethodsIEEE Intelligent SystemsEngineering，Electrical&ElectronicEngineering Applications of Artifi cial IntelligenceEngineering，Multidisciplinary/Automation&Control Systems/Computer Science，Artificial Intelligence/Engineering，MultidisciplinaryBrainClinical Neurology/NeurosciencesIEEE Journal of

303、 Biomedical and Health InformaticsMedical Informatics/Computer Science，Interdisciplinary Applications/Computer Science，Information Systems/Mathematical&Computational BiologyResearch in Autism Spectrum DisordersEducation，Special/RehabilitationBiological PsychiatryNeurosciences/PsychiatryACM Transacti

304、ons on Multimedia Computing Communications and ApplicationsComputer Science，Theory&Methods/Computer Science，Software EngineeringComprehensive PsychiatryPsychiatryIEEE Transactions on Neural Networks and Learning SystemsEngineering，Electrical&Electronic/Computer Science，Theory&Methods/Computer Scienc

305、e，Hardware&Architecture/Computer Science，Artificial IntelligenceTranslational PsychiatryPsychiatryComputers in Biology and MedicineEngineering，Biomedical/Biology/Computer Science，Interdisciplinary Applications/Mathematical&Computational BiologyComputer Vision and Image UnderstandingEngineering，Elect

306、rical&ElectronicHuman Brain MappingNeuroimaging/Radiology，Nuclear Medicine&Medical Imaging（續表）82情感計算白皮書（續表）期刊名稱Web of Science 領域European Archives of Psychiatry and Clinical NeuroscienceClinical Neurology/PsychiatryInformation Systems FrontiersComputer Science，Theory&Methods/Computer Science，Informat

307、ion SystemsAmerican Journal of PsychiatryPsychiatryInternational Journal of Human-Computer InteractionComputer Science，Cybernetics/ErgonomicsJournal of King Saud University-Computer and Information SciencesComputer Science，Information SystemsJournal of NeuroscienceNeurosciencesElectronic Commerce Re

308、search and ApplicationsComputer Science，Information SystemsInternet ResearchComputer Science，Information SystemsIEEE Transactions on Instrumentation and MeasurementEngineering，Electrical&ElectronicJournal of the American Academy of Child&Adolescent PsychiatryPsychiatryInternational Journal of Comput

309、er VisionComputer Science，Artificial IntelligenceJournal of Abnormal PsychologyPsychology，ClinicalEuropean NeuropsychopharmacologyClinical NeurologyIEEE Transactions on Circuits and Systems for Video TechnologyEngineering，Electrical&ElectronicApplied AcousticsAcousticsComputer Systems Science and En

310、gineeringComputer Science，Theory&MethodsNeuropsychology ReviewNeurosciencesACM Computing SurveysComputer Science，Theory&MethodsMolecular AutismGenetics&HeredityJournal of Biomedical InformaticsComputer Science，Interdisciplinary ApplicationsArtifi cial Intelligence in MedicineEngineering，BiomedicalCo

311、mplex&Intelligent SystemsComputer Science，Artificial IntelligenceEmotion ReviewPsychology，MultidisciplinaryComputer Methods and Programs in BiomedicineEngineering，BiomedicalInformation&ManagementComputer Science，Information SystemsIEEE Internet of Things JournalEngineering，Electrical&ElectronicInter

312、national Journal of Intelligent SystemsComputer Science，Artificial Intelligence83附錄期刊名稱Web of Science 領域Wiley Interdisciplinary Reviews，Data Mining and Knowledge DiscoveryComputer Science，Theory&MethodsACM Transactions on Intelligent Systems and TechnologyComputer Science，Artificial IntelligenceComp

313、uters&EducationComputer Science，Interdisciplinary ApplicationsJournal of Intellectual Disability ResearchEducation，SpecialIEEE Transactions on Intelligent Transportation SystemsEngineering，Electrical&ElectronicNeuropsychopharmacologyNeurosciencesIEEE Computational Intelligence MagazineComputer Scien

314、ce，Artificial IntelligencePsychiatry and Clinical NeurosciencesClinical NeurologyAdvanced Engineering InformaticsEngineering，MultidisciplinaryBritish Journal of PsychiatryPsychiatryJournal of Computational ScienceComputer Science，Theory&MethodsIEEE NetworkEngineering，Electrical&ElectronicHuman-Centr

315、ic Computing and Information SciencesComputer Science，Information SystemsAsian Journal of PsychiatryPsychiatryIEEE Transactions on Information Forensics and SecurityEngineering，Electrical&ElectronicEuropean PsychiatryPsychiatryComputer CommunicationsEngineering，Electrical&ElectronicJournal of the Am

316、erican Medical Informatics AssociationHealth Care Sciences&ServicesACM Transactions on Internet TechnologyComputer Science，Software EngineeringActa Psychiatrica ScandinavicaPsychiatryBipolar DisordersClinical NeurologyIEEE Transactions on Systems Man Cybernetics-SystemsComputer Science，CyberneticsDe

317、pression and AnxietyPsychiatryInternational Journal of Medical InformaticsHealth Care Sciences&ServicesMeasurementEngineering，MultidisciplinaryComputers&Industrial EngineeringEngineering，IndustrialInternational Journal of Neural SystemsComputer Science，Artificial IntelligenceJournal of Organizationa

318、l and End User ComputingComputer Science，Information Systems（續表）84情感計算白皮書（續表）期刊名稱Web of Science 領域IEEE Signal Processing MagazineEngineering，Electrical&ElectronicAmerican Journal of Geriatric PsychiatryGeriatrics&GerontologyIEEE Journal of Selected Topics in Signal ProcessingEngineering，Electrical&E

319、lectronicJournal of Anxiety DisordersPsychiatryComputer Science ReviewComputer Science，Theory&MethodsIEEE Transactions on Visualization and Computer GraphicsComputer Science，Software EngineeringInformation and Software TechnologyComputer Science，Software EngineeringScience China-Information Sciences

320、Engineering，Electrical&ElectronicCommunications of the ACMComputer Science，Theory&MethodsCurrent Directions in Psychological SciencePsychology，MultidisciplinaryPsychological SciencePsychology，MultidisciplinaryBritish Journal of PsychologyPsychology，MultidisciplinaryAddictionSubstance AbuseAggression

321、 and Violent BehaviorCriminology&PenologyIEEE Transactions on Industrial InformaticsEngineering，IndustrialClinical Psychological SciencePsychologyBiological Psychiatry-Cognitive Neuroscience and NeuroimagingNeurosciencesPsychological BulletinPsychologyJournal of Neurology Neurosurgery and Psychiatry

322、Clinical NeurologyInternational Journal of Eating DisordersNutrition&DieteticsDevelopmental Cognitive NeuroscienceNeurosciencesJournal of Psychiatry&NeuroscienceNeurosciencesInternational PsychogeriatricsGeriatrics&GerontologyCurrent Psychiatry ReportsPsychiatryAlzheimers Research&TherapyClinical Ne

323、urologyComputers in IndustryComputer Science，Interdisciplinary ApplicationsACM Transactions on Knowledge Discovery from DataComputer Science，Software EngineeringAlexandria Engineering JournalEngineering，Multidisciplinary85附錄期刊名稱Web of Science 領域NeuropsychobiologyNeurosciencesNeural Regeneration Rese

324、archNeurosciencesIEEE Transactions on Fuzzy SystemsEngineering，Electrical&ElectronicInternet Interventions-The Application of Information Technology in Mental and Behavioural HealthHealth Care Sciences&ServicesProceedings of the IEEEEngineering，Electrical&ElectronicJournal of Network and Computer Ap

325、plicationsComputer Science，Software EngineeringBrain Behavior and ImmunityNeurosciencesData Mining and Knowledge DiscoveryComputer Science，Information SystemsMIS QuarterlyComputer Science，Information SystemsJournal of Management Information SystemsComputer Science，Information SystemsJournal of Compu

326、ting in Civil EngineeringEngineering，CivilIntegrated Computer-Aided EngineeringEngineering，MultidisciplinaryRevista de Psiquiatra y Salud MentalPsychiatryEuropean Journal of PsychotraumatologyPsychology，ClinicalBrain StimulationClinical NeurologyEuropean Journal of NeurologyClinical NeurologyVirtual

327、 RealityComputer Science，Software EngineeringArtifi cial IntelligenceComputer Science，Artificial IntelligenceCAAI Transactions on Intelligence TechnologyComputer Science，Artificial IntelligenceArtifi cial IntelligenceComputer Science，Artificial IntelligenceNature Reviews NeuroscienceNeurosciencesPro

328、gress in NeurobiologyNeurosciencesInternational Journal of Electronic CommerceComputer Science，Software EngineeringEmpirical Software EngineeringComputer Science，Software EngineeringInternational Journal of NeuropsychopharmacologyClinical NeurologyJama PsychiatryPsychiatryAmerican PsychologistPsycho

329、logy，MultidisciplinaryCurrent Opinion in NeurologyClinical Neurology（續表）86情感計算白皮書期刊名稱Web of Science 領域PainClinical NeurologyCurrent NeuropharmacologyNeurosciencesIEEE-CAA Journal of Automatica SinicaAutomation&Control SystemsSleepClinical NeurologyBody ImagePsychology，MultidisciplinaryJournal of Par

330、allel and Distributed ComputingComputer Science，Theory&MethodsAin Shams Engineering JournalEngineering，MultidisciplinaryEngineering Science and Technology-An International Journal-JestechEngineering，MultidisciplinaryCurrent Opinion in PsychologyPsychology，MultidisciplinaryCNS Neuroscience&Therapeuti

331、csNeurosciences/Pharmacology&PharmacyAnnals of Clinical and Translational NeurologyClinical Neurology/NeurosciencesBig DataComputer Science，Theory&MethodsIEEE Transactions on Mobile ComputingComputer Science，Information Systems/TelecommunicationsPsicothemaPsychology，MultidisciplinaryNeuroscientistCl

332、inical NeurologyCurrent Opinion in NeurobiologyNeurosciencesCurrent Neurology and Neuroscience ReportsClinical NeurologyTrends in Cognitive SciencesNeurosciencesIEEE Wireless CommunicationsEngineering，Electrical&ElectronicAnnual Review of PsychologyPsychologyJournal of Information TechnologyComputer

333、 Science，Information SystemsIEEE Transactions on Emerging Topics in ComputingComputer Science，Information SystemsPerspectives on Psychological SciencePsychology，MultidisciplinaryBehavior TherapyPsychology，ClinicalNature Human BehaviourNeurosciencesComputer NetworksEngineering，Electrical&ElectronicComputer Standards&InterfacesComputer Science，Software EngineeringGeneral Hospital PsychiatryPsychiatr