多模態情感識別的原理、方法與典型應用.pdf

《多模態情感識別的原理、方法與典型應用.pdf》由會員分享，可在線閱讀，更多相關《多模態情感識別的原理、方法與典型應用.pdf（90頁珍藏版）》請在三個皮匠報告上搜索。

1、多模態情感識別的原理、方法與典型應用匯報人：趙思成2023年6月YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP20242匯報提綱多模態學習-研究歷程與典型工作多模態情感識別-研究背景與基本原理課題組相關進展-綜述、單模態、多模態情感識別典型應用-輿情分析、商業智能、醫療健康、個人娛樂等未來研究方向-大模型時代的多模態情感識別等YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP20243匯報提綱多模態學習-研究歷程與典型工作多模態情感識別-研究背景與基本原理課題組相

2、關進展-綜述、單模態、多模態情感識別典型應用-輿情分析、商業智能、醫療健康、個人娛樂等未來研究方向-大模型時代的多模態情感識別等YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP20244問題定義 人類通過多種通道感知世界視、聽、觸、嗅、味 模態（Modality）事物發生或被感知的途徑 多模態（Multimodal）涉及多種模態的研究問題（異質、互通）Interacting:process affecting each modality,creating new responseYSSNLP2024YSSNLP2024YSSNL

3、P2024 YSSNLP2024YSSNLP2024YSSNLP20245問題定義 多模態（機器）學習（Multimodal(machine)learning）構建模型使其可以處理多種模態的信息以及信息間的聯系*文本、語音、視覺等研究邊界正在模糊和弱化YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP20246代表性應用 跨模態檢索 多模態情感識別A little girl sitting on a bed with a teddy bear.視覺+語言：圖像描述生成 視覺+語言：視覺問答 視覺+語言：指定視覺定位A group

4、of people sitting on a boat in the water.Multimodal Sentiment Analysis Challenge and WorkshopYSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP20247挑戰問題和研究內容 多模態學習：表征（Representation）研究多模態數據的表示方式，使其可以：（1）充分利用模態的互補性；（2）盡可能消除冗余。表示空間的相似關系應如實反映概念空間的相似性；即使部分模態的信息缺失仍然容易獲取表示；根據已知模態的信息可填充或推算缺失模態的表示。T.

5、Baltrusaitis,C.Ahuja,L.-P.Morency.Multimodal machine learning:Asurvey and taxonomy.IEEE TPAMI,2019.YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP20248挑戰問題和研究內容 多模態學習：融合（Fusion）研究如何將不同模態的信息融合在一起以獲得更準確的標簽或連續值預測。模型無關的融合 前期融合（特征級融合）后期融合（決策級融合）混合式融合T.Baltrusaitis,C.Ahuja,L.-P.Morency.Multimoda

6、l machine learning:Asurvey and taxonomy.IEEE TPAMI,2019.模型相關的融合 基于多核學習的融合 基于圖模型的融合 基于神經網絡的融合YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP20249挑戰問題和研究內容 多模態學習：對齊（Alignment）研究如何在多個模態中尋找并確定不同模態內子元素的直接對應關系。顯式對齊方法：以對齊為優化目標，核心問題是定義和計算相似性 無監督多模態對齊：以預設的序列關系或相似性作為約束條件（動態時間規整、典型相關分析）監督/弱監督多模態對齊：以全

7、部/部分子元素對作為監督信號隱式對齊方法：對齊作為下游任務的中間步驟出現 基于圖模型的多模態對齊：需手工設計子元素對齊模式 基于神經網絡的多模態對齊：一般基于注意力機制實現對齊，并為特征向量加權挑戰與機遇 很少有足夠規模的成熟數據集詳細標注了子元素對齊關系 實際上子元素的對齊關系不一定是一對一的，可能存在一對或一對多的情況T.Baltrusaitis,C.Ahuja,L.-P.Morency.Multimodal machine learning:Asurvey and taxonomy.IEEE TPAMI,2019.YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP

8、2024YSSNLP2024YSSNLP202410挑戰問題和研究內容 多模態學習：翻譯（Translation）研究如何將數據從一種模態翻譯（映射）到另一種模態?；趯嵗姆椒ǎ海?）基于檢索的方法；（2）基于檢索結果混合的方法?；谏傻姆椒ǎ海?）基于語法的生成；（2）基于編解碼生成；（3）連續生成。T.Baltrusaitis,C.Ahuja,L.-P.Morency.Multimodal machine learning:Asurvey and taxonomy.IEEE TPAMI,2019.YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSN

9、LP2024YSSNLP202411挑戰問題和研究內容 多模態學習：協同學習（Co-learning）研究如何從一個資源豐富的模態及其表示和預測模型向另一個資源匱乏的模態遷移知識。并行式協同學習：源域和目標域可直接映射 協同訓練：通過少量共存標簽學習生成更多 遷移學習非并行協同學習：不可直接映射 遷移學習 概念限定 零樣本學習混合式協同學習：存在中間模態T.Baltrusaitis,C.Ahuja,L.-P.Morency.Multimodal machine learning:Asurvey and taxonomy.IEEE TPAMI,2019.數據噪聲數據噪聲標簽缺失或不可靠標簽缺失或

10、不可靠YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP202412挑戰問題和研究內容 多模態學習：表征、對齊、推理、生成、遷移和量化L.-P.Morency,A.Zadeh,P.Liang.Foundations&Trends in Multimodal Machine Learning:Principles,Challenges,and Open Questions.ACM CSUR,2024.YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP202413挑戰問題

11、和研究內容 多模態學習：推理（Reasoning）推理：利用特定任務的問題結構，通過多個推理步驟來整合知識。結構建模涉及定義或學習推理所依賴的關系中間概念研究在推理過程中個體多模態概念的參數化推理范式學習如何從個體多模態證據中推斷出越來越抽象的概念外部知識旨在利用大規模數據庫來研究結構、概念和推理。L.-P.Morency,A.Zadeh,P.Liang.Foundations&Trends in Multimodal Machine Learning:Principles,Challenges,and Open Questions.ACM CSUR,2024.YSSNLP2024YSSNLP

12、2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP202414挑戰問題和研究內容 多模態學習：生成（Generation）學習一個生成過程，以產生反映跨模態交互、結構和連貫性的原始模態?？偨Y多模態數據以突出最引人注目的部分在保持模態連接一致性的同時，從一種模態翻譯到另一種模態生成多個模態，同時保持連貫性L.-P.Morency,A.Zadeh,P.Liang.Foundations&Trends in Multimodal Machine Learning:Principles,Challenges,and Open Questions.ACM CSUR,202

13、4.YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP202415挑戰問題和研究內容 多模態學習：遷移（Transference）在模態及其表示之間轉移知識從在輔助模態中有大量數據訓練的模型進行跨模態遷移通過共享表示進行跨模態共同學習，以便在模態之間共享信息模型誘導，保持單模態模型的獨立性，但誘導它們的行為L.-P.Morency,A.Zadeh,P.Liang.Foundations&Trends in Multimodal Machine Learning:Principles,Challenges,and Open Ques

14、tions.ACM CSUR,2024.YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP202416挑戰問題和研究內容 多模態學習：量化（Quantification）旨在對多模態模型進行更深入的經驗和理論研究，以獲得見解并提高它們在實際應用中的穩健性、可解釋性和可靠性。量化異質性的維度以及它們如何影響建模和學習量化多模態數據集和訓練模型中連接和交互的存在及類型描述在從異質數據中學習時涉及的學習和優化挑戰L.-P.Morency,A.Zadeh,P.Liang.Foundations&Trends in Multimodal M

15、achine Learning:Principles,Challenges,and Open Questions.ACM CSUR,2024.YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP202417多模態學習小結跨模態檢索多模態情感識別視覺+語言圖像描述生成視覺+語言視覺問答視覺+語言制定視覺定位多模態表征多模態對齊多模態推理多模態生成多模態遷移多模態量化YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP202418匯報提綱多模態學習-研究歷程與典型工作多模態情

16、感識別-研究背景與基本原理課題組相關進展-綜述、單模態、多模態情感識別典型應用-輿情分析、商業智能、醫療健康、個人娛樂等未來研究方向-大模型時代的多模態情感識別等YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別-教程19S.Zhao et al.Emotion Recognition from Multiple Modalities:Fundamentals and Methodologies.IEEE SPM 38(6):59-73,2021.S.Zhao et al.Affective Image Co

17、ntentAnalysis:Two Decades Review and New Perspectives.IEEE TPAMI 44(10):6729-6751,2022.YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別-研究背景人工智能的發展20計算智能計算智能感知智能感知智能認知智能認知智能能存、會算能存、會算能聽、會說能聽、會說能看、會認能看、會認能理解、會思考能理解、會思考有情感有情感表示、計算、存儲與表示、計算、存儲與人機輸入人機輸入/出等出等文本內容識別、圖像文本內容識別、圖像識別、語音識別等

18、識別、語音識別等知識數據雙驅動、認知識數據雙驅動、認知推理、決策智能等知推理、決策智能等YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別-研究背景國際前沿研究Science:125個科學問題：探索與發現人工智能之父、1969年圖靈獎獲得者Marvin Minsky：智能與情感1970年圖靈獎、1978年諾貝爾經濟學獎得主Herbert Simon21Will it be possible to create sentient robots?是否有可能創建有感知力的和有情感的機器人?How does grou

19、p intelligence emerge?群體智能是如何出現的？問題不是智能機器是否有情感，而是沒有情感的機器能否智能。解決問題論要結合情感的影響。情感的識別和表達對于信息的交流和理解是必需的，也是人類最大的心理需求之一。YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別-研究背景國際前沿研究美國工程院院士、IEEE Fellow、麻省理工學院Rosalind Picard教授美國工程院院士、ACM/AAAS Fellow、斯坦福大學李飛飛教授美國工程院院士、英國皇家工程院院士、ACM/IEEE Fello

20、w、微軟原全球執行副總裁、香港科技大學校董會主席沈向陽教授22下一步人工智能的發展，需要加強對情感、情緒的了解。情緒、情感，是人工智能未來的方向。什么是智能？我認為，智能不光是 IQ，更重要的還要有情感。情感在一系列智能活動中都起到核心作用：包括感知、決策、邏輯推理、社交、行動選擇、言語措辭。YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別-研究背景國際前沿研究-英國國家科研與創新署50項新興技術人工智能、數字和計算（8）：情緒和表情識別人工智能，開發能夠識別和解釋人類情感的人工智能技術；通用人工智能（AG

21、I），開發像人類一樣學習智力任務的人工智能；先進材料與制造（4）電子學、光子學和量子技術（8）能源與環境（8）生物技術（7）健康與醫療技術（9）機器人與空間技術（6）23YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別-研究背景國家重大需求科技創新203016個重大項目24 航空發動機及燃氣輪機 深?？臻g站 量子通信與量子計算機 腦科學與類腦研究 國家網絡空間安全 深空探測及空間飛行器在軌服務與維護系統 種業自主創新 煤炭清潔高效利用 智能電網 天地一體化信息網絡 大數據 智能制造和機器人 重點新材料研發及

22、應用 京津翼環境綜合治理 健康保障 新一代人工智能新一代人工智能發展規劃 開發面向老年人的移動社交和服務平臺、情感陪護助手，提升老年人生活質量。針對改善人際溝通障礙的需求，開發具有情感交互功能、能準確理解人的需求的智能助理產品，實現情感交流和需求滿足的良性循環。YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別-研究背景國家重大需求國家新一代人工智能標準體系建設指南25中國電子學會發布新一代人工智能領域十大最具成長性技術展望 情感智能。是指利用人工智能手段模擬表情、語氣、情感等類人化情緒響應，以打造具有情緒屬

23、性的虛擬形象的技術。該技術可賦予機器設備更好的對人類情感的識別、理解和引導能力，為用戶帶來更具效率和人性化的交互體驗，未來將在智能機器人、智能虛擬助手等領域得到更為頻繁和深入的應用。情感分析是自然語言處理領域的重點建設標注，強調了情感分析的重要性。表情識別、情感交互是人機交互領域的重點建設標準，明確了表情識別、情感交互在人機交互中的重要性。YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別-情感模態26人臉表情語音動作姿勢生理信號情感計算多模態數據-顯性情感線索人臉表情：一個或多個人臉區域/單元的孤立運動或運

24、動組合眼球運動：眼睛是心靈的窗戶語言語音：說話者通過使用不同文字、語調、聲音大小和節奏來表達他們的意圖行為：將緊握的拳頭推到空中，通常被視作表達勝利或欣喜的姿勢步態：與悲傷和滿足等低激活度情感相比，憤怒和興奮等高激活度情感與快速運動更相關腦電心電體溫脈搏YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別-情感模態情感計算多模態數據-隱形情感刺激文本音頻：與語音不同的是，音頻范圍更廣，包括任何聲音，如音樂或鳥鳴。圖像視頻：天然包含多種模態，如視覺信息、音頻和文本信息。27視頻What an exciting d

25、ay!I willnever forget it.圖像文本非受限于人臉表情、實驗室環境、采集設備、作者或采集者、合成或真實數據、視角和尺度等條件，即開放環境面臨的挑戰YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別-數據構建數據搜集從數據源甚至成熟數據集中挑選重新在特定環境中采集情感標注采集數據時預定目標情感 例如在 EMODB中，演員表演的每一句話都對應著一個預定的情感。采集數據后由專人標注 雇傭工人來標注情感，大部分數據集的標簽由多數投票規則獲得。與其他主觀屬性類似，情感標注極富挑戰28YSSNLP20

26、24YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別-情感定義29二維情感模型情緒輪模型心理學對情感沒有統一、嚴格的定義，多采用定性的分析方法。情感類別越來越多樣化和細粒度。心理學情感模型離散情感狀態：Ekman六類（高興、悲傷、恐懼、厭惡、憤怒、驚訝）連續情感空間：二維情感模型（愉悅度（Valence）和激活度（Arousal）三維情感模型YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別-情感定義30心理學情感模型 離散情感類別(CES)

27、：便于用戶理解和標注，但描述能力有限 連續情感空間(DES)：描述能力強，但不易于理解YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別-計算任務31情感分類假設一個實例屬于一種（SLL）或多種（MLL、LDL）情感類別目標是發現數據空間中的類別邊界或類別分布情感回歸是學習一個能有效地將實例與笛卡爾空間中的連續情感值聯系起來的映射函數情感檢測原始數據不一定攜帶情感，或者只有部分片段數據攜帶情感，情感檢測任務找出源數據的具體哪部分存在何種情感。情感檢索根據人類的感知來搜索情感內容YSSNLP2024YSSNLP

28、2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別-優勢數據互補性來自不同模態的線索可以相互增強或補充。例如，如果我們看到一個好朋友的帖子：”今天天氣真好！”，那么這個朋友很有可能是在表達一種積極情感；但是如果還配有一張暴風雨的圖片，我們就能推斷出這段文字實際上是一種反諷，在表達一種消極情感。32今天天氣真好！I was moved to tears.NegativePositiveWeakly PositivePositiveNegative單模態情感 多模態情感單模態情感 多模態情感Justin Sullivan/Getty Image

29、sYSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別-優勢模型魯棒性數據采集過程可能受突發因素的影響，如傳感器設備故障，造成一些數據模態無法使用，這在非實驗室場景尤其普遍。例如，在包含語音、人臉表情和手勢模態的CALLAS數據集中，某些暫時靜止的用戶會缺失手勢流。在這種情況下，學到的多模態模型仍然可以在其他可用模態的幫助下工作。性能優越性聯合考慮不同模態的互補信息能帶來更好的識別性能。與最優單模態相比，多模態情感識別平均獲得9.83%的性能提升。33S.K.Dmello and J.Kory.Areview

30、and meta-analysis of multimodal affect detection systems.ACM Computing Surveys 47(3):43:1-43:36,2015.YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別-挑戰數據缺失腦電圖傳感器可能會記錄到有噪聲的信號，甚至無法記錄到任何信號；攝像機在夜間無法捕捉到清晰的人臉表情；用戶可能會發布一條只包含圖片（沒有文字）的推文。標簽缺失與噪聲擁有大量的數據，卻只有很少甚至沒有情感標簽的問題。隨著情感需求的日益多樣化和細粒度，可

31、能某些情感類別有足夠的訓練數據，其他情感類別卻沒有（在情感類別多樣化細粒度的情況下更是如此）。一種替代人工標注的解決方案是利用社交推文的標簽或關鍵詞作為情感標簽，但這種標簽是不完整的、有噪聲的。34YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別-挑戰模態失衡不同的模態可能對誘發情感有不同程度的貢獻。如一篇在線新聞可能文字長度很長，包含很多詳細信息，但只有一兩張插圖。模態不一致更大的潛在問題是，新聞編輯可能會為情感明顯的文章選擇中性的插圖。又如人臉表情和語言很容易被抑制或隱藏以逃避檢測，但由中樞神經系統控制

32、的 EEG 信號可以反映人類無意識的身體變化。35YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別-挑戰情感鴻溝衡量所提取的特征和感知到的高級情感間的不一致性。情感鴻溝比那些客觀的多媒體分析任務存在的語義鴻溝更有挑戰性。即使語義鴻溝已經被解決，情感鴻溝可能仍然存在。例如，盛開的玫瑰和凋謝的玫瑰都包含玫瑰，但卻能喚起不同的情感；對于同一個句子，不同的語音語調可能對應完全不同的情感，如應對勸慰的“好吧”。提取具有區分性的高級特征，特別是與情感有關的特征，可以幫助彌補情感上的差距。36YSSNLP2024YSSN

33、LP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別-挑戰情感主觀性由于許多個人、環境和心理因素的影響，不同的人對同一刺激可能有不同的情感反應。即使情感相同，生理和心理變化也會有很大差異。一個直接的解決方案是為每位個體學習個性化的模型。情感復雜性情感是多樣化的細粒度的。不同情感模型具有不同情感類別。復雜情感可能包含多種基本情感。37S.Zhao et al.Toward Label-Efficient Emotion and Sentiment Analysis.Proc.IEEE 111(10):1159-1197,2023.(39 p

34、ages)YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別-挑戰38S.Zhao et al.Toward Label-Efficient Emotion and Sentiment Analysis.Proc.IEEE 111(10):1159-1197,2023.(39 pages)情感不確定性和歧義性同樣內容表達的情感可能不確定或具有歧義性，例如右圖的文本“天氣多好??！”（右圖和無圖）只使用一種情感類別無法準確表達混合的人臉表情。情感微妙性情感之間的差異可能比較小。微表情持續時間在0.065到0.5秒

35、之間，并且變化只是在幾個動作單元中且幅度很小。YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別-計算框架目標領域訓練數據充分情況下的有監督訓練表示學習：手工設計的和基于學習的特征特征融合：無模型融合（特征級、決策級、混合）和基于模型的融合（基于核的、基于神經網絡的）分類器優化：實現從特征到情感的有效映射39YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別-計算框架目標領域無標注、源域有標注情況下的跨域遷移數據級對齊、自監

36、督對齊、特征級對齊等40YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP202441匯報提綱多模態學習-研究歷程與典型工作多模態情感識別-研究背景與基本原理課題組相關進展-綜述、單模態、多模態情感識別典型應用-輿情分析、商業智能、醫療健康、個人娛樂等未來研究方向-大模型時代的多模態情感識別等YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別課題組相關進展42Exploring Principles-of-Art Features for Ima

37、ge Emotion Recognition.ACM MM,2014.Predicting Personalized Emotion Perceptions of Social Images.ACM MM,2016.Continuous Probability Distribution Prediction of Image Emotions via Multitask Shared Sparse Regression.IEEE TMM,2017.Predicting Personalized Image Emotion Perceptions in Social Networks.IEEE

38、TAFFC,2018.Attention-aware Polarity Sensitive Embedding for Affective Image Retrieval.ICCV,2019.Zero-Shot Emotion Recognition via Affective Structural Embedding.ICCV,2019.CycleEmotionGAN:Emotional Semantic Consistency Preserved CycleGAN for Adapting Image Emotions.AAAI,2019.PDANet:Polarity-consisten

39、t Deep Attention Network for Fine-grained Visual Emotion Regression.ACM MM,2019.IExpressNet:Facial Expression Recognition with Incremental Classes.ACM MM,2020.Multi-source Domain Adaptation for Visual Sentiment Classification.AAAI,2020.Discrete Probability Distribution Prediction of Image Emotions w

40、ith Shared Sparse Learning.IEEE TAFFC,2020.Curriculum CycleGAN for Textual Sentiment Domain Adaptation with Multiple Sources.WWW,2021.APSE:Attention-aware Polarity Sensitive Embedding for Emotion-based Image Retrieval.IEEE TMM,2021.Emotional Semantics-Preserved and Feature-Aligned CycleGAN for Visua

41、l Emotion Adaptation.IEEE TCYB,2022.單模態情感識別綜述研究Personalized Emotion Recognition by Personality-aware High-order Learning of Physiological Signals.ACM TOMM,2019.Emotion-Based End-to-End Matching Between Image and Music in Valence-Arousal Space.ACM MM,2020.An End-to-End Visual-Audio Attention Network

42、for Emotion Recognition in User-Generated Videos.AAAI,2020.C-GCN:Correlation based Graph Convolutional Network for Audio-video Emotion Recognition.IEEE TMM,2021.Sentiment Analysis With Image-Text Interaction Network.IEEE TMM,2023.Multimodal Emotion Classification with Multi-level Semantic Reasoning

43、Network.IEEE TMM,2023.SDRS:Sentiment-aware Disentangled Representation Shifting for Multimodal Sentiment Analysis.(under review)Multi-Source Multi-Modal Domain Adaptation.(under review)Affective Image Content Analysis:Two Decades Review and New Perspectives.IEEE TPAMI,2022.(23 pages)Emotion Recognit

44、ion from Multiple Modalities:Fundamentals and Methodologies.IEEE SPM,2021.(15 pages)Toward Label-Efficient Emotion and Sentiment Analysis.Proc.IEEE,2023.(39 pages)Unlocking the Emotional World of Visual Media:An Overview of the Science,Research,and Impact of Understanding Emotion.Proc.IEEE,2023.(51

45、pages)YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024綜述研究圖像情感內容分析43S.Zhao et al.Affective Image Content Analysis:Two Decades Review and New Perspectives.IEEE TPAMI 44(10):6729-6751,2022.(23 pages)情感鴻溝感知主觀性標簽噪聲與缺失YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024綜述研究圖像情感內容分析4

46、4發展歷程 20年歷史，27個數據集 19類特征，5種深度方法 4個任務，4類典型應用 190篇文獻，8個潛在方向S.Zhao et al.Affective Image Content Analysis:Two Decades Review and New Perspectives.IEEE TPAMI 44(10):6729-6751,2022.(23 pages)YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024綜述研究多模態情感識別45S.Zhao et al.Emotion Recognition from Mu

47、ltiple Modalities:Fundamentals and Methodologies.IEEE SPM 38(6):59-73,2021.(15 pages)計算任務 情感分類 情感回歸 情感檢測 情感檢索情感的心理學模型 離散情感狀態 連續情感空間情感的模態 顯性情感線索 隱形情感刺激數據收集與情感標注計算方法 每種模態表征學習 特征融合 分類器設計（定量比較）領域自適應主要挑戰 情感鴻溝 感知主觀性 數據不完整性 跨模態不一致性 模態失衡 標簽噪聲與缺失YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024綜述

48、研究標簽高效（有限標注）情感分析46S.Zhao et al.Toward Label-Efficient Emotion and Sentiment Analysis.Proc.IEEE 111(10):1159-1197,2023.(39 pages)YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024綜述研究視覺媒體情感解密47J.Z.Wang,S.Zhao et al.Unlocking the Emotional World of Visual Media:An Overview of the Science,Re

49、search,and Impact of UnderstandingEmotion.Proc.IEEE 111(10):1236-1286,2023.(51 pages)情感的計算原理和基礎 數據收集 數據質量保證 已有數據集 數據表征 人體運動編碼 拉班運動分析 上下文與功能目的 情感的表現寫照 文化與性別情感的心理學基礎 情感定義 情感模型 情感與行為的相互影響 結構 性格/人格 情感樣式YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024綜述研究視覺媒體情感解密48情感與其他領域的交互 情感與視覺藝術 情感與設計 情感

50、與心理健康 情感與機器人、AI智能體、自動駕駛機車、動畫與游戲 情感與信息系統 情感與工業安全 情感與教育情感社會-道德：泛化性、安全、倫理、度量標準等情感建模的技術障礙 基礎計算機視覺方法（預訓練等）基礎統計建模與學習方法 基礎AI方法 人工統計/群組差異 解耦性格、功能、情感和風格 情感空間劃分 情感識別基準情感識別：想法與系統 相關研究快速增長 誘發情感建模 人臉表情與微表情識別 身體表達情感理解 多種視覺輸入的模型集成 多模態建模 框架 代表性與最新方法 實驗結果與分析J.Z.Wang,S.Zhao et al.Unlocking the Emotional World of Visu

51、al Media:An Overview of the Science,Research,and Impact of UnderstandingEmotion.Proc.IEEE 111(10):1236-1286,2023.(51 pages)YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024單模態情感識別共性情感語義理解挑戰：語義鴻溝目的：判別性特征表達個性化感知預測與標簽分布學習挑戰：感知主觀性目的：個體化差異度量標簽高效（有限標注）機器學習挑戰：標簽缺失目的：可遷移模型學習49愉悅海邊，藍天數據YSSNLP2024

52、YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024單模態情感識別基于藝術原理特征的圖像情感識別50S.Zhao et al.Exploring Principles-of-Art Features for Image Emotion Recognition.ACM MM 2014.YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024單模態情感識別社交網絡中個性化情感感知預測51S.Zhao et al.Predicting Personalized Image Emotio

53、n Perceptions in Social Networks.IEEE TAFFC 2018.S.Zhao et al.Predicting Personalized Emotion Perceptions of Social Images.ACM MM 2016.a)原始圖像b)圖像元數據c)期望情感d)個性化情感IESN數據集：1,012,901幅圖像，7,723活躍用戶，8種情感類別，2種情感極性，連續的VAD情感值YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024單模態情感識別社交網絡中個性化情感感知預測52S

54、.Zhao et al.Predicting Personalized Image Emotion Perceptions in Social Networks.IEEE TAFFC 2018.S.Zhao et al.Predicting Personalized Emotion Perceptions of Social Images.ACM MM 2016.ShanghaiDisneyYSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024單模態情感識別基于多特征融合的圖像情感離散分布預測53S.Zhao et al.Di

55、screte Probability Distribution Prediction of Image Emotions With Shared Sparse Learning.IEEE TAFFC 2020.S.Zhao et al.Approximating Discrete Probability Distribution of Image Emotions by Multi-Modal Features Fusion.IJCAI 2017.S.Zhao et al.Learning Visual Emotion Distributions via Multi-Modal Feature

56、s Fusion.ACM MM 2017.SSL-CNNCNNRWMFSSLGTYSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024單模態情感識別基于多任務共享稀疏學習的圖像情感連續分布預測54S.Zhao et al.Continuous Probability Distribution Prediction of Image Emotions via Multitask Shared Sparse Regression.IEEE TMM 2017.c)使用特定初始化的EM算法所估計的GMMa)IESN數據集中的圖像樣例b

57、)VA空間中個性化感知的情感分布YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024單模態情感識別基于情感結構嵌入的零樣本圖像情感識別55C.Zhan,D.She,S.Zhao et al.Zero-Shot Emotion Recognition via Affective Structural Embedding.ICCV 2019.ANP特征輸入圖像情感結構嵌入ANP特征視覺嵌入語義嵌入損失函數標簽視覺特征語義特征隱含特征T-SNE特征可視化YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP20

58、24YSSNLP2024YSSNLP2024單模態情感識別基于情感語義一致循環生成式對抗網絡的圖像情感領域自適應有標注源域和無標注目標域之間存在領域漂移（domain shift）問題，在源域上訓練的模型直接遷移至目標域會導致性能急劇下降56S.Zhao et al.EmotionGAN:Unsupervised Domain Adaptation for Learning Discrete Probability Distributions of Image Emotions.ACM MM 2018.S.Zhao et al.CycleEmotionGAN:Emotional Semanti

59、c Consistency Preserved CycleGAN for Adapting Image Emotions.AAAI 2019.S.Zhao et al.Emotional Semantics-Preserved and Feature-Aligned CycleGAN for Visual Emotion Adaptation.IEEE TCYB 2022.源域：ArtPhoto數據集目標域：FI數據集目標域上準確率源域上訓練20.17目標域上訓練66.81YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024

60、單模態情感識別基于情感語義一致循環生成式對抗網絡的圖像情感領域自適應57S.Zhao et al.EmotionGAN:Unsupervised Domain Adaptation for Learning Discrete Probability Distributions of Image Emotions.ACM MM 2018.S.Zhao et al.CycleEmotionGAN:Emotional Semantic Consistency Preserved CycleGAN for Adapting Image Emotions.AAAI 2019.S.Zhao et al.E

61、motional Semantics-Preserved and Feature-Aligned CycleGAN for Visual Emotion Adaptation.IEEE TCYB 2022.(1)對稱KL散度(2)Mikels情感輪YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024單模態情感識別基于情感語義一致循環生成式對抗網絡的圖像情感領域自適應實驗結果58S.Zhao et al.EmotionGAN:Unsupervised Domain Adaptation for Learning Discret

62、e Probability Distributions of Image Emotions.ACM MM 2018.S.Zhao et al.CycleEmotionGAN:Emotional Semantic Consistency Preserved CycleGAN for Adapting Image Emotions.AAAI 2019.S.Zhao et al.Emotional Semantics-Preserved and Feature-Aligned CycleGAN for Visual Emotion Adaptation.IEEE TCYB 2022.8 種情感類別:

63、Amusement,Anger,Awe,Contentment,Disgust,Excitement,Fear,Sadness(a)ArtPhoto dataset數據集圖像(d)FI數據集圖像(b)(e)CycleGAN生成結果(c)(f)CycleEmotionGAN(the Mikels wheel)生成結果(a)(b)(c)(d)(e)(f)生成中間域圖像的可視化YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024單模態情感識別單模態情感識別的多源領域自適應59mmmtupsvsyavgSingle-best CyC

64、ADA72.498.092.476.787.485.4Source-combined CyCADA72.497.993.175.286.985.1目標域上準確率源域A遷移到目標域61.59源域B遷移到目標域61.11源域A+B遷移到目標域59.84YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024單模態情感識別多源域對抗遷移學習多源蒸餾領域自適應：充分考慮了不同源域及每個源域內不同樣本的重要性多源對抗域聚合網絡：首次進行語義分割的多源領域自適應，解決了不同自適應域緊密聚合的問題多源情感生成式對抗網絡：首次進行圖像情感分類的

65、多源領域自適應，提出了使用域專有編碼器將不同域映射到相同的隱含空間實例級多源領域自適應：解決了文本圖像情感分類領域自適應任務中標注數據的源域歸屬未知的問題60S.Zhao et al.Multi-Source Domain Adaptation for Semantic Segmentation.NeurIPS 2019.S.Zhao et al.Multi-source Distilling Domain Adaptation.AAAI 2020.C.Lin,S.Zhao#et al.Multi-source Domain Adaptation for Visual Sentiment Cl

66、assification.AAAI 2020.S.Zhao et al.Curriculum CycleGAN for Textual Sentiment Domain Adaptation with Multiple Sources.WWW 2021.S.Zhao et al.MADAN:Multi-source Adversarial Domain Aggregation Network for Domain Adaptation.IJCV 2021.YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024單模態情感識別基于

67、多源情感生成式對抗網絡的圖像情感領域自適應61C.Lin,S.Zhao#et al.Multi-source Domain Adaptation for Visual Sentiment Classification.AAAI 2020.YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024單模態情感識別基于課程循環生成式對抗網絡C-CycleGAN的文本情感多源領域自適應62S.Zhao et al.Curriculum CycleGAN for Textual Sentiment Domain Adaptation wit

68、h Multiple Sources.WWW 2021.YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別基于極性約束深度注意力建模的圖像視頻情感識別63S.Zhao et al.PDANet:Polarity-consistent Deep Attention Network for Fine-grained Visual Emotion Regression.ACM MM 2019.S.Zhao et al.An End-to-End Visual-Audio Attention Network for

69、Emotion Recognition in User-Generated Videos.AAAI 2020.高興刺激有趣敬畏害怕悲傷生氣厭惡YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別基于極性約束深度注意力建模的圖像視頻情感識別64S.Zhao et al.PDANet:Polarity-consistent Deep Attention Network for Fine-grained Visual Emotion Regression.ACM MM 2019.S.Zhao et al.An End

70、-to-End Visual-Audio Attention Network for Emotion Recognition in User-Generated Videos.AAAI 2020.FCSoftmax空間注意力FCSoftmax通道注意力FC時序注意力平均池化（空間）平均池化（時序）視覺分支平均池化（空間）FC時序注意力平均池化（時序）音頻分支FC輸入視頻視頻幀倒譜系數語義向量FC:全連接層，Conv1d:11 卷積，ReLU:修正線性單元，：表示一個矩陣和一個向量相乘極性一致的交叉熵損失YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNL

71、P2024YSSNLP2024多模態情感識別基于極性約束深度注意力建模的圖像視頻情感識別標準的交叉熵損失極性一致的交叉熵損失65S.Zhao et al.PDANet:Polarity-consistent Deep Attention Network for Fine-grained Visual Emotion Regression.ACM MM 2019.S.Zhao et al.An End-to-End Visual-Audio Attention Network for Emotion Recognition in User-Generated Videos.AAAI 2020.N

72、:訓練樣本數量，C:情感類別數量，:二值指示函數,pi,c:視頻i屬于類別c的概率g():計算兩種情感類別的極性是否一致的函數YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別基于極性約束深度注意力建模的圖像視頻情感識別在數據集VideoEmotion-8上的分類準確率以及方法屬性比較在數據集Ekman-6上的分類準確率66S.Zhao et al.PDANet:Polarity-consistent Deep Attention Network for Fine-grained Visual Emotion

73、 Regression.ACM MM 2019.S.Zhao et al.An End-to-End Visual-Audio Attention Network for Emotion Recognition in User-Generated Videos.AAAI 2020.YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別基于圖像文本交互網絡的多模態情感分析圖像存在顯著區域來誘發情感（右圖圖像中紅色邊框）這種顯著區域通常存在對應的文本描述（右圖紅色文本）文本和圖像的上下文信息影響情感67 T.Zhu,

74、L.Li,J.Yang,S.Zhao et al.Multimodal Sentiment Analysis With Image-Text Interaction Network.IEEE TMM 2023.My dog is lovely.My dog is dead.YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別基于圖像文本交互網絡的多模態情感分析68 T.Zhu,L.Li,J.Yang,S.Zhao et al.Multimodal Sentiment Analysis With Image-Te

75、xt Interaction Network.IEEE TMM 2023.YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別基于圖像文本交互網絡的多模態情感分析69 T.Zhu,L.Li,J.Yang,S.Zhao et al.Multimodal Sentiment Analysis With Image-Text Interaction Network.IEEE TMM 2023.YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模

76、態情感識別基于多層次語義推理網絡的多模態情感分類相同極性可能對應不同情感類別圖像中的對象和文本中的單詞對情感的影響很大70T.Zhu,L.Li,J.Yang,S.Zhao et al.Multimodal Emotion Classification with Multi-level Semantic Reasoning Network.IEEE TMM 2023.YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別基于多層次語義推理網絡的多模態情感分類71T.Zhu,L.Li,J.Yang,S.Zhao et

77、 al.Multimodal Emotion Classification with Multi-level Semantic Reasoning Network.IEEE TMM 2023.YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別基于多層次語義推理網絡的多模態情感分類跨模態注意力融合模塊72T.Zhu,L.Li,J.Yang,S.Zhao et al.Multimodal Emotion Classification with Multi-level Semantic Reasoning Netw

78、ork.IEEE TMM 2023.視覺對象和語境的相互作用影響情感分析。同樣語境但不同對象可能引發不同的情感。在同樣的草坪語境中，左邊的兒童傳達出愉快的情感，而右邊的墓碑則喚起悲傷的情感。視覺特征文本特征交互后文本特征交互后視覺特征互注意力最后視覺特征最后文本特征自注意力自注意力YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別基于多層次語義推理網絡的多模態情感分類73T.Zhu,L.Li,J.Yang,S.Zhao et al.Multimodal Emotion Classification with

79、Multi-level Semantic Reasoning Network.IEEE TMM 2023.YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別基于多層次語義推理網絡的多模態情感分類74T.Zhu,L.Li,J.Yang,S.Zhao et al.Multimodal Emotion Classification with Multi-level Semantic Reasoning Network.IEEE TMM 2023.YSSNLP2024YSSNLP2024YSSNLP2024 YSSN

80、LP2024YSSNLP2024YSSNLP2024多模態情感識別愉悅度激活度空間中基于情感的圖像音樂匹配75S.Zhao et al.Emotion-Based End-to-End Matching Between Image and Music in Valence-Arousal Space.ACM MM 2020.IMEMNet數據集統計IMEMNet和其他數據集的比較YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別愉悅度激活度空間中基于情感的圖像音樂匹配跨模態深度連續度量學習框架76S.Zhao

81、 et al.Emotion-Based End-to-End Matching Between Image and Music in Valence-Arousal Space.ACM MM 2020.YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別愉悅度激活度空間中基于情感的圖像音樂匹配與已有方法的比較消融性實驗77S.Zhao et al.Emotion-Based End-to-End Matching Between Image and Music in Valence-Arousal Space

82、.ACM MM 2020.YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別愉悅度激活度空間中基于情感的圖像音樂匹配78S.Zhao et al.Emotion-Based End-to-End Matching Between Image and Music in Valence-Arousal Space.ACM MM 2020.YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP202479匯報提綱多模態學習-研究歷程與典型工作多模態情感識別

83、-研究背景與基本原理課題組相關進展-綜述、單模態、多模態情感識別典型應用-輿情分析、商業智能、醫療健康、個人娛樂等未來研究方向-大模型時代的多模態情感識別等YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024典型應用觀點挖掘和輿情分析許多人傾向于在社交網絡上發布文字、圖片和視頻來表達他們日常生活中的感受。受此啟發，我們可以挖掘人們對現實中的話題和事件的觀點和情感。例如，可以用 Facebook 或 Instagram 中用戶發布的內容來推測不同國家和地區的人們在面對 COVID-19 等流行病時的態度。研究人員還試圖檢測社交

84、網絡中的情感，將結果用于政治選舉的預測。值得注意的是，我們可以進一步將檢測到個體的個性化情感分組，這或許有助于預測社會的傾向。80YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024典型應用商業智能市場營銷和消費者行為分析：現在大多數服裝電子零售商使用人體模型（或模特）來展示產品。模特的表情和形體姿態對消費者行為有顯著影響。研究人員還基于刺激-機體-反應框架研究了在線商店的專業化如何影響消費者的愉悅和喚醒程度。情感識別也可以用于客服中心，目的是檢測呼叫者和接線員的情緒狀態。該系統通過語調、節奏、相應對話轉換所得的文本來識別涉

85、及到的情感，進而可以得到關于服務質量的反饋。81YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024典型應用醫療健康如果觀察到某用戶持續地分享負面信息（如悲傷），就有必要跟蹤她/他的精神狀態，以防止心理疾病甚至自殺行為的發生。用來監測和預測各類人的疲勞狀態，如司機、飛行員、裝配線上的工人和教室里的學生。這種技術既能防止危險情況的發生，又有利于工作/學習效率的評估。情感狀態還可以被納入各種安全應用中，如作為公共場所（如公共汽車/火車/地鐵站、足球場）潛在攻擊行為的監測系統。輔助兒童自閉癥譜系障礙(ASD)的診斷和治療，對被認為

86、是早期篩查自閉癥重要指標的人臉表情和視線特征進行分析。82YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024典型應用個人娛樂最近一項腦電波-音樂界面的工作將腦電圖特征映射到音樂結構(音符、強度和音高)。同樣，人們也在努力了解不同模態間以情感為中心的關聯，這對各種應用是至關重要的。情感圖像-音樂匹配提供了一個很好的機會，它將一系列音樂附加到一幅可能喚起相同情感的圖像上。這有助于從移動設備上的個人相冊中生成能感知情感的音樂播放列表。83YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNL

87、P2024YSSNLP202484匯報提綱多模態學習-研究歷程與典型工作多模態情感識別-研究背景與基本原理課題組相關進展-綜述、單模態、多模態情感識別典型應用-輿情分析、商業智能、醫療健康、個人娛樂等未來研究方向-大模型時代的多模態情感識別等YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024未來研究方向85新的方法論上下文和先驗知識建模上下文信息，如會話和社會環境，會明顯影響用戶的情感體驗。用戶的先驗知識，如個性和年齡，也與情感感知相關。從未標記的、不可靠的、不匹配的情感信號中學習探索先進的機器學習技術，如無監督表示學習、

88、動態數據選擇和平衡、領域自適應、嵌入情感的特殊屬性可解釋的、魯棒的、安全的深度學習顯性和隱性信號的結合YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024未來研究方向86更實用的設置自然場景多模態情感識別邊緣設備部署多模態情感識別算法群組情感識別多模態情感生成其他實際問題將多模態情感識別算法部署于真實場景中，產生社會與經濟效益可穿戴的、簡單的、準確的情感數據收集安全性、隱私性、倫理性和公平性YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024未來研究方向8

89、7大模型時代的多模態情感識別Z.Lian,L.Sun,H.Sun,K.Chen,Z.Wen,H.Gu,S.Chen,B.Liu,J.Tao.GPT-4V with emotion:A zero-shot benchmark for Generalized EmotionRecognition.Information Fusion,2024.YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024多模態情感識別小結88多模態固有挑戰情感帶來新挑戰情感模型情感模型、數據采集數據采集、情感標注情感標注、計算任務與框架計算任務與框架、表

90、征表征融合與學習融合與學習實用設置挑挑戰戰方方法法應應用用方方向向新方法論新方法論實際問題輿情商業健康娛樂綜述研究、單模態情感識別、多模態情感識別綜述研究、單模態情感識別、多模態情感識別數據缺失數據缺失、標簽缺失和標簽缺失和噪聲噪聲、模態失衡模態失衡、模態模態沖突沖突情感鴻溝情感鴻溝、情感主觀性情感主觀性、情感復雜性情感復雜性、情感模糊情感模糊性性、情感微妙性情感微妙性YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024推薦材料89情感計算綜述?？疘EEE Signal Processing Magazine38(6),20

91、21Proceedings of the IEEE111(10),2023情感計算相關學會專委會AAAC情感計算促進協會CIPSC:情感計算專委會CAAI:情感智能專委會CSIG:情感計算與理解專委會情感計算國際期刊會議IEEE Trans.Affective ComputingAffective Computing and IntelligentInteraction(ACII)情感計算國內會議中國情感計算大會，2024.7，南昌CSIG情感智能大會，2024.11，南京YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024謝謝謝謝姚鴻勛姚鴻勛哈工大哈工大高躍高躍清華清華丁貴廣丁貴廣清華清華Kurt Keutzer伯克利伯克利楊巨峰楊巨峰南開南開Tat-Seng Chua新加坡國立新加坡國立李雷達李雷達西電西電B.Schuller帝國理工帝國理工許鵬飛許鵬飛滴滴滴滴郭江郭江麻省理工麻省理工岳翔宇岳翔宇伯克利伯克利林闖林闖哈工大哈工大姚星旭姚星旭南開南開展翅展翅南開南開郵箱：YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024