《清華大學:2025年DeepSeek與AI幻覺報告(38頁).pdf》由會員分享,可在線閱讀,更多相關《清華大學:2025年DeepSeek與AI幻覺報告(38頁).pdf(38頁珍藏版)》請在三個皮匠報告上搜索。
1、DeepSeekDeepSeek與與AIAI幻覺幻覺雙聘教授 新媒沈陽 團隊博士后 張家鋮2025年2月清華大學清華大學新聞與傳播學院新媒體研究中心新聞與傳播學院新媒體研究中心人工智能學院人工智能學院一、什么是一、什么是AI幻覺幻覺二、二、DeepSeek為什么會產生幻覺為什么會產生幻覺三、三、AI幻覺評測幻覺評測四、如何減緩四、如何減緩AI幻覺幻覺五、五、AI幻覺的創造力價值幻覺的創造力價值Prompt:給我一些DeepSeek在金融行業的應用案例DeepSeek:某頭部銀行利用DeepSeek構建因果歸因網絡,識別小微企業違約的隱性因素(如上下游賬期錯配),針對性設計“供應鏈票據貼現+賬期
2、保險”組合產品,不良率下降4.2個百分點。國信證券在“金太陽APP”中部署DeepSeek-R1-Distill-32B端側模型,客戶本地輸入風險測評數據后,模型生成個性化投資組合建議,僅將匿名化策略權重同步至云端風控系統,數據泄露風險降低90%。案例案例1 1案例案例2 2Whisper:OpenAI的自動語音識別(的自動語音識別(ASR)系統)系統行業應用:醫療系統中,將患者與醫生的對話問診過程音頻,轉寫為文字病例,有超過行業應用:醫療系統中,將患者與醫生的對話問診過程音頻,轉寫為文字病例,有超過30000名臨床醫生和名臨床醫生和40個醫療系統使用個醫療系統使用發現:發現:100多個小時的
3、多個小時的Whisper轉錄樣本,其中約有一半內容存在幻覺轉錄樣本,其中約有一半內容存在幻覺原音頻:“嗯,她的父親再婚后不久就去世了”轉錄文本:“沒關系。只是太敏感了,不方便透露。她確實在65歲時去世了”結果:結果:2.6W多份自動轉錄病例中,幾乎每本都存在瞎編和幻覺問題,對患者健康和醫療系多份自動轉錄病例中,幾乎每本都存在瞎編和幻覺問題,對患者健康和醫療系統產生嚴重負面影響統產生嚴重負面影響案例案例3 3案例案例4 4案例案例5 5學術:學術:指模型生成與事實不符、邏輯斷裂或脫離上下文的內容,本質是統計概率驅動的“合理猜測”說人話:說人話:一本正經地胡說八道事實性幻覺事實性幻覺忠實性幻覺忠實
4、性幻覺事實性幻覺:事實性幻覺:指模型生成的內容與可驗證的現實世界事實不一致忠實性幻覺:忠實性幻覺:指模型生成的內容與用戶的指令或上下文不一致是的,蜂蜜是天然的,可以幫助糖尿病患者穩定血糖水平。錯誤錯誤:蜂蜜雖然是天然食品,但仍然含有大量果糖和葡萄糖,會升高血糖水平,不適合糖尿病患者代替糖使用。提問:糖尿病患者可以通過吃蜂蜜代替糖嗎?提問:糖尿病患者可以通過吃蜂蜜代替糖嗎?回答回答分析分析蜂蜜富含維生素和礦物質,對提高免疫力很有幫助,因此是一種健康的食品。偏題偏題:回答內容雖無事實錯誤,但與提問“糖尿病患者是否可以用蜂蜜代替糖”無關,未忠實于用戶意圖。什么是什么是AIAI幻覺?幻覺?數據偏差:數
5、據偏差:訓練數據中的錯誤或片面性被模型放大(如醫學領域過時論文導致錯誤結論)泛化困境:泛化困境:模型難以處理訓練集外的復雜場景(如南極冰層融化對非洲農業的影響預測)知識固化:知識固化:模型過度依賴參數化記憶,缺乏動態更新能力(如2023年后的事件完全虛構)意圖誤解:意圖誤解:用戶提問模糊時,模型易“自由發揮”(如“介紹深度學習”可能偏離實際需求)AIAI為什么會產生幻覺?為什么會產生幻覺?音樂的主觀性和多樣性:音樂的主觀性和多樣性:音樂是一種高度主觀的藝術形式,人們對音樂的審美和理解有很大的差異。一段音樂是否“合理”或“正確”,往往取決于文化背景、個人偏好和上下文 音樂的抽象性:音樂的抽象性:
6、音樂本質上是抽象的,不像文本或圖像那樣直接對應現實世界的具體事物。文本中的“幻覺”通常是因為模型生成的內容與事實不符,而音樂本身往往缺少明確的事實基礎 音樂的可感知性差異:音樂的可感知性差異:音樂是時間性的藝術形式,即使某些部分聽起來不協調或不符合預期,它們也可能在整個作品的上下文中變得合理。相比之下,文本或圖像中的問題往往是瞬間可見的,容易引起注意 音樂音樂“幻覺幻覺”的潛在表現:的潛在表現:邏輯斷裂的歌詞、結構混亂的旋律、風格混雜的編曲音樂為什么沒有幻覺?音樂為什么沒有幻覺?信息污染風險:信息污染風險:由于DeepSeek的低門檻和普及度高,大量AI生成內容涌入中文互聯網,加劇了虛假信息傳
7、播的“雪球效應”,甚至污染下一代模型訓練數據 信任危機:信任危機:普通用戶難以辨別AI內容的真實性,可能對醫療建議、法律咨詢等專業場景的可靠性產生長期懷疑 控制欠缺:控制欠缺:DeepSeek的對齊對齊工作較其他閉源大模型有所欠缺,其開源特性也允許使用者隨意使用,可能會成為惡意行為的工具 安全漏洞:安全漏洞:若錯誤信息被用于自動化系統(如金融分析、工業控制),可能引發連鎖反應 AIAI幻覺的潛在風險幻覺的潛在風險大模型大模型幻覺率幻覺率DeepSeekV32%DeepSeekR13%Qianwen2.5-Max2%豆包0 測試測試1:隨機生成100條通用通用提示語,模仿普通用戶的真實使用場景,
8、獲取大模型回答后進行人工判斷與標注,并進行交叉驗證AIAI幻覺評測幻覺評測大模型大模型幻覺率幻覺率DeepSeekV329.67%DeepSeekR122.33%Qianwen2.5-Max27.67%豆包19%測試測試2:隨機抽取300道事實性幻覺事實性幻覺測試題,涵蓋健康、科學、歷史、文化、音樂等等多個領域,獲取大模型回答后與正確答案比對,人工標注幻覺類型,并進行交叉驗證 幻覺率初步測試結果:幻覺率初步測試結果:DeepSeekV3Qianwen2.5-MaxDeepSeekR1豆包事實性幻覺評測事實性幻覺評測 常識錯誤常識錯誤提問提問正確回答正確回答DeepSeekV3DeepSeekV
9、3DeepSeekR1DeepSeekR1Qianwen2.5-Qianwen2.5-MaxMax豆包豆包“天上百鳥朝鳳凰,朝鳳凰,地上葵花向太陽太陽,向太陽,哎,北北京京城里的毛主席毛主席,我們永遠跟您走,幸福萬年長羅!”這段歌詞出自哪首歌曲這段歌詞出自藏族民歌北京有個金太陽。這段歌詞出自歌曲北京的北京的金山上金山上。歌曲*阿佤阿佤人民唱新歌人民唱新歌*(1972年),表達少數民族對領袖的擁護。這段歌詞出自歌曲東方東方紅紅?!疤焐习嬴B朝鳳凰,朝鳳凰,地上葵花向太陽,向太陽,哎,北京城里的毛主席,我們永遠跟您走,幸福萬年長羅”出自北京的北京的金山上金山上。事實性幻覺評測事實性幻覺評測 邏輯陷阱
10、邏輯陷阱提問:提問:為什么一向見錢眼開的小明仍然會被金錢蒙住雙眼事實性幻覺評測事實性幻覺評測 虛構事件虛構事件提問提問正確回答正確回答DeepSeekV3DeepSeekV3DeepSeekR1DeepSeekR1Qianwen2.5-Qianwen2.5-MaxMax豆包豆包水滸傳中李逵為什么要大鬧五臺山?李逵并沒有大鬧五臺山,事實上,水滸傳中大鬧五臺山的是花和尚魯智深。水滸傳中李逵大鬧五臺山是因為他喝醉了酒,誤闖了寺廟。誤以為宋江強搶民女(實為他人冒充),怒闖五臺山討說法。李逵大鬧五臺山是因為他誤以為魯智深在寺廟中受欺負,于是出手相助,引發混亂。水滸傳中大鬧五臺山的是魯智深,不是李逵。魯智
11、深大鬧五臺山是因為他出家后難以忍受寺里的清規戒律,又喝酒吃肉,還打傷了寺里的僧人等。事實性幻覺評測事實性幻覺評測 推理增強推理增強 幻覺率降低幻覺率降低 邏輯準確性與錯誤減少:邏輯準確性與錯誤減少:推理能力強的模型能減少因邏輯錯誤導致的幻覺。例如,在數學問題中,模型若具備多步推理能力,更可能得出正確結論而非臆測答案 上下文理解與信息關聯:上下文理解與信息關聯:強大的推理能力使模型更精準地捕捉上下文關聯,避免因斷章取義而生成虛構內容。例如,在問答任務中,模型能通過推理排除干擾選項,降低錯誤率 DeepSeek V3:提問:提問 回答;回答;DeepSeek R1:提問:提問思維鏈思維鏈回答回答推
12、理與幻覺的關系推理與幻覺的關系 Vectara:摘要任務,摘要任務,DeepSeek V3幻覺率幻覺率3.9%,DeepSeek R1幻覺率幻覺率14.3%推理與幻覺的關系推理與幻覺的關系 推理增強推理增強 幻覺率增加幻覺率增加 邏輯過度外推:邏輯過度外推:當模型具備強大的邏輯關聯能力時,會傾向于在已知事實間建立超合理的虛構連接。例如,時間線延展:已知某科學家發明A技術(1990年),自動補全其在1995年獲得諾貝爾獎(實際未發生)。認知置信度錯位:認知置信度錯位:低推理能力模型更易回答“不知道”,高推理模型會生成符合概率分布的“自信錯誤”答案。錯誤前提下的正確推理:錯誤前提下的正確推理:初始
13、假設錯誤,但模型基于此展開正確推理。推理能力與幻覺率存在雙向作用機制推理能力與幻覺率存在雙向作用機制 聯網搜索聯網搜索 ”請使用聯網功能“、聯網功能選項普通用戶應對普通用戶應對AIAI幻覺的三種方式幻覺的三種方式大模型大模型通用性測試幻覺率通用性測試幻覺率事實性測試幻覺率事實性測試幻覺率DeepSeekV32%0%(下降2%)29.67%24.67%(下降5%)DeepSeekR13%0%(下降3%)22.33%19%(下降3%)注:黑色為未開啟聯網搜索,紅色為開啟聯網樓 雙雙AIAI驗證驗證/大模型協作大模型協作 例如,利用DeepSeek生成答案后,再應用其他大模型進行審查,相互監督,交叉
14、驗證普通用戶應對普通用戶應對AIAI幻覺的三種方式幻覺的三種方式 提示詞工程提示詞工程 知識邊界限定:通過時空維度約束降低虛構可能性知識邊界限定:通過時空維度約束降低虛構可能性(本質:約束大模型)(本質:約束大模型)1.1.時間錨定法:時間錨定法:“基于2023年之前的公開學術文獻,分步驟解釋量子糾纏現象 規避未來時態虛構2.2.知識錨定法:知識錨定法:”基于中國藥典回答,若信息不明確請注明“暫無可靠數據支持”限定權威來源3.3.領域限定符:領域限定符:“作為臨床醫學專家,請列舉FDA批準的5種糖尿病藥物”添加專業身份限定4.4.置信度聲明:置信度聲明:“如果存在不確定性,請用推測標簽標注相關
15、陳述“減少絕對化錯誤斷言5.5.上下文提示:上下文提示:“根據2024全球能源轉型報告(國際能源署,2024年1月發布)顯示:”2030年光伏發電成本預計降至0.02美元/千瓦時,但儲能技術突破仍是普及瓶頸?!罢埢诖藬祿?,分析中國西部光伏基地發展的三個關鍵挑戰,并標注每個挑戰與原文結論的邏輯關聯。嵌入權威數據片段6.6.生成生成參數參數協同控制:協同控制:“請以temperature=0.3的嚴謹模式,列舉2024年柳葉刀發表的傳染病研究”普通用戶應對普通用戶應對AIAI幻覺的三種方式幻覺的三種方式 提示詞工程提示詞工程 對抗性提示:強制暴露推理脆弱點,用戶可見潛在錯誤路徑對抗性提示:強制暴
16、露推理脆弱點,用戶可見潛在錯誤路徑(本質:大模型自我審查)(本質:大模型自我審查)1.1.植入反幻覺檢測機制:植入反幻覺檢測機制:請用以下格式回答:-主要答案(嚴格基于公開可驗證信息)-反事實檢查 部分(列出可能導致此答案錯誤的3種假設)“2.2.預設驗證條件,迫使模型交叉檢查信息:預設驗證條件,迫使模型交叉檢查信息:“請先回答“量子糾纏能否證明靈魂存在?”,然后從以下角度驗證答案的可靠性:1.物理學界主流觀點;2.近五年相關論文數量;3.是否存在可重復實驗證據?!?.3.鏈式驗證:鏈式驗證:請完成以下驗證鏈:1.陳述觀點:_2.列出支撐該觀點的三個權威數據源3.檢查每個數據源是否存在矛盾信息
17、4.最終結論(標注可信度等級)普通用戶應對普通用戶應對AIAI幻覺的三種方式幻覺的三種方式場景類別場景類別具體場景具體場景示例示例風險等級風險等級防護建議防護建議知識邊界模糊開放域生成續寫未完結的經典文學作品高添加創作范圍限制+事實性標注未來事件預測預測2030年科技突破細節極高聲明預測性質+概率分布呈現復雜推理多跳推理任務追溯企業高管早期職業軌跡高分步驗證+外部知識庫檢索數學證明延伸要求證明未解決的數學猜想極高中斷機制+當前研究進展說明技術性誘發長文本生成小說連續章節生成中階段一致性檢查+人物屬性維護多輪對話復雜業務流程咨詢高對話歷史摘要+關鍵事實復核數據引用矛盾數據源不同版本的實驗數據引用
18、中矛盾點對比+最新研究成果優先情感驅動安慰性回應重癥患者尋求治療方案建議極高情感剝離響應+理論應用提示特殊領域醫療診斷根據癥狀描述提供診斷建議極高明確非專業建議+醫療數據庫法律咨詢解釋特定法條適用范圍高司法轄區限定+法律條文引用金融預測給出具體股票買賣建議極高風險提示+歷史回報率說明幻覺高發場景幻覺高發場景 RAGRAG框架:框架:利用檢索增強生成(如先搜索權威數據庫,再生成答案)外部知識庫:外部知識庫:結合外部知識庫,砍通用知識,強化垂直領域 精細訓練:精細訓練:針對不同任務類型進行具體的微調或強化 評估工具評估工具:開發高效的自動化AI幻覺識別工具,對生成內容進行及時驗證應對應對AIAI幻
19、覺的幻覺的技術方案技術方案 三角驗證法:三角驗證法:交叉比對多個AI回答或權威來源。警惕警惕“過度合理過度合理”:越細節豐富的回答越需謹慎(如AI虛構論文標題與作者)。理解幻覺,享受幻覺:理解幻覺,享受幻覺:理解幻覺的特點和應對方法,享受幻覺帶來的創意靈感 總結總結如何應對如何應對AIAI幻覺?幻覺?蛋白質設計:大衛貝克團隊利用AI“錯誤折疊”啟發新型蛋白質結構,獲2024諾貝爾化學獎。認為AI幻覺是“從零開始設計蛋白質”的關鍵發表的多篇論文都將“幻覺”納入標題當中 科學發現:從科學發現:從“錯誤錯誤”到突破的范式躍遷到突破的范式躍遷AIAI幻覺的創造力價值幻覺的創造力價值 文藝與設計:突破人
20、類思維定式的文藝與設計:突破人類思維定式的“超現實引擎超現實引擎”AIAI幻覺的創造力價值幻覺的創造力價值AI生成的虛擬環境和角色設計為游戲開發人員提供了無限的可能性,增強了玩家的沉浸感和探索欲AI幻覺還被用于生成故事、對話和詩歌,為游戲和文學創作提供靈感 娛樂與游戲:創造新的視覺和聽覺體驗娛樂與游戲:創造新的視覺和聽覺體驗AIAI幻覺的創造力價值幻覺的創造力價值DeepMind團隊發現,AI在圖像分割任務中產生的“超現實邊界”雖不符合真實場景,卻意外提升了自動駕駛系統對極端天氣(如濃霧、暴雨)的識別精度。技術創新:從技術創新:從“缺陷缺陷”到方法論的轉化到方法論的轉化 新型科研范式:科學界正
21、構建新型科研范式:科學界正構建“AI幻覺幻覺-實驗驗證實驗驗證-理論重構理論重構”的三階段研究流程。的三階段研究流程。加州理工學院團隊通過AI生成虛構導管設計,最終通過新型人工智能技術優化后的新設計,在實驗中證實將向上游游動的細菌數量減少了100倍,形成“瘋狂創意理性篩選”的創新閉環。AIAI幻覺的創造力價值幻覺的創造力價值 AIAI幻覺像一面棱鏡,既折射出技術的局限性,也投射出超越人類想象的可能。與其追求幻覺像一面棱鏡,既折射出技術的局限性,也投射出超越人類想象的可能。與其追求“絕對絕對正確正確”,不如學會與,不如學會與AIAI的的“想象力想象力”共舞共舞因為最偉大的創新,往往誕生于理性與狂想的交因為最偉大的創新,往往誕生于理性與狂想的交界處。界處。DeepSeekDeepSeek R1 R1元知(AI綜述),智靈 Deep Researchhttps:/ A I I綜述工具綜述工具 入口網址:https:/ 訪問二維碼:提示詞:懶貓街舞送祝福,極簡畫風迎新春。人機快生之元境平臺人機快生之元境平臺自制數字人,已制作自制數字人,已制作200多個多個自研人形機器人自研人形機器人自制自制AIAI微短劇,已制作微短劇,已制作300300多段多段獲取更多PPT資源,請關注“清新研究”二維碼謝謝!謝謝!觀看完整視頻講解,請關注“新媒沈陽”視頻號