閭海榮-預訓練大模型與醫療.pdf

《閭海榮-預訓練大模型與醫療.pdf》由會員分享，可在線閱讀，更多相關《閭海榮-預訓練大模型與醫療.pdf（53頁珍藏版）》請在三個皮匠報告上搜索。

1、預訓練大模型與醫療：從算法研究到應用閭海榮 博士|清華大學自動化系20230525福州，CHIMA2023CHIMA 2023Page 2Tsinghua Confidential|1.預訓練大模型概述2.理解大模型的內在機理3.賦予模型精準性與可解釋性4.醫療領域應用5.清華探索：數基生命CONTENTSCHIMA 2023Page 3Tsinghua Confidential|預訓練：從大數據到小數據 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練預訓練大模型（學習共性）大數據（低成本無標注）少量特定領域標注數據（成本高）微調小模型（學習特性）1

2、.模型角度：模型參數不再是隨機初始化，而是通過一些任務（如語言模型）進行預訓練；2.數據角度：將訓練任務拆解成共性學習和特性學習兩個步驟。CHIMA 2023Page 4Tsinghua Confidential|以英文電子病歷后結構化為示例 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練ABC英文英文英文電子病歷后結構化電子病歷后結構化電子病歷后結構化不懂英文懂英文懂英文的醫生CHIMA 2023Page 5Tsinghua Confidential|Transformer架構：預訓練的基石 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖

3、析 大 模 型 關 于 預 訓 練從 word2vec 到 Transformer從 context-free 到 context-awareCHIMA 2023Page 6Tsinghua Confidential|BERT和GPT 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練 兩類典型的大語言模型 BERT：Bidirectional Encoder Representations from Transformers 雙向模型，同時考慮前文和后文 采用掩碼語言模型（masked language model）和下一句預測任務（next sent

4、ence prediction）進行預訓練，使得模型能夠學習到上下文關系和詞匯語義 通常用于文本分類、序列標注、問答等任務 GPT：Generative Pre-trained Transformer 單向模型，只考慮前文，不考慮后文 采用自回歸（autoregressive）的方式生成文本，即逐個生成下一個詞 通常用于生成文本、對話、問答等任務CHIMA 2023Page 7Tsinghua Confidential|BERT訓練 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練BERT主要采用掩碼語言模型（masked language model

5、，對應圖Mask LM）和下一句預測任務（next sentence prediction，對應圖NSP）進行預訓練，使得模型能夠學習到上下文關系和詞匯語義。預訓練好的BERT可以用于對輸入文本進行編碼，得到具有語義的向量表示。預訓練好的BERT也可以通過微調（fine-tuning）方式適配各類NLP任務：The Stanford Question Answering Dataset問答（SQuAD）、命名實體識別（NER）、MNLI任務（大規模分類任務，目標是預測第二個句子相對于第一個句子是包含，矛盾還是中立）CHIMA 2023Page 8Tsinghua Confidential|BE

6、RT表示能力 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練Represented IntoSymbolic SpaceLatent SpaceCHIMA 2023Page 9Tsinghua Confidential|BERT類模型 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練2018年10月 Google AI提出BERT模型參數量1.15 億,3.4億數據量約 16GB.2020年2月 Google AI提出的輕量化BERT模型參數量0.2億，0.61億，2.4億數據量約 16GB2019年7月 F

7、acebook AI基于BERT模型的擴展參數量1.15 億,3.4億數據量約 160GB2021年10月 Microsoft AI在BERT模型上引入解碼與注意力解耦參數量3.4億數據量約 78GB2019年8月 清華大學提出知識注入BERT模型，后由Baidu AI 更新迭代到3.0版本參數量1.15億，1.25億，100億數據量約 12GB，22.9G，4TB2020年3月 Google AI在BERT模型引入GAN參數量3.4億數據量約 16GBCHIMA 2023Page 10Tsinghua Confidential|GPT發展史 精 準 可 解 釋 醫 療 應 用 數 基 生 命

8、 剖 析 大 模 型 關 于 預 訓 練2017年6月Google提出Transformer模型解碼器部分為GPT發展奠定基礎2017年6月OpenAI提出Few-shot GPT-1模型參數量1.17 億數據量約 5GB賦予GPT預測下一個字符串能力2019年2月OpenAI提出One-shot GPT-2模型參數量15億數據量40GB增加GPT解釋翻譯能力2020年5月OpenAI提出Zero-shot GPT-3模型參數量1750億數據量40TB賦予GPT處理多任務的能力2022年1月OpenAI提出GPT-3.5模型參數量13億,60億，1750億數據量40TB賦予GPT推理能力多模態

9、生成2023年第一季度OpenAI提出GPT-4模型百萬億級別參數量CHIMA 2023Page 11Tsinghua Confidential|GPT訓練過程 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練Unsupervised Pre-trainingExpensive training on massive datasetsDatasets:300 billion tokens of textObjective:Predict the next wordExample:arobotmust?GPTUntrainedGPTCHIMA 2023P

10、age 12Tsinghua Confidential|GPT應用 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練GPT具有搜索引擎的功能2021年12月賦予GPT理解人類 指令的能力2022年2月GPT在編寫代碼上的應用2021年12月使GPT具有與人類對話的能力2022年11月CHIMA 2023Page 13Tsinghua Confidential|模型內部本質上是基于統計的文字生成器 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練通過對海量文本的學習，自動構建了一個含有1750 億參數的大模型，建

11、立了對這個世界基本的邏輯認知，由此產生了基于邏輯的推理能力實際上是根據對話中的最近 4095 個記號，算出緊接著最可能是哪個記號但，ChatGPT 模型模型負責把最近的對話內容翻譯為一張概率表ChatGPT 負責根據這張表選出下一個記號，再讓模型算再下一個記號的概率表CHIMA 2023Page 14Tsinghua Confidential|可以理解為高階的馬爾可夫鏈 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練ChatGPT根據前 4095 個記號猜下一個記號，所以是一個 4095 階的馬爾可夫鏈后續狀態按一定概率取決于過去狀態的隨機過程，被稱

12、為馬爾可夫鏈m 階馬爾可夫鏈模型可以根據前 m 個記號算出下一個記號的概率分布如果ChatGPT遇到它在訓練時從沒見過的記號串怎么辦？1 階馬爾可夫鏈3 階馬爾可夫鏈神經網絡能很好解決這個問題CHIMA 2023Page 15Tsinghua Confidential|概念：嵌入向量（embedding vector）精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練嵌入向量：在GPT里面，把一個記號作為一個 N 維浮點數向量來表示。這種用一個向量來表示一個單詞或記號的方法按神經網絡的術語就叫做嵌入一個單詞對應的向量叫這個單詞的嵌入向量把每個單詞或記號（

13、token）在 GPT 內部都會通過一層簡單的神經網絡映射層對應到一個嵌入向量，這個向量代表了記號的語言特征GPT-3 是 1600 維，GPT-3.5 2048 維CHIMA 2023Page 16Tsinghua Confidential|位置信息的引入 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練第一步：將離散的順序號轉換成一個與嵌入向量長度相同的向量，稱為位置編碼（positional encoding）第二步：將位置編碼與嵌入向量相加（即對應的元素相加），結果作為后續處理的輸入向量第三步：輸入向量會被送到多層Transformer進行后續

14、處理，每層Transformer的參數不同，但都會讓輸入先經過一個線性投影層第四步：線性投影層將輸入向量投影到另一個維度空間，剔除不重要的維度，將高維向量簡化為低維向量使用Transformer擺脫了人工標注數據集的缺陷，模型在質量上更優、更易于并行化，所需訓練時間明顯更少CHIMA 2023Page 17Tsinghua Confidential|ChatGPT待優化的部分 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練可信性可信性無法保證，還不能提供合理的證據進行可信性驗證01成本高成本高、部署困難、每次調用花費不菲，對工程能力有很高的要求，GP

15、T-3 模型的訓練成本在875萬-1093.75萬美元之間03因為數據的偏見性偏見性，很可能生成有害內容05時效性時效性差，無法實時地融入新知識，知識范圍局限于基礎大規模語言模型使用的預訓練數據時間之前02反映的是標注人員的偏好，在標注標注人員分布不均的情況下，可能會引入新的偏見偏見問題06在特定的專業領域上表現欠佳專業領域上表現欠佳，訓練數據是通用數據，沒有領域專業數據04CHIMA 2023Page 18Tsinghua Confidential|如何讓ChatGPT更靠譜 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練兩個關鍵參數：temper

16、ature 參數top_p參數ChatGPT 不是每次都選概率最大的記號CHIMA 2023Page 19Tsinghua Confidential|temperature參數 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練控制語言模型輸出的隨機性或創造性的參數temperature 參數=0，模型每次都挑最佳候選字，從不偏離temperature 參數越大，生僻的選擇變得更容易被選中openAI 試驗場（playground）限制 temperature 參數在 0 到 1 的區間t=0t=0.4t=2CHIMA 2023Page 20Tsingh

17、ua Confidential|top_p參數 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練限制 top_p 參數在 0 到 1 的區間拿到候選字的原始概率分布后，先把這些字按概率從高到低排序，按順序依次選取，選到總概率超過 top_p 值的時候即停止，剩下的候選字徹底放棄top_p=0，只保留最高頻的一個字top_p=0.5，考慮總概率占 50%的那些最高頻的字top_p=1，全部候選字都考慮top_p=0top_p=0.1top_p=1CHIMA 2023Page 21Tsinghua Confidential|大模型精確性提升思路：知識嵌入

18、精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練大模型語言本身具有很強的語言理解或生成能力，然而為了提高其敘述內容的真實性和嚴謹性，需要采用特定的技術路線，例如將知識圖譜中的事實描述融入大模型的訓練過程中。知識嵌入：Zhang等人通過將知識圖譜的表示向量加入到BERT中對應的tokens編碼內，從而使得模型學習到與知識相關的事實信息，增強了模型在相應知識領域的準確性。1相關模型在FewRel和TACRED上的表現參考：1 Zhang,Zhengyan,et al.ERNIE:Enhanced language representation with i

19、nformative entities.arXiv preprint arXiv:1905.07129(2019).CHIMA 2023Page 22Tsinghua Confidential|大模型精確性提升思路：知識預測 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練參考：1 Liu,Jiacheng,et al.Generated knowledge prompting for commonsense reasoning.arXiv preprint arXiv:2110.08387(2021)知識圖譜應用于大模型訓練后階段：Liu等人提出了知

20、識生成式大模型提示方法，讓模型進行知識預測，通過將知識圖譜的三元組形式轉化成Question and answer的形式，讓模型生成一些知識，然后將這些知識進行聚合，從而得到最終的更為精確靠譜的結果。模型在數值常識（NumerSense）、一般常識（CommonsenseQA 2.0）和科學常識（QASC）基準測試中進行實驗，得出了將外部知識融入到大模型中能夠提升其常識推理任務的精度的結論。1CHIMA 2023Page 23Tsinghua Confidential|大模型精確性提升思路：少樣本提示 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練參

21、考：1 https:/ https:/www.promptingguide.ai/zh/techniques/fewshotChatGPT作為一種生成模型，存在一些問題。其中最主要的問題是不確定性和預訓練語料庫中存在的某些局限性，這可能導致ChatGPT在回答一些問題時存在時效性、事實性以及內容不合規等情況。1少樣本提示：盡管大型語言模型展現出驚人的零樣本能力（泛化能力），但在復雜的任務中使用零樣本設置時仍然表現不佳。為了提高模型的性能，我們可以采用少樣本提示技術來啟發上下文學習。這種技術可以通過給模型提供示例演示來引導其生成更好的響應。演示作為后續示例的條件，可以有效地提高模型的準確性和可靠

22、性。2CHIMA 2023Page 24Tsinghua Confidential|大模型精確性提升思路：自我一致性 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練參考：1 https:/www.promptingguide.ai/zh/techniques/cot2 https:/www.promptingguide.ai/zh/techniques/fewshot由于ChatGPT的訓練機制主要專注于“單字接龍”，其在涉及算術和常識推理的任務中的精確性仍有待提升。自我一致性：由Wang等人提出，其核心思想是在鏈式思考的prompt1基礎上，通過采

23、樣適量的多個不同推理路徑，根據這些方案的一致性情況得出最合理的結果，從而提高模型的準確性和可靠性。2CHIMA 2023Page 25Tsinghua Confidential|大模型精確性提升思路：提示語工程 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練參考：1 Ma,Chong,et al.ImpressionGPT:An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT.arXiv preprint arXiv:2304.08448(2

24、023).2 Wang,Sheng,et al.Chatcad:Interactive computer-aided diagnosis on medical image using large language models.arXiv preprint arXiv:2302.07257(2023).通過適當的Prompt engineering，可以提升ChatGPT在相應任務上的精確性。ImpressionGPT：使用“動態prompt”來構建具有相似診斷報告的“動態上下文”環境；對生成的報告進行評估，利用評估結果來指導ChatGPT 生成增強的響應，讓ChatGPT能夠從好樣本和壞樣本

25、中學習到相關內容。1ChatCAD：設計了三種不同的Prompt，將視覺模型得到的結果通過Prompt更好的讓語言模型理解，通過ChatGPT與CAD結合，得到了診斷的性能提升。2CHIMA 2023Page 26Tsinghua Confidential|大模型可解釋性 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練機器學習模型的可解釋性 傳統模型的可解釋性思路 模型相關 模型無關 大模型的可解釋性思路 基于attention機制：大模型如BERT和ChatGPT等大都基于attention機制構建，但隨著模型參數量不斷增大，通過attention

26、機制也無法進行模型內部的解釋 Prompt Engineering思路：對話中的post-hoc（事后）可解釋性CHIMA 2023Page 27Tsinghua Confidential|傳統可解釋性思路 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練參考：1 Wang,Junlin,et al.Gradient-based analysis of NLP models is manipulable.arXiv preprint arXiv:2010.05419(2020).2 Meng,Kevin,et al.Locating and editi

27、ng factual knowledge in gpt.arXiv preprint arXiv:2202.05262(2022).2 Clark,Kevin,et al.What does bert look at?an analysis of berts attention.arXiv preprint arXiv:1906.04341(2019).4 Dai,Damai,et al.Knowledge neurons in pretrained transformers.arXiv preprint arXiv:2104.08696(2021).白箱算法的可解釋性與模型構造本身高度相關，

28、因此對于大模型可以根據相關思路設計更具有針對性的可解釋性方法。主流的模型相關可解釋性方法：基于梯度顯著性1基于因果啟發2基于注意力機制3基于神經元分析4CHIMA 2023Page 28Tsinghua Confidential|針對大模型的可解釋性思路：多層注意力機制 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練參考：1 Clark,Kevin,et al.What does bert look at?an analysis of berts attention.arXiv preprint arXiv:1906.04341(2019).BERT

29、、GPT等大預言模型的基礎框架為transformer，因此對于此類大模型的可解釋性多與transformer 模型的架構與機制有關。多層注意力機制：在Transformer模型中，通常包含大量的attention層。因此，每個attention層對于模型最終輸出的影響很難用單層的熱力圖來解釋。如果想要探究這類大型模型的可解釋性，就必須從多層注意機制入手，并深入探究多個層之間以及同一層中不同multi-head之間的關系，以及它們對最終結果的影響。1注意力中的表層模式注意力模塊的相對位置分隔符標記集中注意力與廣泛注意力注意力頭探查探查個別注意力頭探查注意力頭組合注意力聚類CHIMA 2023P

30、age 29Tsinghua Confidential|針對大模型的可解釋性思路：信息流解析 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練參考：1 Lu,K.,et al.Influence Patterns for Explaining Information Flow in BERT.(2020).信息流解析：注重模型處理過程中，過程信息流的可視化，這樣做的意義和價值在于模型的使用者能夠非常清晰的找出模型的輸出結果與哪些輸入有關，以及這些關聯機制在模型的內部是怎樣提現的。由于Transformer中注意力層的數量眾多，其黑箱特性使得信息在其中的

31、傳遞變得錯綜復雜。通過追蹤tokens在Transformer內部結構中的信息流向，能夠幫助追溯預測結果的依據來源，從而增加模型的透明度并提高其可信度。1CHIMA 2023Page 30Tsinghua Confidential|針對大模型的可解釋性思路：Prompt Engineering（ChatGPT時代）精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練參考：1 https:/www.promptingguide.ai/zh/techniques/cot通過Prompt engineering，ChatGPT能夠對相關的結果做出一定的事后解釋，

32、這樣的解釋以自然語言的形式給出，讓人更易理解。鏈式思考：Wei等人引入鏈式思考（CoT）提示通過中間推理步驟實現了復雜的推理能力，這樣的方法不僅可以提升任務結果的準確性，同時也能使得模型的推理過程一定程度上透明化，從而平衡其黑箱特性帶來的過程不可見性，增加結果的可行度。CHIMA 2023Page 31Tsinghua Confidential|針對大模型的可解釋性思路：Prompt Engineering思路 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練參考：1 Liu,Jiacheng,et al.Generated knowledge pro

33、mpting for commonsense reasoning.arXiv preprint arXiv:2110.08387(2021)背景生成知識提示：大模型精準性的板塊所講到的生成式知識大模型提示方法，實際上，這種方法類似于鏈式思考方法，它讓大模型針對一個問題生成特定的知識，并以這些知識作為其思考過程的基礎。然后將這些知識進行聚合，最終得出一個答案。這樣的過程也是一種可解釋性。通過生成式知識提示，我們可以了解大模型在推理和生成答案時所參考的具體知識，從而更好地理解其決策過程。這種方法可以幫助我們發現模型可能存在的偏見或錯誤，并進一步優化模型性能。同時，由于知識的結構化特點，它還可以為人

34、們提供更加結構化的模型解釋，增強模型的可解釋性。CHIMA 2023Page 32Tsinghua Confidential|醫療領域應用場景 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練參考：1 Qiu,Jianing,et al.Large AI Models in Health Informatics:Applications,Challenges,and the Future.arXiv preprint arXiv:2303.11568(2023).CHIMA 2023Page 33Tsinghua Confidential|ChatGP

35、T應用于自動印象生成 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練參考：1 Ma,Chong,et al.ImpressionGPT:An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT.arXiv preprint arXiv:2304.08448(2023).背景在標準的放射學報告中，印象部分是對整個報告描述的總結。自動印象生成（Automatic impression generation，AIG）成為醫學領域NLP研究的重點。挑戰：

36、對放射科醫生來說，寫下大量“印象”既費力又容易出錯。盡管最近的研究中基于預訓練和微調預訓練模型在醫學文本領域中的自動印象生成方面取得了不錯的效果，但此類模型通常需要大量的醫學文本數據并且泛化性能較差。思路：ImpressionGPT1使用動態提示（dynamic prompt）和迭代優化（iterative optimization）來增強 ChatGPT 對放射學報告摘要的適應性。ImpressionGPT技術流程圖CHIMA 2023Page 34Tsinghua Confidential|ChatGPT應用于自動印象生成 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模

37、 型 關 于 預 訓 練最近的研究表明，設計prompt以引導模型關注輸入的相關方面，可以產生更精確和一致的輸出。因此prompt engineering對自動印象生成非常重要。首先使用標簽器對報告的“發現”部分進行分類并提取疾病標簽，然后基于疾病類別，在現有的診斷報告語料庫中搜索相似的報告。使用“動態提示”來構建具有相似診斷報告的“動態上下文”環境，以便 ChatGPT 可以學習總結與當前疾病相關的診斷報告。CHIMA 2023Page 35Tsinghua Confidential|ChatGPT應用于自動印象生成 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關

38、 于 預 訓 練參考：1 Qiu,Jianing,et al.Large AI Models in Health Informatics:Applications,Challenges,and the Future.arXiv preprint arXiv:2303.11568(2023).ImpressionGPT在AIG任務的兩個經典數據集MIMIC-CXR和OpenI上取得了不少的性能提升。對生成的報告進行評估，利用評估結果來指導ChatGPT 生成增強的響應：采用“Instruction+Response”的形式，讓ChatGPT能夠從好樣本和壞樣本中學習到相關內容。CHIMA 202

39、3Page 36Tsinghua Confidential|ChatGPT應用于醫學圖像輔助診斷 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練參考：1 Wang,Sheng,et al.Chatcad:Interactive computer-aided diagnosis on medical image using large language models.arXiv preprint arXiv:2302.07257(2023).背景用于醫學圖像的計算機輔助診斷(CAD)網絡通過使用先進的深度學習算法來支持臨床決策，在醫學領域取得了重大成功

40、。大型語言模型(LLM)最近展示了在臨床應用中的潛力，其提供了寶貴的醫學知識和建議。挑戰：LLM目前難以從這些醫學圖像中解釋和提取信息，從而限制了他們全面支持臨床決策過程的能力。思路：ChatCAD1將 LLM 的醫學領域知識和邏輯推理的優勢與現有醫學圖像 CAD 模型的視覺理解能力相結合，為患者提供了一個更加用戶友好和易于理解的系統。ChatCAD技術流程圖CAD與ChatGPT結合后的交互式問答系統示例CHIMA 2023Page 37Tsinghua Confidential|ChatGPT應用于醫學圖像輔助診斷 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關

41、 于 預 訓 練使用了三種不同的prompt設計，prompt作為tensor到text的紐帶從醫學圖像得到prompt的策略：1)將檢查圖像（例如X射線）輸入經過訓練的 CAD 模型以獲得輸出2)Prompt#1 將這些輸出（通常是張量Output tensor）翻譯成自然語言（LLM的提示句）3)Prompt#2 將使用評分系統設計，將Output tensor中的分數分為四類，并用每類對應的自然語言描述五個觀察值中每一個的可能性4)Prompt#3 是一個簡潔的prompt，報告在Output tensor中診斷分數高于0.5的疾病，如果五種疾病都沒有預測，則提示“未發現”CHIMA 2

42、023Page 38Tsinghua Confidential|ChatGPT應用于醫學圖像輔助診斷 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練CHIMA 2023Page 39Tsinghua Confidential|ChatGPT應用于醫學圖像輔助診斷 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練基于視覺模型的結果和語言模型中預訓練的醫學知識，交互式ChatCAD可以進行有關癥狀、診斷和治療的對話交互式ChatCAD的兩個示例ChatCAD利用ChatGPT與三種不同的prompt設計生成的報告

43、CHIMA 2023Page 40Tsinghua Confidential|團隊目前在醫療領域的探索與工作 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練醫學影像報告中的所見-影像學報告中的印象1）構建并融合知識圖譜+LLaMa（Meta公司開源的生成式大模型）利用知識圖譜直接顯式的進行形式化拼接，引入預訓練語料，通過微調的開源大模型，得到精確性與可解釋性更好的模型。2）知識圖譜在prompt engineering中的應用方法知識圖譜的引入可以使其上下文環境更符合現有領域知識，比如用知識圖譜來構建不同疾病之間的關系。通過知識圖譜引入專家知識，在p

44、rompt前進行一定約束，可以提供更可靠、有效的prompt。大模型：參數化的知識庫知識圖譜：形式化的知識庫promptPrompt是兩類知識相互融合的橋梁知識圖譜本身具有可讀性和一定可解釋性，在大模型中引入知識圖譜使得模型的輸入更可靠CHIMA 2023Page 41Tsinghua Confidential|提出了新的模型架構：EnhancedBERT 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練1.使用密集連接的方式可以連接不同層的表示到最頂層，有助于增強BERT表示的能力。2.融合圖結構，一方面可以使大模型編碼圖結構信息，另一方面有助于提升

45、大模型建模序列中的精確語義信息。使用BookCorpus和WikiPedia訓練4層的tiny BERT和tiny EnhancedBERT，結果顯示EnhancedBERT相較于原始BERT有較大的提升。CHIMA 2023Page 42Tsinghua Confidential|醫療領域應用實踐與探索 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練參考：1 Qiu,Jianing,et al.Large AI Models in Health Informatics:Applications,Challenges,and the Future.a

46、rXiv preprint arXiv:2303.11568(2023).一些問題仍待探索1）在多機構場景中所涉及的數據隱私和安全問題2）知識圖譜（KG）在prompt design中的使用，以使其更符合現有領域知識（如不同疾病之間的關系）3）“人在回路”在prompt優化迭代的過程中的重要作用4）更豐富的數據集和基準（如包含患者主訴信息的基準數據集）5）多模態數據6）CHIMA 2023Page 43Tsinghua Confidential|清華大學數基生命交叉創新群體 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練群體顧問戴瓊海中國工程院院士李

47、衍達中國科學院院士董家鴻中國工程院院士Wing H.Wong美國科學院院士群體骨干張靜群體帶頭人張學工生物信息與機器學習專家清華大學自動化系教授國際計算生物學學會會士魏磊閭海榮謝震古槿江瑞汪小我CHIMA 2023Page 44Tsinghua Confidential|智能醫療的關鍵：信息獲取、理解與呈遞 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練科學發現生命機理科學發現未能轉化為應用臨床患者可用技術錯失的機會、浪費的資源損失的生命CHIMA 2023Page 45Tsinghua Confidential|解決思路：數基生命-醫療行業研究與產

48、業發展的新范式 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練機理模型化在數字化實體中，實現貫穿人體分子、細胞、組織、器官和系統的數學模型，讓數字實體“活起來”，模擬生老病死各種生命過程，形成人體“數字孿生”。通過模擬個體健康演化和疾病發生發展過程,推演各種因素作用,定量評估重要生命過程,提供精準的動態健康指導和疾病治療方案。通過全方位、多尺度、多模態生物醫學數據感知，把人體表征為數字化實體。應用智能化生命數字化CHIMA 2023Page 46Tsinghua Confidential|通過模型化重構應用生態 精 準 可 解 釋 醫 療 應 用 數

49、 基 生 命 剖 析 大 模 型 關 于 預 訓 練應用智能化全場景智能化精準醫健機理模型化數據-知識雙驅動構建大模型智能健康管理智能精準醫療智能公共健康數基生命實驗數基設計靶向治療數碳耦合組織工程生命機理數基重現生命數字化全方位跨尺度數據感知群體-個體-系統-器官-組織-細胞-分子宏觀-微觀共性平臺技術CHIMA 2023Page 47Tsinghua Confidential|數據-知識雙驅動的數基生命大模型 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練人體全方位定量數據感知數基生命大模型從基因、細胞到系統的數字畫像數基-碳基融合生命系統調控數

50、基智能精準醫健數基孿生推演優化醫健全場景數字化CHIMA 2023Page 48Tsinghua Confidential|臨床預訓練模型與知識圖譜 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練醫學知識圖譜百萬級醫學知識圖譜海量醫學文獻/數據積累（10TB+）多家頂級醫院合作構建權威知識圖譜語音識別/合成語言大模型+NLP智能交互機器人全自研語音技術基于GPT的語言模型高精度醫療語音識別高噪聲低采樣率語音識別預訓練語言大模型垂直場景小模型深度優化遷移學習+提示學習快速落地復雜多輪對話推理技術智能外呼機器人可視化運維醫學知識管理集結湘雅50+權威專家

51、問診路徑3000+癥狀/病史要點遵循診斷學邏輯問診數據覆蓋2000+疾病/50+科室精準關聯推薦/清晰圖文釋義，診斷學知識能力導入導診數據800+疾病管理知識庫疾病數據覆蓋84個科室1200+健康宣教知識庫55 套疾病全病程管理計劃疾病管理知識圖譜百萬級基礎知識圖譜+?？茍D譜定制，全面賦能院內外各類場景算法落地 以多項專利技術、GPT和海量數據為支撐建立面向專業醫學場景的識別模型，識別準確率高達97.5%;應用GAN網絡技術，對高噪聲低采樣率信號進行了優化，場景測試準確率領先其它廠商5%;知識譜圖與語音識別技術相結合，內嵌百萬級醫學專有名詞，支持符號、單等自定義格式輸出 利用遷移學習技術實現對

52、垂直場景術語2-3天快速訓練迭代，及時滿足各類語音識別需求 支持基于用戶真人語音快速訓練語音合成音色模型10萬小時語音訓練數據100+萬級語音專業詞匯訓練10G 專業醫療文本、文獻語料100G 日常文本訓練數據語音識別+語音合成 面向醫療文本、對話交互等場景，持續研發構建預訓練大模型基礎模型庫，為不同應用場景的NLP任務提供更堅實的支撐。通過大量實踐積累和深度優化，構建了一套面向院后疾病管理領域的高精度人機對話語義理解模型庫。利用自主專利技術的細粒度交互對比學習算法，極大提高了語義匹配的準確率，可達96.9%。融合應用神經網絡遷移學習技術和提示學習技術，解決了垂直場景下語義理解模型的快速場景遷

53、移和需求的冷啟動響應。意圖識別準確率可達95.3%。多領域預訓練大模型自然語言理解海量醫學文本海量對話文本百科知識文本情感分析文本BERT模型深度改進+知識圖譜融合機器人管理讓每個醫生都擁有一個”機器人”團隊機器人AIFuv目前平均每天為100000+名患者提供診前診后服務機器人客服 支持多輪對話復雜路徑推理 支持實時語音流識別+意圖理解，支持智能打斷，提升對話響應速度預置行業話術模版畫布式bot流程配置對話分支自定義意圖選項靈活配置深度學習語義匹配特定意圖精確識別融合策略語義理解上下文邏輯判別線路配置外呼分時設置自動重撥設置巡回糾錯功能語音識別合成對話邏輯管理智能打斷CHIMA 2023Pa

54、ge 49Tsinghua Confidential|單細胞生物信息學與人類細胞圖譜數據庫 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練細胞圖譜的統一信息框架統一的超大數據存儲與檢索系統統一的廣義坐標體系統一的層次標注體系人類集成細胞圖譜hECA百萬級細胞數目，覆蓋38個人體器官形成人類健康狀態基礎參照系數基細胞實驗新范式臨床實驗指導、藥物靶點發現、藥物療效預測、組合用藥指導*National Science Review 2021iScience 2022CHIMA 2023Page 50Tsinghua Confidential|智能應用：疾病

55、數基推演和數基藥物試驗新范式 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練 基于人體數字孿生的個性化全程智能醫健個性化預警、推薦精準定量診斷方案推演優化過程定量評估數字孿生修正院外精準指導 數基新診療技術研發 數基生命虛擬臨床實驗CHIMA 2023Page 51Tsinghua Confidential|智能應用：模型底座賦能全流程患者服務 精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練CHIMA 2023Page 52Tsinghua Confidential|智能應用：模型底座賦能數智醫院建設升級

56、精 準 可 解 釋 醫 療 應 用 數 基 生 命 剖 析 大 模 型 關 于 預 訓 練模型底座醫學知識圖譜語音識別+語音合成語言大模型+NLP人機交互+FUV機器人AI模型底座賦能數智醫院建設升級醫療機器人院內機器人、自助機、終端設備、屏幕智能化賦能。全流程就醫服務智能導診、導航、病史采集、消息推送、健康宣教。電子病歷/報告書寫門診病歷錄入、住院病歷錄入超聲報告、影像報告。臨床輔助決策臨床決策支持、輔助診斷醫學文獻。醫學信息處理病歷結構化、模型訓練。智能醫護交互指令操作、護士站語音交互屏、床頭屏交互、語音移動查房。智能客服/隨訪智能客服、咨詢、滿意度、出院隨訪、患者服務中心。慢病健康管理慢病全周期管理、患者依從性管理、智能提醒。臨床科研服務全院級科研平臺、專病庫系統、臨床研究。CHIMA 2023Page 53Tsinghua Confidential|閭海榮敬請批評指正THANKSCHIMA 2023