達摩院：醫療智能實踐與探索(39頁).pdf

1、醫療智能實踐與探索 阿里云智能阿里云智能- -達摩院達摩院- -人工智能人工智能中心，遲穎中心，遲穎 2019.082019.08 知識爆炸，挑戰認知能力與專業能力 現有醫學文獻2400萬篇 年均新增766500篇 資源短缺，且短期內不可能補齊 *數據來源：衛生統計年鑒及國家衛計委行業標準 人員數量及質量問題，導致醫療質量 不可控 誤診人數5700萬/年 缺人、限價、低效使絕大部分醫院處 于虧損狀態 醫生配置標準 與需求與實際 醫生數量差距 醫療健康行業現狀與痛點 醫瞳 自動檢測病灶結節 并進行良惡性診斷 器官自動分割 嚴重程度分級 多病種聯合篩查 預見 尋微 自動搜索推薦歷史病例及影像資料

2、快速檢索、結果融合與排序 分析報告生成 醫療智能產品概述 機器輔助標注 機器智能知識圖譜 Backward model Parallel corpusParallel corpus Monolingual Corpus Source side Target side Training Synthetic Corpus Generation Forward model Test dataResult Training 機器翻譯模型 醫療健康智能產品 1 視覺引擎 多器官診斷、小樣本訓練、高精度、自動標注 3 搜索引擎 醫學特征提取、多模態檢索、醫療輔助 2 知識引擎 醫療翻譯、信息抽取、圖譜建模

3、 視覺引擎 視覺引擎平臺 產品介紹 以AI技術為基礎，結合醫療 影像、病理信息、結構化病歷等 多維醫療數據，輸出輔助診斷信 息，幫助醫生快速高效的對患者 病情進行診斷和安排治療方案。 多器官多病種支持 多模態數據聯合篩查 支持對肺、肝、骨科、心臟等多器官的輔助診 療，同時對單一器官病灶可以同時實現多種不同 疾病的診療判斷。 對病灶的檢測結果，會返回多維診斷信息，包 括病灶的精確分割、病灶大小、良惡性判斷、 病灶跟蹤等。 實現醫療影像、病理信息、患者病歷等多維數 據的聯合診斷，輸出更加精準的診斷結果，提 升整體診療水平。 多維診療信息輸出 診斷報告自動生成 肺癌在所有惡性腫瘤發病急死亡中均占首位

4、，我國每年約59.1萬人死于肺癌。肺癌生存率與首次 確診時的疾病階段高度相關。因此，對癌癥的早期檢測和早期診斷就顯得尤為重要。 肺部疾病檢測引擎可以自動、快速、準確的從病人的胸部CT掃描序列中發現疑似病灶位置，降 低肺癌早期篩查的成本，提高檢測速度和檢測的準確率，緩解醫療資源的緊張，挽救更多患者的生 命。 結節及多種疾病檢測肺部區域分割 肺部疾病檢測引擎簡介 ? ? ?.-?*?i? ?-?以?%D4;b&. ?o? ? ? ?i? ?&%m?以 ?a? 肺結節 區域分割 肺葉分割 肺結節檢出 結節屬性分析 結節輪廓分割 診斷報告自動生成 肺部綜合 肺部綜合疾病篩查一期 已經落地，后續正在計

5、劃中 肺部疾病檢測引擎功能 產品功能 產品案例與價值-肺結節及肺部綜合 與阿里健康、萬里云等平臺合作，面向客戶 輸出肺結節及肺部綜合的輔助診斷能力。累計產 生近千萬次調用，幫助醫院、藥企、體檢機 構、影像中心、基因公司和高校等帶來商業與社 會價值。 基于AI技術實現全自動肝臟、肝臟血管系統與肝結節的分割，同時在增強CT下實現肝結節良惡性 的自動識別，為醫生提供強大的術前模擬規劃及術后的量化評估功能，并為早期肝癌診斷提供可能。 可以覆蓋多種使用場景，如精準肝切除規劃，血管與腫瘤安全邊界的分析，肝臟移植術前術后評 估，肝臟周圍相關器官及管道的量化分析。 肝臟結構3D可視化 肝臟模塊簡介 肝臟及肝結

6、節分割多模態肝臟配準肝血管的提取 小樣本學習 降低血管標注人力成本與標 注難度，提升標注效率，算 法論文已提交MICCAI2019 多模態配準 高效的肝臟多模態影像配準， 為手術導航、術后評估提供精 準分析 高效輔助 標注工具 取代純手工標注，縮短標注周 期，提升標注質量，其使用的 算法獲得LiTS Challenge三項 指標第一。 肝臟模塊特點 Straightened CPR完整的冠脈樹斑塊識別 小樣本學習 探索小樣本訓練AI模型，算法在鹿特 丹國際評測標準，Challenge 2中排第 一名，論文已經提交MICCAI2019 全自動算法 為了進一步降低醫生交互的工作 量，全自動的冠脈樹

7、提取算法在 臨床數據中驗證了優越性和魯棒 性 智能標注系統 每根血管只需一個任意的點，就可以 自動搜索出完整的血管，大大降低了 標注成本。系統還支持分段、命名、 斑塊等標注（請見下頁）。 心血管疾病診斷 心臟冠脈智能標注系統 o每根血管只需一個任 意的點，就可以自動 搜索出完整的血管， 大大降低了標注成 本。系統還支持分 段、命名、斑塊等標 注 深入場景，完 整解決方案 精細化診療 解決痛點 經過實際 場景驗證 多家國內外醫院合作，落地醫 聯體和銀川國家醫院 完整的智能骨科方案，覆蓋膝關節、脊 椎和膝關節，覆蓋多病種 覆蓋定位、分割和測量核心技術，輔助 評估致病因素和確定診療方案。正在撰 寫期

8、刊 智能骨科引擎 智能骨科一脊柱研究 脊柱結構抽取 脊柱中椎體和椎間盤的高精度分割和測量 輔助診斷 細粒度區分退變性疾病，靈敏度和特異性大于90% 脊柱 椎體 正常 退行性 改變 椎間盤 正常病變 膨出 彌散性 膨出 非對稱 性膨出 疝出 突出脫出游離 椎體內 疝出 智能骨科一脊柱研究 沉淀數據，挖掘數據價值，數據驅動科研，賦能伙伴 ? 沉淀和有效管理 罕見和典型病 例，為醫生提供 科研數據庫 ? 部分病種診斷標 注不清晰，數據 定量分析推動標 準完善 ? 海量數據分析， 統計多發部位， 挖掘病種相關性 ? 術前測量 全自動特征點位置、角度和長度的測量 產品案例與價值-骨科 與唯醫骨科聯合打造

9、唯醫骨科西北中心 骨科智能分診及診斷系統 病理影像分析（肝, 胃, 乳腺, 前列腺等） 0. 1.3 2.5 3.8 5. 類別 1類別 2類別 3類別 4 全自動影像分析: 位置，半徑，周長，面積，形狀，多少 等 參數 精準的量化分析更高效、精準的檢測和 學習 基因、蛋白、和藥品研發的關系 基因和蛋白的研究 一個經典的基因轉錄和蛋白合成的動畫教材片 自動肺和肝標注自動心血管標注 業界領先的全自動的冠脈提取 算法，冠脈樹一點即成，血管 標注簡單易見 自動脊柱標注 自主研發的高精度脊柱分割算 法，分段分割同步完成，脊柱 標注不再繁瑣 內嵌國際領先的肺，肝分割算 法，自動生成器官的預分割， 輔助標

10、注更準確高效 醫療智能標注 基于阿里云系列產品的云端標 注系統，跨平臺，易部署，隨 時隨地放心使用 支持CT、MRI，X-rayPET等多模 態、多序列醫學影像，快速三維重 建功能讓數據完整呈現 跨平臺云端標注支持豐富的數據種類靈活多樣的標注類型 不同類別標簽同時標注，靈 活的自定義標簽滿足多種標 注場景 影像上傳數據存儲數據管理 醫療智能標注的特點 智能用戶交互 通過簡單的點擊，用戶就可快速修改分割 結果，生成臨床可用的高精度模型 算法自動將用戶的二維初始標注生成到 三維數據中，極大的簡化了費時費力三 維標注 高效三維標注 醫療智能標注的特點 醫療健康智能產品 1 視覺引擎 多器官診斷、小樣

11、本訓練、高精度、自動標注 3 搜索引擎 醫學特征提取、多模態檢索、醫療輔助 2 知識引擎 醫療翻譯、信息抽取、圖譜建模 知識引擎 藥物不良反應翻譯基于醫學知識圖譜的智能問答 醫療機器翻譯 醫療行業內存在大量的翻譯需 求，專注解決醫療行業內部的中 英文翻譯需求。有效降低客戶在 大量翻譯需求上的開支。 醫學相關知識圖譜 借助于龐大的醫學知識庫，大幅 度降低行業從業人員的知識獲取 難度。同時，審方，實驗室數據 分析，CDSS等需求得以自動化完 成。 疾病預測 自動分析emr/ehr數據，影像檢 查報告等文本數據，從中提取出 相關信息，預測疾病發生及病程 發展進程。 基于結構化量表數據的預測模型 知識

12、引擎 藥物不良反應翻譯 應用場景 醫療行業內存在大量的翻譯需 求，如藥物不良反應，新藥注冊 等。專注解決醫療行業內部的中 英文翻譯需求，有效降低客戶在 大量翻譯需求上的開支，提高效 率 醫學機器翻譯 基于文本和文件，支持自定 義字典和人工審核。藥物 ADR翻譯，醫學報告、文獻 翻譯。醫療行業大會實時機 器翻譯及電子病歷錄入 基于自注意力機制（self- attention）的Transformer模型來實 現源語言句子到目標語言句子的轉換 編碼器和解碼器內部結構 系統模型結構圖 模型架構實踐案例 與阿斯利康深度合作 醫學機器翻譯 國外文獻、醫療案例多為英文文檔，需要花費較長 時間進行人工翻譯；

13、 人工智能和大數據等技術發展飛快，特別是機器翻 譯的技術，基本具有企業實際應用的可能性； 利用AI機器翻譯的手段處理專業英文文本是醫療行 業的重要需求； 有效降低客戶在大量翻譯需求上的開支。 實現高質量的醫療領域 中英雙向機器翻譯系統 醫學機器翻譯 并行化處理，使得翻譯效率大幅提升。 文件解析能力，適應用戶不同文件格式輸入。 豐富的醫學術語庫，更好的識別醫學術語。私域化部署，保證客戶的數據安全。1 4 3 2 基于醫學知識圖譜的智能問答 應用場景 借助于龐大的醫學知識庫，大幅 度降低行業從業人員的知識獲取 難度。同時，審方，實驗室數據 分析，CDSS等需求得以自動化完 成。 知識圖譜 實踐案例

14、 基于卵巢癌知識圖譜+天貓精靈的智能患教 知識圖譜構建 采用最新的信息抽取信息抽取技術，將疾病相關的知識從 各種信息源中提取出來。其信息源包括行業最新 論文，互聯網知識等。 抽取得到的信息會又醫學部的同事做審核審核，審核 通過的數據會進行入庫。采用最新的圖數據庫進 行數據的存儲和可視化數據的存儲和可視化。如右圖所示。 當獲取到用戶語音輸入用戶語音輸入之后，得到用戶的意圖， 進而根據問題在圖數據庫內進行檢索檢索，最終根據 庫內所存儲的信息通過語音合成語音合成的方式反饋給用 戶。 機器輔助標注 機器智能知識圖譜 利用深度學習預測哮喘的嚴重等級 應用場景 在醫療數據的基礎上，利用深度學習預測疾病 的

15、嚴重等級及病程發展，如哮喘，慢阻肺等。 疾病預測 實踐探索 基于深度學習的哮喘篩查診療一體化方案 優化哮喘等呼吸門診診斷過程中涉及到的肺功能儀的診斷效率及用 戶體驗 疾病預測-AI輔助心肌缺血預測診斷 左圖：ML鑒別心肌缺血患者，與使用ML選擇特征的logistic 回歸和使用ESC CAD管理指南中變量的logistic回歸對比 右圖：MACE風險預測，ML選擇特征的logistic回歸和使用 指南中的評分風險模型變量的logistic回歸對比 潛在心肌缺血或有MACE風 險 醫生AI 經驗 +Guidelines ML、DL 優點 無法捕捉多種 預測因子間的 復雜交互關系 具有解釋數據 中

16、復雜模式的 能力 存在的問題 醫療健康智能產品 1 視覺引擎 多器官診斷、小樣本訓練、高精度、自動標注、 3 搜索引擎 醫學特征提取、多模態檢索、醫療輔助 2 知識引擎 醫療翻譯、信息抽取、圖譜建模 搜索引擎 自動醫學特征提取多模態數據互相檢索臨床科研助力器 發覺復雜數據背后的臨床規律， 豐富的統計功能讓臨床科研更 加高效 基于內容的檢索，以圖搜圖， 以文搜圖，以圖搜文，讓數據 會說話 數據驅動的特征提取，快速處 理海量數據，貼合臨床的精排 規則打造專業的醫學特征庫 醫療搜索平臺 醫療搜索平臺-Demo 華先勝 高級研究員 城市大腦實驗室主任 視覺AI國際權威學者 ? IEEE Fellow

17、? 達摩院人工智能中心負責人 ? ACM 杰出科學家 ? 國家千人計劃特聘專家 ? 全球MIT TR35獲得者 ? 將擔任ACM Multimedia 2020 大會主席 張磊 高級研究員 視覺AI國際權威學者 ? IEEE Fellow ? 香港理工大學講席教授 ? 論文引用次數超過3萬9千次 ? H-index 96 ? IEEE TIP等多份權威期刊的編委/高級編委 團隊情況 在CVPR、ACMMM等 多個頂會上發表數十篇 論文，另有大量專利及 軟著 團隊影響力 團隊在多項世 界大賽中拔得 頭籌 Luna16比賽 世界第一 LiTS 比賽五項 世界第一 Kitti行 人、車輛 檢測世界 第一 謝謝觀看！