同濟大學-人工智能和機器人技術在醫療上的應用.pdf

《同濟大學-人工智能和機器人技術在醫療上的應用.pdf》由會員分享，可在線閱讀，更多相關《同濟大學-人工智能和機器人技術在醫療上的應用.pdf（38頁珍藏版）》請在三個皮匠報告上搜索。

1、人工智能和機器人技術在醫療上的應用報告人：齊 鵬同濟大學 電子與信息工程學院中國心血管醫生創新俱樂部慕尼黑上海電子展 醫院自動化醫院自動化 手術機器人手術機器人 康復及輔助機器人康復及輔助機器人基于目標檢測的血管狹窄病變檢測研究背景醫療機器人的分類慕尼黑上海電子展達芬奇腹腔鏡機器人Mako骨科機器人Monarch肺部活檢Flex經胸腔、耳鼻喉CMR腹腔鏡機器人JHU眼科手術機器人腹腔鏡手術骨科手術肺部支氣管活檢耳鼻喉科手術視網膜眼科手術基于目標檢測的血管狹窄病變檢測研究背景手術機器人的蓬勃發展慕尼黑上海電子展手術發展趨勢：微創化微創化手術創傷減小出血量減少患者痛苦減輕住院時間減少手術器械發展趨

2、勢：微型化、柔性化、集成化微型化、柔性化、集成化開腹手術單孔手術自然腔道手術多孔微創手術&自然腔道手術工具傳統工具單孔手術工具多孔微創手術工具&尺寸減小剛性變柔性剛性變柔性功能集成基于目標檢測的血管狹窄病變檢測研究背景手術機器人的臨床需求牽引慕尼黑上海電子展基于目標檢測的血管狹窄病變檢測研究背景全球和中國手術機器人發展簡史*本頁內容由西門子醫療（上海）提供，僅做學術交流慕尼黑上海電子展Yang et al.,Medical roboticsRegulatory,ethical,and legal considerations for increasing levels of autonomy,

3、Science Robotics,vol.2,2017.基于目標檢測的血管狹窄病變檢測研究背景醫療機器人的自主性分級慕尼黑上海電子展0 0級：沒有自動化級：沒有自動化。這種醫療機器人包括能響應并遵循使用者指令的遠程操作機器人或假肢器械。帶有動作縮放的手術機器人也屬于這一分類，因為動作輸出代表著外科醫生的意愿操縱。代表：比如目前全球最成功應用最為廣泛的手術機器人達芬奇手術機器人也僅僅是0級自動化程度?；谀繕藱z測的血管狹窄病變檢測研究背景醫療機器人的自主性0級慕尼黑上海電子展達芬奇手術機器人系統達芬奇手術機器人系統統計數據顯示統計數據顯示截至截至2018年年9月月30日日全球裝機量4814臺美國

4、3110臺歐洲821臺亞洲629臺中國89臺治療患者總數超過500萬例 達芬奇手術機器人主要由3個部分組成：外科醫生控制臺、床旁機械臂系統、成像系統?？商峁┣逦糯蟮?D視野，有效手術視野范圍大，并具有熒光顯影技術，畫質的改善有助于提高手術質量和保障患者安全。機器人操作臂較人手小，具有7個自由度且可轉腕的手術器械，可過濾直接操作時的手部顫動，在狹窄腔體內的操作更加靈活、精準，操控范圍大，改進了腔鏡下的縫合技術。操作者可以坐著完成手術，不易疲勞，完成時間長、高難度的復雜手術更加輕松?？晒澥鹘y腹腔鏡手術或開腹手術因暴露視野需要的23名助手?；谀繕藱z測的血管狹窄病變檢測研究背景達芬奇手術機器人慕

5、尼黑上海電子展基于目標檢測的血管狹窄病變檢測研究背景達芬奇手術機器人*本頁內容由西門子醫療（上海）提供，僅做學術交流慕尼黑上海電子展 1 1級：機器人輔助級：機器人輔助。在任務操作過程中，由人連續控制系統，同時機器人可提供一些機械導引或者輔助機械導引或者輔助。(mechanical guidance or assistance)具有虛擬夾具（或主動約束）的手術機器人和帶有平衡控制功能的下肢設備。Stryker公司的MAKO交互式骨科機器人正屬于這一等級。2 2級：任務自主化級：任務自主化。初始化還是由人控制設計，機器人在特定的任務中完成自動操作。這與1級的區別在于操作者是斷續而不是持續控制系統

6、。舉例：手術縫合中外科醫生指出要縫合的位置，機器人自動進行縫合，同時醫生監管和必要時可進行干預。美國約翰霍普金斯大學和美國國立兒童醫院聯合開發了一種監督式的自主軟組織手術機器人，屬于該等級?；谀繕藱z測的血管狹窄病變檢測研究背景醫療機器人的自主性分級慕尼黑上海電子展1.組織穿刺2.縫合針抓取3.縫合針抽取4.雙臂遞針自主化創口吻合技術研究思路縫合任務過程拆解縫合針抓取姿態與雙臂協同運動規劃縫合任務模擬與雙臂遞針測試縫合針姿態的實時估計針抓取點的在線計算精準化的姿態對齊雙臂末端相對位置控制關鍵性問題：縫合穿刺軌跡生成魯棒式的縫合針抓取可靠的縫合針遞針實現效果：臨床醫學機器人學控制科學基于目標檢測

7、的血管狹窄病變檢測研究背景醫療機器人的自主性2級-視覺引導下自主創口縫合技術慕尼黑上海電子展 3 3級：有條件下的自主化級：有條件下的自主化。機器人系統可以生成任務策略，但依賴于人從中挑選策略或者批準系統自動挑選的策略。這類機器人無需人的過多干預而能完成任務。一個主動下肢假體設備能感受到穿戴者的意圖，從而來移動并自動調整，而不需要其他直接來自穿戴者的注意。4 4級：高度自主化級：高度自主化。機器人在合格醫生的監督下可以做出醫療決策。手術中，這類機器人就類似機器人住院醫生，在主治醫生的指導下進行外科手術。日本筑波大學Cybernics實驗室研制的HAL外骨骼機器人基于目標檢測的血管狹窄病變檢測研

8、究背景醫療機器人的自主性分級慕尼黑上海電子展5 5級：完全自主化（不需要人類）級：完全自主化（不需要人類）。即所謂的機器人手術醫生，機器人完成整個手術。一個普通醫生可以完成的所有手術過程都可以由這個系統完成。不過，目前這一水平機器人只存在于科幻中目前這一水平機器人只存在于科幻中?；谀繕藱z測的血管狹窄病變檢測研究背景醫療機器人的自主性分級慕尼黑上海電子展多自由多靈巧連續體機器人開發多自由度靈巧操作多自由度靈巧操作器械，通過主從控制模式驅動，以提供有效的智能硬件智能硬件輔助;集成多模態感知技術實現多模態影像數據融合多模態影像數據融合，同步重建血管和導管形態模型，以輔助醫生進行手術；智能控制系統研

9、究結合連續體機器人建模的復建模的復雜性雜性特征，通過力/位置控制，探索機器人自主控制自主控制操作模式；Force-curvature modelFext(L)M(L)Curvature-strain model(Ls)J-1C M(0)Fext M(L)u(Ls)(0)+-+-M(0)l 突破技術瓶頸：突破技術瓶頸：(1)導絲在血管中的傳送過程以及病灶處的診治操作上都需要醫生在醫生在眼手不能直接配合的模式眼手不能直接配合的模式下進行；(2)介入器械前端的作用力通常不能被直接獲取，經驗豐富的醫生具備憑借“手感”的操作技巧憑借“手感”的操作技巧。技術創新應用研究臨床需求yxh2rlrahthrxy

10、FBGAxialtensionTorsionNeutral Axisl(a)(b)FBGrs ux uy uxy 心血管介入手術心血管介入手術對器械物理尺度物理尺度提出更高要求（微型化）血管系統一般直徑在直徑在2 2-6 6mmmm，CTO導絲直徑在0.35mm0.35mm左右；專家醫生憑借“手感手感”進行導絲操作；基于目標檢測的血管狹窄病變檢測研究案例冠脈介入手術機器人慕尼黑上海電子展慕尼黑上海電子展核心技術基于自編碼注意力的血管分割技術看 得 清語義分割準確率（基于MIoU)：94.6%(領域內最高醫學分割算法)97.8%(得心應手)數字減影血管造影 冠脈診療臨床”金標準“；準確獲取血管平

11、面分布；圖像降噪與語義分割 隱藏噪聲與周圍組織等干擾；基于深度殘差網絡的特征提??；自編碼注意力機制 準確獲取血管平面分布；提高模型泛化性、魯棒性；醫生的眼睛重點顯示醫生關心的血管輪廓;為病灶識別、路徑規劃提供參考。慕尼黑上海電子展2.3 核心技術2基于目標檢測的血管狹窄病變檢測血管狹窄識別 精準檢測狹窄部位；識別病變與危險組織；目標檢測算法 基于改進的YOLOv7目標檢測框架；基于CutMix的泛化性增強；真實場景適用 在少部分標注圖像與大量未標注圖像上構建模型，貼近真實場景；醫生的放大鏡識別出血管狹窄病變部位信息;降低醫生識圖的工作量。核心技術基于目標檢測的血管狹窄病變識別技術辨 得 準慕尼

12、黑上海電子展核心技術3D/2D血管深度變形匹配與二維介入路徑規劃基于啟發式搜索算法的介入路徑規劃:臨床滿意度：1.853/3（7檔李克特量表，現有最佳1.55/3）醫生的大腦通過多維信息輔助與智能路徑規劃算法，實現介入方案的快速制定。3D/2D匹配 基于CARNet神經網絡框架的多模態融合；可變形動態配準；介入路徑規劃算法 對血管影像進行柵格地圖構建；計算最優介入路徑；多維圖匹配為醫生提供有效可視化信息;為醫生與機器人提供介入路徑參考。定 得 精慕尼黑上海電子展核心技術無創功能學評估CT-FFR在病變及患者水平對血流動力學上的顯著冠脈狹窄診斷優于CCTA和ICA基于機器學習的CT-FFR技術可

13、以實現術前冠脈臨界病變的無創功能學評估uCT-FFR模型在檢測缺血性病變方面表現出良好的性能，優于CTA和ICATangCX,LiuCY,LuMJ,et al.CT FFR for ischemia-specific CAD with a new computational fluid dynamics algorithm:a Chinese multicenter studyJ.JACC Cardiovasc Imaging,2020,13(4):980-990.doi:10.1016/j.jcmg.2019.06.018.慕尼黑上海電子展基于FBG光柵光纖反射波長調制的各種醫用力傳感器核心

14、技術基于光纖的微型力傳感慕尼黑上海電子展慕尼黑上海電子展基于目標檢測的血管狹窄病變檢測研究案例結構修復介入手術機器人慕尼黑上海電子展首個完全一次性血管手術機器人首個完全一次性血管手術機器人LIBERTY Microbot Medical一家以色列創新醫療器械公司，提出一種顛覆性的創想；LIBERTY由一個控制系統和遙控器組成，是一個非常簡單，操作方便一次性使用血管輔助機器人；國內醫療器械在多樣性、個性化方面存在短板：國內醫療器械在多樣性、個性化方面存在短板：(1)輕量化、小型化設計適合初創公司適合初創公司開發、生產；(2)有利于補足個性化需求，為患者提供更多備選方案備選方案；(3)有利于推動醫

15、工結合醫工結合、以醫生為主體醫生為主體進行發明轉化；蘇黎世蘇黎世壓力導絲壓力導絲 集成微處理器的便攜式顯示單元；設計為一次性耗材；體積小巧不占用手術空間，易于處理，具有“一次完成”的設計，可回收處理，開放性系統-可以已上市的各類導管和導絲配合使用；發展趨勢趨向輕量化、小型化設計慕尼黑上海電子展基于目標檢測的血管狹窄病變檢測發展趨勢新材料、智能材料MITMIT華人科學家趙選賀研發磁控線形機器人：可在腦血管中游走華人科學家趙選賀研發磁控線形機器人：可在腦血管中游走遠程控制的微型微型導導絲絲機機器人器人，可以巡航巡航復雜微小血管網絡，也減少醫生受到的輻射；由磁性軟材料構成，其中磁磁化化或或可可磁磁化

16、化的的微微粒粒均均勻勻分分布布在軟質聚合物基質中，那么這就可以經過打印或注塑得以實現亞毫米的小型化制造。只有 10 微米到 25 微米厚度的水水凝凝膠膠皮膚生長在機器人表面，因其是水合交聯聚合物，可有效降降低低表表面面摩摩擦擦。機器人導絲可以被賦予更多功能，比如遞送藥物或用激光破壞掉血凝塊。研究人員可以用用光纖光纖替換替換掉掉鎳鎳鈦鈦合合金金核芯核芯；慕尼黑上海電子展自21世紀初以來，人們合成出了許許多多不同種類的微納米材料及精巧的分子，并通過化學能、電能、磁能、光能、聲能、熱能等各種供能方式，讓這些人工制造的分子與顆粒在微納米尺度運動起來?？茖W幻想中的納米機器人在血液中拖曳紅細胞在納米尺度，

17、幾乎所有的定向運動都會讓位于與之相比巨大得多的環境擾動。這也使精確操控微納米機器變得極其困難。人頭發絲上利用雙光子光刻方法3D打印的跳舞的女人2016年諾貝爾化學獎頒給三位超分子領域專家，以表彰其在分子機器合成領域的卓越貢獻。發展趨勢微納機器人及微納操作慕尼黑上海電子展發展趨勢康復及輔助機器人慕尼黑上海電子展主動式下肢外骨骼柔性下肢外骨骼人體運動意圖估計Lokomat懸吊式主動助力康復機器人，2003懸吊式康復訓練，機器人主動提供運動步態?？梢栽诠照鹊膸椭掳凑疹A設的步態軌跡行走。主動式助力康復機器人，2017無人體運動意圖參與的康復訓練含傳感器的外骨骼機器人。加入運動意圖，使康復訓練的過程更

18、具多樣性。HAL穿戴式助力機器人，2014多功能外骨骼機器人，2015-2019通過測量足端接觸力，在線解算人體運動意圖?？赏瓿善鹆⑿凶叩榷喾N動作。通過力傳感器獲得人體運動意圖Soft Exosuit，2018由美國哈佛大學研制。加入了人在回路的控制。以柔性材料和氣壓動力進行行走助力?？蓽p少穿戴者步行時的耗氧量。柔性外骨骼下肢行走助力機構，2020集成了力傳感器來檢測走路時步態的變化，行走步態時提供輔助的輸出力約94N。人體運動意圖親和性高的康復訓練發展趨勢神經康復外骨骼機器人慕尼黑上海電子展發展趨勢可穿戴設備的普及應用Guo,Y,Wang,H,Zhang,H.et al.Mobile Pho

19、toplethysmographic Technology to Detect Atrial Fibrillation.JACC.2019 Nov,74(19)23652375.doi:10.1016/j.jacc.2019.08.019.HUAWEI heart study：智能可穿戴設備協助房顫患者的篩查和管理在187,912個應用華為智能手環的人群中，篩查出262例“疑似房顫”患者，經醫療機構檢查確診227例房顫患者，陽性預測值（準確率）達91.6，此外有95.1的患者確診房顫后獲得房顫整合管理，80房顫高危人群獲得抗凝治療慕尼黑上海電子展 基于大腦連通性分析的康復狀態監測和神經通路功能

20、重塑評估方法提出基于腦功能連通性康復評估腦功能連通性康復評估的下肢外骨骼助力曲線動態優化策略?；贓EG時間序列多層聚合網絡的腦功能網絡構造方法，并運用連接矩陣的降維方法降維方法，確保信號實時運算效率實時運算效率。運用多源信息融合的“內外雙循環內外雙循環”下肢外骨骼機器人控制策略。發展趨勢神經康復外骨骼機器人慕尼黑上海電子展被試性別年齡S1男25S2男25S3男24S4男26S5男245位被試的性別和年齡信息表被試者準確率S10.70S20.80S30.65S40.70S5075平均值0.72被試者在測試階段EEG信號的識別準確率結果實驗結果分析外骨骼在被試者進行左/右手運動想象時分別對應步長

21、減小/增大的情況：步長減小時外骨骼運動情況；步長增大時外骨骼運動情況。實驗測試階段：利用EEG運動想象識別結果作為上位機的指令；對康復設備發送調整步長參數的信號，以達到步態軌跡調整的目的。外骨骼機器人下肢外骨骼機器人步態調整實驗慕尼黑上海電子展讓腦部手術更輕松讓腦部手術更輕松 德國醫療科技公司BrainlabBrainlab與美國VR技術公司Magic LeapMagic Leap達成合作伙伴關系，共同打造了一套操作平臺；首先應用于辦公環境中實現手術規劃和模擬實現手術規劃和模擬，未來將為手術室；透過皮膚“看”內臟并“追蹤”顯示透過皮膚“看”內臟并“追蹤”顯示 加拿大阿爾伯塔大學阿爾伯塔大學開發

22、出一套名為ProjectDRProjectDR的增強現實系統；可將CT掃描和MRI數據等醫學圖像直接顯示在患者身體上，并實現圖像隨患者移動而同步移動隨患者移動而同步移動；更精準的血管重建手術更精準的血管重建手術 英國帝國理工學院圣瑪麗醫院圣瑪麗醫院使用微軟的HoloLens眼鏡成功地完成患者下肢血管重建下肢血管重建的外科手術；與傳統的超聲定位血管的方法相比，該技術可以讓醫生更快更快速、精準地找到合適的血管速、精準地找到合適的血管，從而減少患者在麻醉狀態下的時間，并減少人為誤差；達芬奇機器人系統集成應用達芬奇機器人系統集成應用 約翰霍普金斯大學團隊；發展趨勢增強現實技術在醫療中的應用慕尼黑上海電

23、子展發展趨勢虛實結合3D打印和多模態影像融合等技術實現復雜病變解剖結構的多維可視化3D打印技術多模態影像融合技術Chessa M,Van De Bruaene A,Farooqi K,et al.Three dimensional printing,holograms,computational modelling,and artificial intelligence for adult congenital heart disease care:an exciting future J.Eur Heart J,2022,43(28):2672-2684.doi:2610.1093/eurh

24、eartj/ehac2266.慕尼黑上海電子展慕尼黑上海電子展醫療自動化中搬運和夾取執行的痛點痛點人工方案氣爪方案電爪方案效率低，人力成本高大量低效重復工作，浪費時間精力接線復雜，維護換線操作復雜設備承擔重復勞動，節約人力。多通道批量并行，提升效率精度低人工操作，精度較低無法做到精準力控，對于精密度要求高的場景無法滿足精密力控，定位精準潔凈度要求高人工操作要保持高潔凈度對管理要求比較高氣動方案連接外部氣源，潔凈度無法滿足要求無需外部氣源，保證樣品潔凈無塵環境造價高導致空間利用率要求高人員越多對無塵環境的影響越大，會增加維運成本氣動裝置的空間占用比較大，要想實現復雜動作需加裝傳動及傳感器等多種部

25、件一體化集成的電動手爪控制簡單，占用空間極小，集成在自動化設備中非常靈活容器脆弱、樣品珍貴操作可控，但無法防止意外損耗氣動方案實現自鎖功能復雜且穩定性不高，突發斷電會導致試劑瓶掉落、翻灑或破碎掉電自鎖，智能控制，穩定夾持試劑有毒有害對醫護人員與研究人員安全存在一定威脅自動化替代部分人力工作，保證人員安全性慕尼黑上海電子展試管開合蓋是醫療行業最為常見的標準任務，樣品檢測、制備、分杯等需求都會涉及。機器人能夠在同一個夾爪上完成抓取和無限旋轉任務，滿足醫療自動化領域對開合蓋任務的精準度、效率以及潔凈度、美觀度的需求。醫療行業經常會涉及到大批量的樣品處理，需要更高效的解決方案來應對這一挑戰。機器人組合

26、能夠在狹窄空間中支持多臺夾爪的并排安裝與運行，因而能夠一次同時完成多個試管的開合蓋任務，提高效率。醫用自動化試管開合蓋慕尼黑上海電子展自動化分杯處理系統，可自動完成樣品管的開蓋、掃碼、信息錄入、移液、轉板、關蓋等操作。全程處于密閉負壓狀態，確保樣品潔凈不受污染。核酸病毒分杯儀分杯流程將零散的試劑移栽到符合國際標準的可以整板處理的試劑盒內（24、48、96 孔板），以便于后續的批量處理和檢測。在此過程中，電爪的應用，能夠最大程度保持試劑盒與樣品的潔凈度。夾爪抓取病毒管，旋轉掃碼讀取采樣信息后，開蓋，提取樣品到孔板內，關蓋，放回試管架。自動化分杯處理系統慕尼黑上海電子展醫用自動化咽拭子采樣機器人及無人化新冠檢測慕尼黑上海電子展“醫療科技”讓科技創新為健康中國加油！感謝各位！請批評指正！慕尼黑上海電子展