任海艷-智能語音平臺在醫療多場景的智慧應用.pdf

1、智能語音平臺在醫療多場景的智慧應用2023年5月CHIMA 2023目錄CONTENTS北 京 友 誼 醫 院 簡 介智 能 語 音 平 臺 建 設多場景應用未來規劃0101020203030404CHIMA 202301北 京 友 誼 醫 院 簡 介CHIMA 2023第 1 頁醫院簡介1952年 6月19日建院，原名北京蘇聯紅十字醫院，是新中國成立后，由黨和政府建立的第一所大型綜合性醫院1970年 周恩來總理定名為“北京友誼醫院”2014年 國家消化系統疾病臨床醫學研究中心2018年 牽頭成立北京市醫院管理中心消化內科學科協同發展中心CHIMA 2023第 2 頁醫院簡介規模：現有職工47

2、00人，其中研究生導師149人，高級專業技術人員740人；目前共開放床位2306張，年門診量310萬人次，年出院患者9.15萬人次CHIMA 2023第 3 頁醫院簡介電子病歷評級智慧服務評級醫療健康信息互聯互通標準化成熟度測評2019年通過5級評審2021年通過3級評審2023年通過五乙評審4級3級2級1級5級4級3級2級1級5級四級甲等三級二級一級四級乙等6級7級五級乙等已通過五級甲等8級CHIMA 202302智 能 語 音 平 臺 的建設CHIMA 2023第 1 頁建設背景智能語音技術的使用，對于醫療工作、診療流程的革新存在深遠意義，但在應用中存在一些困擾，阻礙著在醫院的進一步應用和

3、發展。應用場景單一多使用在醫療文書語音錄入，而與醫療場景結合的應用模式少 復用能力弱系統集成采用逐系統對接的建設方式，雖集成度高，但投入大、收效小 投入大、推廣難系統建設與維護中，需要投入大量的配套硬件設備，擴大應用難 賦能能力不足不能為院內業務系統提供平臺級、標準化的語音技術服務困擾CHIMA 2023結合移動互聯網技術，改進傳統的“專用硬件麥克風”語音錄入模式，建立語音錄入移動應用，為醫院各崗位人員提供統一的、通用的語音錄入服務語音錄入服務建立語音識別、語音命令、語音錄制與回放、聲紋識別等標準化服務接口，為醫院各應用系統提供統一的語音集成服務標準化語音集成服務將自然語言處理、語音合成、語音

4、識別技術相結合，建立智能語音播報與應答、交流信息收集與共享等通用功能，為醫院各應用系統提供統一智能化人機交互服務智能語音交互服務醫院智能語音平臺2+1 服務智能語音技術自然語言理解聲紋識別語言模型快速優化語音合成語音識別第 2 頁技術實現CHIMA 2023語音集成接口標準化將智能語音的通用功能開放為標準、可復用的接口，供第三方系統調用，避免重復性開發，更好的發揮智能語音的賦能能力。030201語音服務平臺化將智能語音服務進行統一組織和共享，為用戶使用、第三方系統調用提供通用化功能，提高了智能語音資源的利用，有利于場景融合和應用拓展。語音錄入輕量化由語音錄入微信小程序取代硬件麥克風的功能，利用

5、個人手機話筒進行語音錄入，擺脫專用硬件設備限制，應用更便捷，推廣更容易，成本更可控第 3 頁建設創新點CHIMA 202303多場景應用CHIMA 20231.醫療文書語音編寫應用場景第 1 頁多場景應用寫病歷時間花太久？2016年美國the Annals of Internal Medcine（內科學年鑒）發現，門診醫生60%的工作時間用于電子病歷和其他文書工作（Sinsky et al.,Ann Intern Med 2016）。國內，丁香園在2011年曾做過一次調查，受訪醫生超過8000人，其中50%以上的住院醫生每天用于寫病歷的時間在4小時以上。手機云麥克風CHIMA 20231.醫療

6、文書語音編寫應用場景操作簡便：手機微信掃碼連接；準確度高：醫療語音庫，專業性強，可接受中英文、單位符號的混合輸入，對于不太標準的普通話，具有一定容錯性；節省時間：患者提供的外院的病歷報告等資料，語音錄入。醫療、通用語音庫，全院范圍、各崗位使用 使用量月峰值：錄入105萬字、使用93小時 使用便捷 部署快 低硬件投入第 2 頁多場景應用020406080100120錄音文字量（萬字）錄音時長（小時）CHIMA 2023遠離電腦的場景：床旁查體、查房、會診企業微信打開云麥克風小程序，隨時記錄患者的訴求、患者手機上的重要檢查結果、會診意見等；而后可通過掃碼的方式將文字發送到電腦中。使用隨時隨地 應用

7、靈活多變第 3 頁多場景應用2.移動語音記事場景CHIMA 2023將語音錄入功能與遠程移動查房車整合在一起，查房醫生用說話的方式，將查房記錄實時書寫到HIS中。多院區協同與語音查房并行 查房記錄的完整性提高了第 4 頁多場景應用3.移動語音查房應用場景CHIMA 2023“搶單式”超聲報告集中錄入模式：檢查醫師通過語音操縱系統，同步錄制診斷語音，將采圖、錄音和識別文字一同發給由少量書寫員組成的報告書寫中心；書寫員以搶單的形式，根據發來的信息編輯報告內容；最終報告由審核醫師審核后發布。取消醫師與書寫員的1:1配置 已減8名書寫員 人力成本降低了第 5 頁多場景應用4.超聲檢查與智能語音結合應用

8、場景0500010000150002000025000語音錄入超聲報告數（份）CHIMA 2023超聲心動：檢查醫生用麥克風錄入報告內容，取代錄機員；病理科：大體標本取材工作臺配備了平板和麥克風，技術員通過麥克風語音錄入大體標本描述，轉換成文字，錄入到病理系統中，實現單人操作。取代傳統一人取材+一人錄入的雙人操作模式。放射科：看影像同時“說”出報告，提高工作效率。人力成本降低了 工作效率提高了第 6 頁多場景應用5.超聲心動、病理科、放射科檢查報告應用場景01002003004005006007002205 2206 2207 2208 2209 2210 2211 2212 2301 230

9、2 2303 2304語音錄入超聲心動報告份數超聲心動報告份數CHIMA 2023手術三方核查過程利用智能語音，引導完成核查單填寫，在聲紋確認參與者身份后，核查單自動發送到手麻系統歸檔。取消紙質表格 避免手部污染 核查過程規范了麻醉實施前手術開始前患者離室前第 7 頁多場景應用6.手術麻醉三方核查與智能語音結合應用場景CHIMA 2023在出院隨訪中應用語音隨訪機器人，根據隨訪方案自動撥打電話，語音交互式收集患者反饋，將結構化文字回傳給業務系統。兩院區（近一年）：語音隨訪任務3.1萬余份完成2.4萬余份完成率78.41%重復性勞動減少了 醫療資源配置優化了 隨訪效率、數據質量提高了第 8 頁多

10、場景應用7.出院隨訪智能語音交互場景05001000150020002500300035004000450022.05 22.06 22.07 22.08 22.09 22.10 22.11 22.12 23.01 23.02 23.03 23.04總任務量（份）完成任務量（份）CHIMA 2023智能語音導診機器人參與門診大廳導診服務。各院區 患者體驗提高了智能語音宣教機器人自動執行入院宣教工作。重點病區 患者住院體驗提升了第 9 頁多場景應用8.智能語音機器人應用場景核醫學導醫機器人解答患者疑問。核醫學特殊檢查區域 保護醫護人員，減少輻射風險CHIMA 2023患者使用醫患服務小程序，以語

11、音留言的方式進行投訴建議，醫務人員及時獲得語音留言和識別的文字，快速響應、準確備案。拉近醫患距離 減低溝通成本 服務效率提高了 服務質量提升了第 10 頁多場景應用9.醫患服務與智能語音結合應用場景CHIMA 2023智能語音平臺為醫療過程、服務行為賦能，促使診療模式創新優化資源配置，改進醫療服務流程、提升服務效能，使患者獲得滿意的優質服務模式創新服務提升第 11 頁應用效果CHIMA 202304未來規劃CHIMA 202313524相同發音詞語的低識別度；判斷輸入焦點切換的時機；需語義理解的輔助。需完善：語義理解的處理能力在應用場景中，需要語音技術與其他技術結合應用，以達到更好的使用效果，滿足各類受眾需求。需靈活：集成應用語音技術需靈活施策中英文混搭、英文縮寫、各類數字混雜等，給語音識別提出了挑戰。需提高：語音識別的語言兼容性醫療場景的復雜決定了語音周邊設備的選型難題，兼顧醫療安全、診療特點、用戶需求、市場產品、建設成本等多因素。需克服：語音設備的選型難度大給不同用戶恰當的服務感官，加強音色和交互邏輯，完善知識庫，是持續努力的工作之一。需加強：語音交互的擬人能力第 1 頁思考與進一步工作CHIMA 2023感謝聆聽CHIMA 2023