《清華大學&螞蟻集團:2024年PPG連續生理指征感知與生物識別技術及其應用白皮書(52頁).pdf》由會員分享,可在線閱讀,更多相關《清華大學&螞蟻集團:2024年PPG連續生理指征感知與生物識別技術及其應用白皮書(52頁).pdf(52頁珍藏版)》請在三個皮匠報告上搜索。
1、感知技術及應用PPG Continuous Physiological Feature Perception Technology and Its Application目錄PPG 信號是什么?01.2.1 PPG信號采集途徑2.1.1 光源與光電傳感器PPG 信號如何采集 02.2.1.3 光傳播和檢測2.1.2 光線發射2.1.4 信號處理4441 1810112.2 PPG信號采集常用設備2.2.1 可穿戴設備2.2.2 攝像終端 2.2.3 醫療設備2.2.4 頭戴式設備151516161717PPG(rPPG)信號在疾病診斷場景的應用及挑戰06.6.1 社會價值6.2 應用進展及實踐
2、6.3 挑戰及展望3233323207.PPG(rPPG)信號在生物識別場景的應用及挑戰 7.1 應用潛力7.2 社會價值7.4 在某廠商上的應用案例7.3 應用進展及實踐7.4.1 設備選型及測試數據7.4.2 測試流程和測項7.4.3 測試指標7.4.4 實戰總結7.5.挑戰及展望363434373838394040411918181920202121rPPG技術03.3.1 rPPG原理3.2 rPPG技術路線3.2.2 rPPG算法3.2.1 數據預處理3.3 rPPG領域進展與展望3.3.1 應用前景3.3.2 技術挑戰4.2.影響 PPG 信號的外部因素4.2.1 接觸壓力4.2.
3、2 佩戴位置4.2.3 環境光照262627282323232424252526PPG 信號的影響因素04.4.1.影響 PPG 信號的生理因素4.1.1 運動及運動偽影4.1.3 體溫4.1.2 精神狀態4.1.4 腕部肌肉狀態4.1.5 隨時間的自身變化4.1.6 皮膚特性08.8.1 檢測原理8.2 社會價值8.4 挑戰及展望8.3 應用進展及實踐4242424342PPG(rPPG)信號在疲勞檢測場景的應用及挑戰09.9.1 識別原理9.2 社會價值9.2.2 人機交互的智能化提升9.2.1 心理健康監測與干預9.1.3 教育領域的個性化教學9.1.4 市場營銷與用戶研究9.1.5 社
4、會治理與公共安全454444454546464647479.3 應用進展及實踐9.4 挑戰及展望9.4.2 展望9.4.1 挑戰4748PPG(rPPG)信號在情緒識別場景的應用及挑戰4910.PPG(rPPG)信號在健康檢測場景的應用及挑戰影響 rPPG 信號的因素05.5.1 環境光照條件5.2 皮膚特性5.5 生理因素5.4 人體運動5.6 相機和傳感器特性292929303030305.3 測量距離和角度5.7 圖像處理算法5.8 設備硬件5.9 外界干擾3131312.2.5 其他類型設備顧問組成員版權聲明編寫組成員史元春、李俊奎、王維強唐健凱、王運濤、李哲、朱凱、童仁玲、閆簫同、易
5、鑫、周璐曦、劉家成、趙光燁興軍亮、鄭亮、朱叢、周莉、應豐本技術白皮書由清華大學與螞蟻集團共同研究、編制而成。所有內容,包括但不限于技術方案、理論分析、實驗數據、圖表、代碼片段等,均受到國際版權法及各國相關知識產權法律法規的保護。未經明確書面許可,任何個人、組織或實體不得以任何形式復制、散布、修改、展示、出版、傳輸或利用本白皮書的部分或全部內容,包括但不限于用于商業目的。對于教育及非商業性研究用途,可依據“合理使用”原則進行有限度的引用,但需確保明確標注來源為本白皮書及其出版年份,并保持引用內容的準確性和完整性。對于希望基于本白皮書內容進行進一步研究、開發或商業合作的機構和個人,敬請直接聯系se
6、curity_,以獲取必要的授權與支持。我們保留對任何侵犯本白皮書版權行為采取法律措施的權利。特此聲明。心跳支付白皮書聯合出品PPG 連續生理特征感知技術及應用Photoplethysmographic(PPG),即光電容積脈搏波描記法,是一種以LED光源和探測器為基礎,通過測量照射在人體皮膚表面被血管等組織反射回的光的衰減程度,進而記錄血管的搏動狀態,同時測量脈搏波的一種測量人體生理數據的方法。PPG最早在20世紀30年代時出現,具有簡便、低成本、無創等特點。這項技術最早被用于照射人體的手指和腳趾,將其結果與X光等透射光的檢查結果進行比較確認。近20年內,在長期觀察中確認了該技術的可行性后,
7、PPG相關的研究逐漸增加,測量點位從單個點位擴展到多個,測量方式也從接觸式發展出了非接觸式,其應用范圍逐漸從測量循環系統各類生理指標擴展到各方面體征,如呼吸系統等。在每次脈沖中,PPG波形包括收縮峰(systolic peak)、二尖波(dicrotic notch)和舒張峰(diastolic peak)。收縮峰(紅點來源于心臟的收縮活動(contraction activity of heart)二尖波(綠點)來源于主動脈瓣的關閉(closure of the aortic valve)舒張峰(黃點)則是指血液流入外圍循環。(圖注:PPG 信號波形圖)PPG 信號是什么?01SPDPDNP
8、PG Amplitude(Counts)Systolic peakDiastolic peakDicrotic notchAmplitude(V)Time(s)Time(s)0t1SP/2tSPtDNtNEXT TROUGHtDPt2SP/21當我們去到醫院,通常都需要經歷各類檢查,如體溫、心率、血壓、呼吸頻率、血氧飽和度等,這些反映人生命體征的指標能幫助本人判斷當前狀態,有助于旁人判斷是否應采取救助,便于就醫時醫護人員判斷病人是否危急。目前,各類生理學信號的測量方式應用了流體力學、光學等多種理論的知識,需要多種器械配合,如使用紅外測溫槍或水銀溫度計測量體溫,用水銀血壓計測量收縮壓及舒張壓,使
9、用指壓法簡單測算心率,用目測法估算呼吸頻率、評估末梢血液循環,體內探針法測定各類血流動力學參數。而這些指標都可以通過PPG技術有所反映,可以利用PPG信號的周期計算心率,周期變化率測算心率變異性,通過不同波長的光的吸收率之比測量氧合血紅蛋白及去氧血紅蛋白的比例從而得出血氧飽和度,進一步可關聯PPG基線變化與血壓、呼吸頻率的關系,PPG信號的上下極差可用于判斷末梢血供情況。PPG信號以一種獨特的方式,用光電信號記錄人面部血管搏動、血流速度、血液狀態,將這些原本需要多個設備和一定醫學儲備來進行測量的生理信號,提供一站式測量方案,減少普通人自行測量相關數據的器材需求,降低人們關心自己身體健康的難度。
10、(圖注:PPG 信號波形圖)PPG 連續生理特征感知技術及應用Number of samples2030105060408090700200250150100500-50-100Systolic Phase Diastolic PhaseIntensityRed:Systol peak.Green:Dicrotic notch.Yellow:Diastolic peak.Each pulse of the PPG is divided into two phases:systolic and diastolic phases.2以生命體征數據為基礎,研究者不斷探索PPG信號的效用,在疾病預測上
11、取得了不菲的成果,如心血管疾病。心電圖(ECG)是診斷心臟疾病的重要方式,心電圖曲線可以提示如房顫、室顫、心率失常、陳舊或新發心肌梗死、傳導阻滯等多種心肌相關的疾病。同步ECG與PPG信號可以發現,PPG信號同樣可以反映心電特征,通過總結PPG信號的異常,可以提示人可能存在心臟疾病,從而做到對心臟疾病的早發現、早診斷、早治療,減緩慢性疾病的病情發展,對疾病的急性發作作出預警,提高發病患者的生存率。PPG 連續生理特征感知技術及應用3上文提到,PPG信號可以反映大量人體生理特征,對人體健康監測具有重大意義。因此,如何采集PPG信號,尤其是如何采集到高質量的PPG信號,是使用PPG信號進行生理特征
12、感知的重中之重。2.1 PPG信號采集途徑2.1.1 光源與光電傳感器光源和光電傳感器是PPG技術實現的基礎,它們共同作用于捕捉血液容積的微小變化,從而為非侵入性生理監測提供了一種有效手段。光源和光電傳感器在采集過程中的工作涉及到光信號的發射、傳播、接收與轉換,也會受到多種因素的影響。為了獲取優質的光學信號,選取合適的光源與相應的光學傳感器是PPG信號采集的重要一環。PPG 連續生理特征感知技術及應用PPG 信號如何采集?024通過光源采集PPG(光電容積描記)信號的過程,是利用光在人體組織中的吸收和散射特性來無創監測血液容積變化的一種技術。具體而言,該過程涉及使用光線照射人體的透光部位,如指
13、尖或耳垂。光線穿透皮膚后,會部分被血液中的血紅蛋白吸收,尤其是動脈血液,因為動脈血氧合程度高,吸收光的能力隨心跳周期中血液容積的變化而變化。未被吸收的光線則反射或散射回傳感器。通過檢測這些光強度的微小變化,可以間接反映心臟搏動引起的血容量波動,從而提取出PPG信號。此信號包含了心率、血氧飽和度以及血管彈性等生理信息,廣泛應用于健康監測設備,如智能手環、脈搏血氧儀等。值得注意的是,為了減輕后續信號處理(尤其是去除信號中的噪聲)的負擔,以及考慮到小型設備續航問題,用于采集PPG信號的光源對波長、光強、穩定性以及功耗均有較高的要求:PPG 連續生理特征感知技術及應用波長選擇5目前PPG信號采集使用的
14、主流光源主要分為3種,一是紅光(600-700 nm,常用660 nm),這是由于紅光能夠穿透較深的皮膚和組織,適用于測量較深層的血流變化;二是紅外光(700-1000 nm,常用940 nm),和紅光類似,紅外光也具有良好的穿透能力,可以提供更高的信噪比,尤其是在運動場景下;三是綠色光(500-600 nm,常用530 nm),和上述兩種光不同,綠色光更容易被皮膚和血液吸收,適用于淺層血流變化的測量,如今我們常見的智能手表、手環使用的便是這類光源。采集過程中對光源的強度要求很高,其原因在于需要提高信號質量與信噪比。高強度的光源可以確保足夠的光穿透組織深層,即使在血流微弱或者皮膚色素、血管深度
15、不一的情況下,也能保證有足夠的信號被光電探測器接收。這樣不僅增強了信號的穩定性,減少了外界干擾(如運動偽跡、環境光線變化)的影響,還提高了測量的準確性和可靠性,確保了數據采集的高質量與臨床應用的有效性。PPG 連續生理特征感知技術及應用光源強度光源穩定性光源的穩定性對PPG信號的質量有顯著影響。由于PPG信號的采集主要依靠的是光源和光電傳感器的協同運作,不穩定的光源會給光電傳感器接收到的信號中引入噪聲,最壞的情況下,捕獲到的信號的周期都有可能受到影響,這將進一步導致后續計算得到的心率等依賴于信號周期性的生理信號出現大的誤差。功耗在可穿戴設備中,光源的功耗是一個重要考慮因素??纱┐髟O備電池容量本
16、身有限,光源功耗過高將導致設備續航能力下降,進一步使得設備其他功能的部署受限,使用者體驗不佳。選擇低功耗的LED光源可以有效避免上述問題的出現。6光電傳感器PPG 連續生理特征感知技術及應用光電傳感器是PPG(光體積描記法)信號采集中必不可少的采集工具,影響光電傳感器PPG信號采集質量的因素很多,例如傳感器自身特性,如光波長選擇、靈敏度、響應速度能夠直接影響采集效果,次要因素也包括傳感器與皮膚接觸的緊密度、個體差異,如膚色深淺、血管分布、血液特性等;運動偽跡,身體移動造成的信號干擾、環境光干擾等等都會影響PPG信號的形態和強度。因此,優化傳感器設計、采用有效的信號處理算法以及合理用戶指導對于提
17、高PPG信號采集的準確性和穩定性至關重要。常用的光電傳感器主要有硅光電二極管、氣相外延光電二極管、InGaAs光電二極管等,不同傳感器有其不同優缺點。7總結以上介紹的四種光電二極管各有優劣,且均可用于PPG信號采集,具體應用中選取哪一種光電二極管,需要考慮應用場景與二極管的特性的契合度,最合適的就是最好的。PPG 連續生理特征感知技術及應用2.1.2 光線發射光源定位和安裝光源應盡可能貼近皮膚,以減少光在皮膚表面散射和反射帶來的影響,提升測量精確度。設計中常使用柔性材料或特定形狀的外殼,使設備能更好地貼合皮膚。氣相外延光電二極管光譜響應范圍靈敏度優點缺點硅光電二極管InGaAs光電二極管PIN
18、光電二極管廣泛的光譜響應范圍(能夠響應從可見光到近紅外光的光)穩定性好(長時間使用后性能變化?。Νh境溫度變化敏感超高靈敏度(通過內部增益機制實現信號放大)功耗較高獲得的信號噪聲較大400-1000 nm400-1100 nm800-1700 nm400-1100 nm很高高較高中等近紅外光響應靈敏度高溫度穩定性好成本較高可見光響應靈敏度偏低靈敏度相對偏低對環境溫度變化敏感成本較低暗電流低,背景噪聲小8PPG 連續生理特征感知技術及應用LED的光束需要均勻,以避免由于光強不均勻導致的信號誤差。常采用光學透鏡或擴散片來改善光束均勻性。光束集中指向目標區域,以提高透射或反射光的強度和信噪比。設計中
19、常采用反射罩或光學耦合器來引導光束方向。光束均勻性光束方向性光束特性脈沖調制脈沖信號的占空比(光源開啟時間與總周期的比值)可以根據需要調整。通常保持較低的占空比以節省功耗,延長設備續航時間。光源以特定頻率(如數百赫茲到幾千赫茲)進行開關。這個頻率應當與預期的心率范圍明顯不同,以便通過同步檢測濾除環境光的干擾。脈沖頻率占空比控制光強控制恒流源驅動LED的光強與電流成正比,為了確保光強穩定,通常使用恒流源驅動LED,避免光強在測量過程中發生變化引入噪聲,影響結果精確度。根據不同的皮膚類型和厚度,動態調節光強,確??偸怯凶銐虻墓饩€穿透組織或被反射回接收器。光強調節溫度控制LED在工作過程中會產生熱量
20、,溫度變化會影響LED的光輸出。有效的散熱設計可以保持LED的溫度穩定,進而保證光信號的穩定。某些高級系統會包含溫度傳感器,并根據溫度變化動態調整LED的驅動電流,以保持穩定的光輸出。溫度補償散熱設計9PPG 連續生理特征感知技術及應用2.1.3 光傳播和檢測PPG信號的采集方法主要分為兩種:透射法和反射法。(圖注:反射法與透射法示意圖)透射法透射法主要利用光的吸收原理。當光通過人體組織時,不同波長的光會被血液中的成分以不同的程度吸收。通過檢測透射光的強度變化,可以推算出血液中的生理信息。透射法光線的傳播主要分為三個階段。首先,光源發出光線后,光線穿過皮膚的表皮和真皮層,這些層中含有的色素(如
21、黑色素)會吸收、散射部分光線。之后,光線繼續穿透到皮下的血管層,血液中的血紅蛋白(Hb)和氧合血紅蛋白(HbO2)分別吸收大量紅光與近紅外光,同時,由于心臟的泵血,血液量在血管中周期性變化,引起光強周期性變化。最終,光線穿出皮膚,由光電傳感器接收并轉化為電信號。優點高靈敏度:透射法對光強變化敏感,可以檢測到微小的血液體積變化。準確性高:透射法通過測量光的吸收變化,能夠提供精確的生理參數,如血氧飽和度。(b)Photo detector&LED source(a)Infra/RedLED sourcePhotodetector10PPG 連續生理特征感知技術及應用反射法主要利用光的反射原理。當光
22、照射到人體組織表面后,部分光會被反射回光電傳感器。通過檢測反射光的強度變化,可以推算出血液中的生理信息。反射法光線的傳播過程與透射法類似,主要的不同在于反射法收集的是人體組織(主要為血管)的反射光,反射光強度會隨血管中血液量的變化而變化當心臟收縮時,動脈血流量增加,血液吸收的光增加,反射光強度下降。2.1.4 信號處理PPG信號的原始數據往往受到多種因素的影響,需要進行一系列的信號處理步驟以獲得清晰的波形和準確的生理參數。環境光可能會影響測量結果,因此需要采取措施(如使用濾光片或在暗室中測量)來減少干擾。受環境光干擾:反射法缺點透射法通常需要在光能夠穿透的部位(如手指、耳垂)進行測量,不適用于
23、身體較厚或光難以穿透的部位。受測量部位限制:反射法傳感器可以集成到可穿戴設備中,如智能手表、手環等,方便日常使用。便于集成:優點由于不依賴于光的穿透,反射法不受組織厚度限制,可以在多個部位進行測量,如手腕、前額、胸部等,適用范圍廣。測量部位多樣:缺點信號易受噪聲影響:由于反射光強較弱,信號容易受到環境光和運動偽影的干擾,需要有效的信號處理算法來過濾噪聲。信號強度較低:反射信號的強度通常比透射信號弱,可能需要更高靈敏度的傳感器和更高的光源強度。依賴血液流動:透射法依賴于良好的血液循環,因此在血液循環較差的情況下,測量結果可能不準確。11PPG 連續生理特征感知技術及應用設計并實現AGC電路,動態
24、調整放大倍數,根據輸入信號的強度自動調節輸出信號的幅度,避免信號過載或過小。信號放大模擬信號放大使 用 高 增 益 運 算 放 大 器(Op-Amp)對原始PPG信號進行放大,確保信號在后續處理前的幅度足夠強。自動增益控制(AGC)小波變換進行小波變換,將信號分解到不同尺度上,對每個尺度上的信號進行去噪處理,然后重建信號。小波變換能夠有效去除不同頻率成分的噪聲。自適應濾波采用LMS(Least Mean Squares)自適應濾波器,根據參考信號(如加速度計信號)動態去除運動偽影,調整濾波器參數,使其能夠適應不同的運動狀態。帶通濾波使用帶通濾波器去除低頻(如呼吸引起的基線漂移)和高頻(如肌電噪
25、聲、環境光干擾)成分,只保留心率范圍內的信號(0.5到4 Hz)。(圖注:奇異點檢測)去噪Original Data with Bands representing Upper and Lower limits100608040200210-1Original DataMedian+-Threshold12應用指數平滑方法,計算當前樣本點和之前樣本點的加權平均,選擇適當的平滑參數,使得信號平滑效果最佳。采用高通濾波器去除低頻基線漂移,確保信號的基線穩定。常用的高通濾波器類型包括巴特沃斯濾波器和切比雪夫濾波器。信號增強對多個心跳周期的信號進行平均,以減少隨機噪聲的影響,增強心跳特征。計算多個心跳
26、周期的平均波形,提高信號的穩定性。對信號進行歸一化處理,使其幅值在一定范圍內,有助于消除由于不同測量條件導致的幅值差異。常用的歸一化方法包括最小最大歸一化和均值標準差歸一化。13特征提取信號平滑PPG 連續生理特征感知技術及應用指數平滑移動平均濾波計算當前樣本點和其前后若干樣本點的平均值,以平滑信號。常用的窗口長度為3到5個樣本點。心率提取歸一化信號平均使用低通濾波器(如巴特沃斯濾波器)去除信號中的高頻噪聲,只保留低頻成分。設計濾波器時,需要考慮其截止頻率和階數。信號濾波低通濾波高通濾波PPG 連續生理特征感知技術及應用通過檢測PPG信號中的峰值,計算心跳間隔(RR間期),從而計算出心率(bp
27、m)。常用的峰值檢測算法包括自適應閾值法和滑動窗口法。頻域、時域分析對PPG信號進行傅里葉變換,分析其頻譜特性,從中提取出與心率和呼吸相關的頻率成分;分析信號的時域特征,如脈搏波形的上升時間、下降時間、波形寬度等,評估心臟健康狀態。統計分析計算心率的平均值、標準差等統計指標,評估心率的穩定性和變異性。常用的統計指標包括均值、方差和標準差。數據分析(圖注:峰值檢測)(圖注:滑動窗口)0100 200 300 400 500 600 700 80010-1-220.40.50.60.70.80.91.04002000SamplesNormalized value142.2 PPG信號采集常用設備P
28、PG 連續生理特征感知技術及應用PPG(光電容積脈搏波)信號采集設備廣泛應用于各種類型的設備,包括可穿戴設備、攝像終端、醫療設備和頭戴式設備等,從個人健康監測到臨床醫療應用,涵蓋了生活的多個方面。以下是常見的PPG信號采集設備:2.2.1可穿戴設備智能手表Apple Watch:配備了PPG傳感器和ECG傳感器,用于心率監測、血氧水平測量和心臟疾病風險預測。152.2.3醫療設備Nonin:生產各種醫療級PPG設備,廣泛應用于醫院和臨床環境,用于血氧飽和度(SpO2)和心率監測。便攜式心率監測儀Fitbit:多款Fitbit手表(如Charge系列、Versa系列)內置PPG傳感器,提供心率監
29、測和睡眠分析功能。華為:華為智能手表(如GT系列、FIT系列)采用PPG傳感器來監測心率和壓力水平。PPG 連續生理特征感知技術及應用(圖注:智能手表)小米手環:內置PPG傳感器,用于心率監測和運動記錄。華為手環:配備PPG傳感器,提供全天候心率監測和睡眠分析。2.2.2攝像終端 一些華為手機(如Mate系列)也內置PPG傳感器,用于健康監測。此外,其他帶有攝像功能的手機、平板、電腦,均可借助內置rPPG信號提取算法的第三方軟件實現PPG的測量。智能手環三星Galaxy系列部分Galaxy手機背面配備PPG傳感器,用戶可以通過手機應用進行心率和血氧水平測量。華為手機Biobeat:提供可穿戴P
30、PG設備,用于監測心率、血壓和血氧水平,常用于遠程醫療和臨床試驗。162.2.4頭戴式設備Jabra Elite Sport:配備PPG傳感器,可以監測心率和運動數據。Bose SoundSport Pulse:內置PPG傳感器,提供心率監測功能。(圖注:虛擬現實(VR)頭顯)Philips IntelliVue:該系列監護儀集成了PPG傳感器,提供實時的心率和血氧監測。GE Healthcare:其生產的監護設備也包括PPG功能,用于全面的患者生命體征監測。監護儀PPG 連續生理特征感知技術及應用智能耳機虛擬現實(VR)頭顯Oculus Quest:盡管目前并沒有配備PPG傳感器的VR設備,
31、但不少商業巨頭如蘋果、微軟,都對此有所計劃,預計不遠的未來會出現具有獨立測量心率功能的VR設備出現。173.1rPPG原理RemotePhotoplethysmographic(rPPG),即遠程光電容積描記技術,是當前國際上前沿的非接觸式生理指征監測手段。rPPG技術03PPG 連續生理特征感知技術及應用人體每次心跳引起的血液流動會造成皮膚組織的微血管中血量的周期性變化,進而導致皮膚吸收和反射光具有周期性規律,具體表現為皮膚表面顏色的周期性變化,盡管人眼無法分辨這一微小變化,但是通過攝像機可以檢測到得益于現代攝像機內置的高靈敏度傳感器,通過分析該信號可以獲取脈搏率、呼吸率和血氧飽和度等生理指
32、標。(圖注:基于攝像頭的遠程生理感知原理)計算機設備攝像頭入射到身體的光皮膚反射的光皮膚靜脈血動脈非周期分量動脈周期分量舒張相位收縮相位時間脈搏波光源183.2rPPG技術路線PPG 連續生理特征感知技術及應用(圖注:數據處理流程圖)3.2.1數據預處理通過攝像頭獲取到的視頻含有大量冗余數據,且可能存在質量過低的數據,無法直接用于模型訓練,故需要對采集到的數據進行預處理。一般而言,數據預處理包含(按先后順序)選取感興趣部位(ROI區域)、標準化、差分歸一化。通過面部識別算法,我們可以實現對人臉的精準捕獲(ROI區域),舍棄人臉周圍的環境圖像數據,提升訓練數據質量。標準化的主要目的是將輸入圖像幀
33、的像素值調整到一個統一的范圍,減少由于光照變化、攝像頭設置差異等外部因素引起的偏差,從而突出皮膚顏色的細微變化。通常,這一步會涉及將圖像中的像素值減去它們的均值,然后除以標準差。這樣處理后的圖像會有一個零均值和單位方差,從而消除整體亮度或顏色的變化,使得后續的分析更加可靠。差分歸一化旨在進一步放大皮膚顏色的微小變化。通過對標準化后的圖像進行幀間差分193.2.2 rPPG算法3.3rPPG領域進展與展望rPPG領域的關注度近年來還在持續上升,目前該領域的算法在一些實驗室數據集如PURE和UBFC已經取得不錯的效果。在室內靜止狀態下,該技術遠程估計心率的誤差可以低于3次/分鐘,基本達到消費級健康
34、產品可用的水準。然而在一些邊際條件,如面部運動、變化光照、高原低壓和較深膚色的場景,該技術的性能仍然有長足的提升空間。處理,提取圖像幀之間的細微變化。這一過程通常包括對連續圖像幀進行像素差異計算,重點分析這些變化。隨后,這些差異會經過歸一化處理,使得結果更加穩定并易于進一步的信號提取。差分歸一化后的圖像會顯示出比原始圖像更加明顯的顏色變化區域,特別是與生理信號相關的皮膚區域。這些變化將被用于后續的rPPG信號提取。用于預測rPPG信號的算法主要分為兩大類:非監督算法和監督算法。非監督算法本質上是使用統計學手段對數據進行分析的方法。對預測rPPG信號而言,非監督算法指的是基于視頻中人體皮膚的周期
35、性顏色變化和PPG強相關的機理,通過對視頻色彩空間的投影和變換實現對靜態人體視頻的 rPPG 信號提取。常見的用于rPPG信號預測的非監督算法包括Green、ICA、CHROM、POS、PBV。監督算法使用帶標簽的數據集來訓練算法,以預測結果和識別模式。具體而言,監督算法通過學習視頻數據和對應PPG信號之間的關聯,實現通過視頻預測rPPG信號這一功能。常見的用于rPPG信號預測的監督算法包括DeepPhys、PhysNet、PhysFormer、Effcient-Phys-C。隨著rPPG技術的發展,rPPG的應用場景從實驗室的靜止面部視頻逐步拓展到多元復雜的運動狀態視頻,這對rPPG算法的魯
36、棒性提出了更高要求。在這種噪聲環境中,監督學習的算法展示出了很強的抗干擾能力和跨數據集泛化能力,占據了優勢地位。PPG 連續生理特征感知技術及應用203.3.1應用前景PPG 連續生理特征感知技術及應用基于視頻的非接觸式生理指征感知技術在多個領域中具有廣闊的應用前景。攝像頭的普及性和可用性為這項技術的廣泛部署提供了基礎條件,尤其在車載和居家等特殊環境中,rPPG技術能夠提供感便捷的生理指征數據,而不會對用戶的工作造成干擾。具體來說:普適性:全球攝像頭出貨量已達7.2億臺,具備了極大的規模,顯示出巨大的應用潛力。多種生理指標的測量:相比依賴于穿戴設備的特定傳感器,rPPG技術通過軟件創新實現了生
37、理指征檢測的擴展性。特定場景中的應用潛力:在車載、居家等環境中,rPPG技術能夠提供無感、非接觸的生理數據,便于進行日常健康監測。遠程生理感知技術在監測心率變異性(HRV)、血壓、和血氧飽和度(SpO2)等關鍵生理指標方面同樣顯示出巨大的潛力。一些方法可以借助面部可見光成像和紅外熱成像中估計HRV參數提高了測量的精確性和實用性。在血壓監測方面,利用攝像頭獲取的遠程光電容積描記圖(rPPG)信號已被研究用于無創血壓監測,為高血壓患者提供了一種連續監測的新途徑。對于血氧飽和度,遠程生理感知技術同樣表現出前景。通過分析皮膚反射的光的變化來推測血紅蛋白的分量,可以無創地監測個體的SpO2??傮w來說,這
38、些技術的發展提高了醫療監測的便捷性和實時性,展示了其在未來關鍵領域的巨大潛力。3.3.2 技術挑戰rPPG技術隨著網絡、芯片、圖像技術等的發展相較過去已有長足的進步,但仍然有不少技術挑戰需要解決。如圖十三所示,rPPG技術面臨的技術挑戰,主要體現在:21開放環境中光學環境復雜多變。在開放環境中光線強度、方向和色溫等因素可能隨時發生變化,這些變化會對rPPG技術的信號提取造成干擾,影響生理參數的準確性和穩定性。因此,在不同光照條件下保持算法魯棒性是關鍵技術難題。PPG 連續生理特征感知技術及應用(圖注:開放場景具有變化光照、運動偽影等導致的技術挑戰以及不同膚色透射系數的技術挑戰)端側算力與隱私約
39、束感知效能。在移動設備和嵌入式系統的有限計算資源限制了復雜算法的運行,同時隱私保護要求對數據傳輸和存儲提出了嚴格的限制。因此,開發輕量級算法和高效的數據處理流程,同時確保隱私保護,是提升rPPG技術效能的重要方向。自主可控生理指征的感知平臺。在特定任務中,感知平臺必須具備高度的自主性和可控性,確保在關鍵時刻能夠獨立運行,并保證數據安全和服務可靠。研制基于國產化器件的rPPG感知平臺,是實現技術大規模應用的保障。Type IType IIType IIIType IVType VType VI不同的膚色-不同的反射透射不同的光照-不同的吸收強度ULTRA WARM WHITEWARM WHITE
40、2,500K-3,500K2,000K-2,500KCOOL WHITE5,100K-20,000KNATURAL WHITE3,600K-5,000K22PPG 信號的影響因素04PPG 連續生理特征感知技術及應用PPG信號通常使用血氧儀測量。血氧儀通過檢測脈搏帶來的微小交流信號來提取PPG信號。然而,這些交流信號通常僅僅為非脈搏的直流信號的1%3%。因此,PPG信號容易受到各種因素的影響。我們將分為生理因素和非生理因素分別闡述它們對PPG信號檢測的可能影響。4.1 影響 PPG 信號的生理因素4.1.1 運動及運動偽影血氧儀最早用于手術室中對麻醉患者的血氧檢測。但現在,血氧儀被越來越多地集
41、成在各式各樣的可穿戴式設備上,以方便人們可以在各種使用場景下測量PPG信號。然而,人體的各種有意識和無意識的運動會一定程度上干擾PPG信號的檢測。運動偽影是指在進行醫學信號檢測時,由于患者身體內部或者整體自主運動(如行走、身體晃動等)、不自主運動(如腸胃蠕動、吞咽、肌肉顫動等)或掃描設備與患者之間的相對運動(如運動時手環與手腕的間隙變化等)造成的信號失真現象。運動偽影對脈搏血氧儀的影響可能是顯著的。在血氧檢測方面,Petterson等人于2007年討論了運動偽影可能影響血氧檢測的兩種模型。第一種模型假設,由于運動引起的紅光和紅外信號之間路徑長度變化所產生的噪聲,會同等地疊加在紅光和紅外信號上。
42、因此,隨著噪聲的增加,R比值(血氧指標,為紅光交流直流比與紅外光交流直流比的比值)接近1,對應于恒定的SpO2讀數,通常約為85%。進而血氧儀輸出恒定血氧值,有較大檢測誤差。第二種模型假設低氧血液在靜脈中晃動,導致靜脈血局部擾動,增加了PPG信號的交流分量,使設備無法區分動脈和靜脈脈動,從而影響了R比值的計算。234.1.2 精神狀態研究表明,心理壓力會增加PPG信號的脈搏變異性。一般來說,心理壓力的特征可大致分為狀態特征和特質特征。其中狀態特征通常表現在行為上,可以通過各種心理測量量表進行評估,如DASS、壓力指數等。而特質特征則表現在各種生理信號中,例如腦電圖、呼吸、心電圖、皮膚電活動、血
43、壓、肌電圖和光電容積描記(PPG)。這些信號與自動神經系統的活動有關,自動神經系統的活動是由心理壓力觸發的,通常被稱為“戰斗或逃跑”反應。自動神經系統進一步分為兩個分支,即交感神經系統和副交感神經系統。交感神經系統的激活與心率的增加有關,而副交感神經系統的激活與心率的減少有關。自動神經系統的兩個分支之間的變化可通過心率變異性(HRV)進行評估。因此,由于PPG信號的脈搏率變異性(PRV)與HRV高度相關,心理壓力會對PPG信號產生影響。由于心理壓力和PPG的脈搏變異性有直接關聯,目前有許多研究已經嘗試使用PPG信號進行心理壓力檢測和分類。傳統的心理壓力檢測通常使用由ECG導出的心率變異性(HR
44、V)。然而,為了追求普適性、實時性和非侵入性,從而使被測者能夠不受任何不便地進行檢測,基于PPG的檢測算法已成為更主流的研究課題。4.1.3 體溫上述的路徑長度變化模型,可以用傳感器相對皮膚的相對運動和接觸力,以及傳感器的重量來解釋。同時,由于傳感器會受到靜脈脈搏的影響,傳感器的放置位置也會影響檢測的信噪比。造成運動偽影的因素包括:傳感器重量、傳感器相對于皮膚的相對運動、在運動過程中傳感器與皮膚之間形成的空氣間隙、傳感器與皮膚之間的接觸力變化,以及傳感器在身體的位置。這些因素產生的運動偽影將影響PPG信號測量的偏差、方差以及信噪比。PPG 連續生理特征感知技術及應用PPG測量精度的重要的限制因
45、素是溫度,這一點經常被忽視。過往研究認為,局部皮膚和室溫條件對脈搏血氧儀中PPG質量的有影響,會嚴重影響基于PPG信號的信息提取精度。例如,在進行SpO2測定時,低溫條件顯著降低PPG信號質量和所測得的SpO2估計值的準確性。溫24暖的溫度條件顯著提高了PPG信號的質量。提高幅度高達4倍,并提高了SpO2的估計精度。因而,需要保持溫暖的溫度條件才能進行可靠的PPG采樣。在使用指夾式血氧儀測量時,冰冷的手指可能會提供不準確的脈搏血氧計讀數。不過,像摩擦雙手這樣的簡單解決方案可能會解決這個問題。然而,手指自然非常冷的人或室溫保持在20C的重癥監護病房的患者都可能受到這一問題的影響。此外,皮膚表面溫
46、度變化對血壓、心率、心搏出量和總外周血阻力(TPR)等心血管特征有影響。因此,必然會影響到同樣反應心血管和脈搏特征的PPG信號。PPG 連續生理特征感知技術及應用4.1.4 腕部肌肉狀態PPG信號在腕部受到肌肉狀態的影響是一個重要但較少研究的領域。肌肉活動引起的微小運動可以導致所謂的組織運動偽影,這種現象在手腕PPG可穿戴設備中尤為突出。這些微運動改變了PPG傳感器與皮膚組織之間的接觸力和耦合,進而改變了反射光的光路,從而掩蓋了真實的心率信號。盡管運動偽影通常通過加速度計檢測,但組織運動偽影并不總是被加速度計所捕捉到,這增加了準確估計心率的挑戰性。因此,在開發和使用手腕PPG設備時,需要認真考
47、慮肌肉狀態對信號的潛在影響。未來的研究可以進一步探索如何減少或校正這種運動偽影,以提高PPG技術在運動監測和健康診斷中的精確性和可靠性。4.1.5 隨時間的自身變化PPG信號隨時間的自身變化規律主要體現在心臟周期和外部因素的綜合影響上。心臟周期中的每一次收縮和舒張都會引起動脈血液容量的變化,從而在PPG信號中表現為周期性的波動。這些波動的頻率和幅度可以反映心率和血流動力學狀態。此外,PPG信號還會受到呼吸、血壓變化、體溫以及情緒波動等外部因素的影響。這些外部因素會引起PPG信號的短期和長期變化。例如,呼吸會引起信號中小幅度的周期性變化,而血壓的變化可能會導致信號幅度的顯著波動。254.2 影響
48、 PPG 信號的外部因素4.2.1 接觸壓力隨著時間的推移,PPG信號還可能受到傳感器位置移動、皮膚接觸狀態變化以及環境光干擾等因素的影響,從而導致信號質量的不穩定。因此,理解和分析PPG信號的時間變化規律,對于準確解讀生理參數和提高監測設備的可靠性具有重要意義。PPG 連續生理特征感知技術及應用4.1.6 皮膚特性膚色對PPG信號會產生一定影響,主要體現在光的吸收和散射特性上。不同膚色的個體對特定波長的光的吸收能力不同,較深的皮膚吸收綠光和紅光更多,而較淺的皮膚則吸收較少,直接影響了PPG信號的強度和清晰度。此外,皮膚色澤不同還會導致光在皮膚組織中的散射路徑差異,使得從血管反射回來的光信號更
49、加復雜和多樣化。深色皮膚通常會引入更多的環境光干擾或背景噪音,增加了信號的噪音水平,從而使得PPG信號的分析和解讀更加復雜和挑戰性。因此,當使用PPG技術進行生理監測或醫療診斷時,需要充分考慮和校正不同膚色對信號的影響,以確保數據的準確性和可靠性。研究表明,特別是在體育活動中,皮膚黑色素較高的個體可能會影響可穿戴設備測量的準確性,原因是膚色深可能導致PPG傳感器發射的光被吸收較多。同時,肥胖體質可能對信號也有影響,皮膚較厚可能導致PPG傳感器發射的光線難以抵達血管。為了優化PPG技術在不同人群中的應用,未來的研究可能需要進一步考慮膚色和其他個體特征的綜合影響,以提高其在生理監測和醫療領域的精確
50、度和適用性。PPG信號的質量在很大程度上受傳感器與皮膚之間接觸壓力的影響,這在身體活動和自由生活條件下尤為明顯。26接觸壓力不僅影響傳感器與測量部位之間的相對運動,特別是在身體活動期間,還會改變動脈的幾何形狀,導致壓縮變形。此外,傳感器與皮膚之間的接觸壓力會改變皮下灌注,最終阻礙微循環血液流動。這些變化會導致PPG波形峰值的失真,并可能引發心率計算的錯誤,限制了基于PPG的設備在生理監測中的實際應用。理論上,在跨膜壓力條件下,可以獲得振幅最高的最佳PPG信號,但不足或過量的接觸壓力會導致信號振幅低、信噪比差以及波形失真。過往研究還表明,接觸壓力對SpO2也有影響,隨著接觸壓力的增加,SpO2會
51、降低。然而,由于受試者在年齡、性別和動脈硬度等方面存在廣泛變異性,評估合適的接觸力范圍仍然具有挑戰性。因此,為了確保PPG傳感器在各種條件下的精度,需要仔細調節和優化傳感器與皮膚之間的接觸壓力。PPG 連續生理特征感知技術及應用4.2.2 佩戴位置PPG信號的質量和準確性在很大程度上受到血氧儀佩戴位置的影響。不同部位的皮膚厚度、血流量和組織結構各異,這些因素都會對PPG信號產生顯著影響。例如,手指和耳垂由于血流豐富且皮膚較薄,通常能夠提供更強的信號和更高的信噪比。而手腕和前額等部位,由于皮下組織較厚,血流量相對較少,可能會導致信號較弱,噪音較大。此外,佩戴位置的穩定性也至關重要,手指和耳垂相對
52、較少受到運動偽影的影響,而手腕在活動中易產生移動,導致信號失真。因此,為了獲得最準確的PPG信號,選擇適當的佩戴位置至關重要,應優先選擇那些血流豐富且穩定的部位,如手指或耳垂。需要說明的是,最佳的血氧儀佩戴位置隨需要解決的問題而不同。在血氧測量問題中,不同身體部位測得的PPG信號在呼吸頻率的準確性上存在顯著差異。在正常呼吸條件下,手臂、前額和腕下方的PPG信號偏差較小,信號質量較高,而其他部位則偏差較大。尤其是前額部位測得的PPG衍生呼吸頻率與參考呼吸頻率之間的線性關系最強,其次是耳垂、手指、手臂和手腕。在深呼吸條件下,除前額外,所有測量部位的呼吸頻率偏差均不顯著,手指位置的呼吸頻率偏差最小且
53、一致性最好。因此,對于正常呼吸模式,前額是最佳測量部位,而在深呼吸模式下,手指是最佳選擇。這些發現表明,優化血氧。274.2.3 環境光照PPG 連續生理特征感知技術及應用PPG在實際應用中受到環境光照的顯著影響,這是一個重要的技術挑戰。環境光照的變化直接影響PPG傳感器接收到的光信號質量和穩定性。特別是在戶外或光線強烈的環境中,來自太陽光或人工光源的強烈光線可以混淆或干擾傳感器接收的皮膚反射信號。根據Shafer的二色反射模型,PPG信號由與照射光照強度成正比的心率相關部分和環境噪聲組成。環境光照增加會導致背景噪音的增加,這些噪音可能掩蓋或混淆真實的脈搏信號,影響心率和其他生理參數的準確測量
54、。此外,環境光照的頻繁變化還可能引起傳感器信號的漂移,使得信號分析和數據解釋變得更加復雜。遠程光電容積脈搏波(rPPG)信號的采集受環境光影響更大。環境光照的變化不僅會影響背景噪聲的強度,還會使得照射光照強度隨時間不規則變化,進而引起PPG信號產生不規則形變和漂移。為了克服環境光照對PPG技術的負面影響,研究人員不斷努力改進傳感器設計和信號處理算法,以提高其抗干擾能力和環境適應性。這些努力包括優化傳感器的靈敏度和動態范圍,采用濾波技術來減少背景噪音,以及開發智能算法來自動校正或補償環境光的影響。綜上所述,理解和管理環境光照對PPG信號的影響至關重要,這將直接影響到PPG技術在健康監測、運動科學
55、和醫療診斷等領域的應用可靠性和精確性。28影響 rPPG 信號的因素05PPG 連續生理特征感知技術及應用遠程光電容積描記術(rPPG)在實際應用中面臨著一些挑戰,較為突出的是如何從復雜的視頻信號中高精度地分離和提取這些極為微弱的生理信號。此過程極易受到外界多種因素的干擾,包括但不限于環境光照條件的波動、被測者膚色和皮膚類型的變化、面部表情或肢體運動引起的遮擋與形變,以及相機自身參數設置的差異等。以下重點介紹不同因素的影響及可能產生的結果。5.1 環境光照條件 光照強度過強或過弱的環境光照都可能影響rPPG信號的質量。強光可能導致傳感器飽和,弱光則可能導致信號噪聲增加。光源類型不同類型的光源(
56、自然光、白熾燈、熒光燈等)具有不同的光譜分布,可能影響rPPG信號的波形和幅度。光線變化環境光線的快速變化可能引入噪聲和偽影。5.2 皮膚特性 膚色不同膚色對光的吸收和反射特性不同,可能影響rPPG信號的強度和質量。較深的膚色通常吸收更多的光,這會導致信號幅度減小。295.3 測量距離和角度 距離測量設備與皮膚之間的距離過大可能導致信號減弱和噪聲增加。適當的距離可以優化信號采集。角度光源和傳感器的入射角和反射角不合適可能影響信號的檢測,導致信號質量下降。5.4 人體運動 微小運動即使是微小的面部運動如眨眼、面部表情變化也可能引入偽影,影響rPPG信號的穩定性。大幅運動頭部轉動、身體移動等大幅運
57、動會顯著影響信號質量,甚至導致信號丟失。5.5 生理因素5.6 相機和傳感器特性 血流動力學變化個體的血壓、心率變異性和外周血管的狀態等都會影響rPPG信號的特征。呼吸呼吸引起的皮膚微小位移和血流變化可能引入低頻噪聲,影響信號質量。皮膚狀態皮膚的油脂、汗水和化妝品等可能影響光的反射和吸收,從而影響信號質量。PPG 連續生理特征感知技術及應用30 動態范圍相機的動態范圍越大,越能有效捕捉不同光照條件下的信號,減少飽和和欠曝光現象。相機的分辨率和幀率直接影響rPPG信號的采集質量。較高的分辨率和幀率可以提供更多的細節和更高的時間分辨率。5.7 圖像處理算法 去噪算法有效的去噪算法可以減少環境噪聲和
58、傳感器噪聲,提高信號質量。信號提取算法不同的信號提取和處理算法對rPPG信號的敏感度和準確性不同。優化的算法可以提高心率和其他生理參數的測量精度。5.8 設備硬件 光源穩定性光源的穩定性影響信號的一致性。閃爍或不穩定的光源會引入噪聲和偽影。傳感器質量高質量的傳感器可以提高信號采集的精度和可靠性。5.9 外界干擾 電磁干擾周圍電子設備的電磁輻射可能干擾rPPG信號,導致信號質量下降。振動和沖擊設備受到的振動和沖擊可能引入額外的噪聲和偽影。分辨率和幀率PPG 連續生理特征感知技術及應用31PPG(rPPG)信號在疾病診斷場景的應用及挑戰06PPG 連續生理特征感知技術及應用6.1 社會價值目前,我
59、國心血管疾病患者已突破3.3億,每年因心血管疾病死亡的人數在總死亡人數的比例超過40%,在各類疾病的患者死亡人數中排第一位。心血管疾病對國民生命健康造成了極大的影響,因此,為了降低心血管疾病對人民的生命健康的威脅,加強對心血管疾病的預防,爭取對心血管疾病早診斷、早治療,是我國公共衛生政策的一項重要內容。對心血管疾病的診斷主要依靠監測血流動力學的各類指標,臨床上常見的檢測方式分為侵入式和非侵入式。侵入式檢測包括動脈導管置管、冠脈造影等,這樣的檢測方法具有快速、直接、干擾小的優點,更適合于嚴重冠脈狹窄、心肌梗死、心力衰竭、休克等危重患者,對設備要求高,同時存在疼痛、感染風險。非侵入式檢測包括超聲心
60、動圖、柯氏音血壓測量法、生物電阻抗血流動力測定等,這類檢測方法無創、簡單、成本較低,臨床工作中十分常見,但準確性較低,容易被其他疾病影響檢測結果,其結果的判定也需要相對專業的知識。兩類檢測方法各有利弊,它們的弊端又各自限制了它們走進尋常百姓家的路途,因此一種能結合二者優點的便捷的監測方式對加強心血管疾病監測、診斷是相當必要的。6.2 應用進展及實踐近二十年來,有關PPG信號的研究越發深入,有關PPG信號與生理信號的關聯也經過了相當嚴密的驗證,PPG信號與心率、心律、血壓、血容量的關聯已經得到了證實,輔助心血管系統疾病診斷也有了一些證據。32 心率PPG測量心率的原理相對簡單,但是受到采集部位、
61、身體運動、噪聲等干擾較大。在算法考慮去除運動偽影、使用綠光減少噪聲帶來的影響后,PPG信號計算的心率和臨床測量值的平均誤差僅有2.4次/分鐘。同時,一些臨床試驗已經證明了PPG和心電圖(ECG)的測量值在低頻情況下相差較小,高頻情況下差距相對較大,但總體存在較強正相關性。心律一項基于PPG檢測心律失常的模型發現,PPG信號脈沖峰值間隔以及血氧飽和度信號特征可以用于獲取脈搏變異性,進一步獲取心律的變化,用于判斷患者是否需要住院治療。另外一些研究顯示,基于PPG信號的算法對房顫診斷準確率超過90%,與ECG同時進行時,對房顫的診斷準確率更高。PPG的應用可以與24hECG等互補,降低房顫等心律異常
62、患者的漏診、誤診。輔助診斷心血管疾病在一些研究中,研究者針對低血壓、缺血性卒中、急性心肌梗死、睡眠呼吸暫停綜合征等疾病的患者采集PPG信號,并與ECG信號進行對比,發現PPG信號在心跳、呼吸異常的時間點同時產生異常的比例相當高,對異常信號的敏感度高,說明PPG同樣具有監測疾病發生的能力。PPG 連續生理特征感知技術及應用6.3 挑戰及展望由于操作水平、運動狀態、采集部位等對PPG信號的質量影響較大,PPG想廣泛應用于日常生活還要走很長一段路。此外,PPG信號與ECG信號之間的關聯還需要更科學的解釋,也需要更多臨床證據從原理和結果上共同證明PPG的可靠程度。相比于ECG等臨床常用的檢測手段,PP
63、G信號僅需移動設備就可以獲取,檢測簡單獲取容易,是一種更貼近日常生活的監測方式,也擁有更廣闊的應用空間。PPG應用于心血管疾病的監測,將縮短普通人識別急性心臟疾病的時間,為急性發作患者爭取寶貴的治療時間,也可以更早分辨出潛在的心血管疾病患者,減少此類疾病對我們健康的威脅。33PPG(rPPG)信號在生物識別場景的應用及挑戰 07PPG 連續生理特征感知技術及應用7.1 應用潛力近年來,隨著人工智能技術的持續進步,各個領域對其優勢和挑戰的關注日益增加。身份認證是一個特別關鍵的領域。身份認證的目的是通過私人信息驗證用戶身份,授予對系統的訪問權限,并確保用戶信息的保護。傳統的身份識別方法主要依賴密碼
64、。然而,隨著技術的發展,生物識別技術逐漸取代了傳統密碼,成為當代身份識別中的主要方法之一。目前,指紋識別和面部識別是最廣泛采用的生物識別方式,它們之所以廣受歡迎,是因為具有極高的識別準確度和無需記憶的便捷性。然而,隨著技術的進步,傳統的面部識別和指紋識別變得容易受到未經授權的使用。因此,探索可用于身份驗證的其他生理信號變得至關重要。光電容積脈搏波信號(PPG)是一種簡單且易于獲取的生理信號,在醫學中廣泛用于測量心率和血氧飽和度。它通?;谡彰?,通過測量人體組織對光的反射和吸收來獲取各種生理數據。由于肌肉、骨骼、血管和其他連接組織對光吸收率的影響,PPG信號的波形呈現個體差異,因此具有身份驗證的
65、潛力。34先前的研究已經證明了PPG信號在認證任務中的幾個優點:容易獲取PPG信號可以通過攝像頭或傳感器從人體的各個部位非侵入式地收集,常見的采集位置包括耳垂、面部、指尖和手腕。此外,PPG傳感器廣泛集成到各種可穿戴設備中,使PPG信號高度可獲取。難以偽造與面部識別和指紋技術相比,PPG信號不太直觀。潛在的冒名頂替者可以容易地獲得面部特征和指紋,而PPG信號微弱且不易察覺,因此更能抵抗偽造。(表注:PPG生物識別與其他類型生物識別的對比)生物特征優勢缺陷ECG普遍性/隱蔽性好/易獲取接觸式采集/時刻變化腦電信號普遍性/隱蔽性好設備昂貴/易受噪聲干擾/時刻變化面部易測量/設備廉價易模仿/受光線和
66、能見度影響指紋高性能/不易變化接觸式采集 步態易于采集/設備廉價性能較差/時刻變化虹膜高性能設備昂貴掌紋易采集/不易變化接觸式采集 PPG易采集/高隱蔽性/設備廉價性能較差/時刻變化聲紋設備廉價性能較差表1心電信號(Electrocardiograph,ECG)和光學體積描記術(Photoplethysmograph,PPG)與其他生物特征識別的比較PPG 連續生理特征感知技術及應用35如今,人們身邊的可穿戴設備愈加多樣。智能手機、手環、手表、耳機、指環等相繼出現。這為基于生理信號的身份認證提供了發展的土壤,讓多設備間相互認證的身份驗證任務變得可行且有價值。同時,多設備的使用,也提高了用戶對信
67、息安全和私人化的要求,增加了對探索新型的更難被盜用的身份驗證方法的需求。此外,許多新興的可穿戴式設備難以支持傳統的身份驗證方式,反而更支持只需要小型傳感器就能工作的生理信號身份驗證。7.2 社會價值光電容積描記法(PPG)信號在身份識別上的社會價值巨大。在當今信息高度發達的社會中,身份認證變得越來越重要,尤其是在物聯網(IoT)和智能家居時代,身份識別的安全性直接關系到個人財務安全和生命安全。PPG信號作為一種非侵入性且成本低廉的生物識別技術,能夠提供高效、安全的身份驗證手段。首先,PPG信號難以被盜取或復制,這為防止身份冒充和信息泄露提供了天然的保障。由于每個人的血液動力學和心血管系統具有獨
68、特性,PPG信號能夠準確地反映個人的生理特征,從而實現高精度的身份識別。其次,PPG具備內在的防偽和活體檢測功能,能夠有效防止偽造和冒充行為,提高了身份識別的可靠性。這一特性在金融、醫療和國防等高安全性領域尤為重要。此外,PPG信號采集僅需簡單的LED和光電二極管設備,成本低廉,操作簡便,適用于各種場景,尤其是對資源有限的環境具有重要意義。在智能家居中,PPG信號可以用于訪問控制、設備解鎖等,提升家庭安全性和用戶體驗。在物聯網設備中,PPG信號可以用于設備間的身份驗證,確保設備之間的通信安全。在醫療領域,PPG信號的應用更是為患者提供了方便、無創的身份驗證方式,減少了對傳統生物識別手段如EEG
69、、ECG等依賴,提升了醫療服務的效率和患者體驗。例如,在醫院中,PPG 生命體征由于PPG信號基于心跳的周期性,只有活體個體才能產生PPG信號,從而增加了欺詐使用的難度。PPG 連續生理特征感知技術及應用36信號可以用于患者身份確認,確保醫療記錄的準確性和隱私性。同時,PPG信號還可以用于遠程醫療,通過便攜設備采集患者的生理數據,實現遠程診斷和監測,降低醫療成本,提升醫療資源的利用率。PPG信號在身份識別上的應用不僅提升了安全性和可靠性,還具有顯著的經濟效益和社會價值。它為構建更加安全、便捷的現代社會提供了堅實的技術支撐。隨著技術的不斷進步和應用的拓展,PPG信號在身份識別領域的價值將進一步得
70、到體現,為社會的安全和發展做出更大的貢獻。PPG 連續生理特征感知技術及應用7.3 應用進展及實踐由于PPG信號身份識別的準確性尚無法保證,PPG信號在身份識別的工作仍處于研究階段。早期研究主要集中于利用手指數據進行PPG身份識別,采用了模糊邏輯和線性判別分析(LDA)等分類方法,顯著提高了準確性。此外,研究人員還利用手工設計的特征進行預測學習,提取了多達40個特征,并與k最近鄰(k-NN)分類器結合使用,取得了良好的效果。近期的研究探索了結合聚類技術和深度學習方法的兩階段方法。通過利用手工特征進行聚類,然后應用受限玻爾茲曼機和深度置信網絡,研究人員分析了在流動環境中使用綠光從手腕獲得的PPG
71、信號,顯示出未來無需特征提取、完全依賴神經網絡進行識別的潛力。此外,研究人員還通過提取PPG信號的固有屬性,如峰值數量、峰值間隔及上升和下降斜率等,提高了用戶驗證的準確性。隨著深度學習領域的發展,進一步結合深度學習模型如卷積神經網絡(CNN)和長短期記憶網絡(LSTM)進行特征提取和識別的方法,為解決PPG信號在有運動偽影環境下的準確性和穩定性提供了新的解決方案。在最近的文獻中,越來越多的研究重點放在深度學習模型中提取特征的研究,使用深度神經網絡以端到端的方式直接從原始信號中提取特征信息。這些努力極大促進了基于PPG的身份驗證領域的發展。377.4 在某廠商上的應用案例PPG 連續生理特征感知
72、技術及應用目前市面上大部分的智能手表或手環都具備PPG傳感器及imu傳感器,能實時捕捉到佩戴者的ppg信號以及imu數據。選用其中一款智能手表作為本方案的應用案例,驗證PPG信號在做身份識別上準確性和穩定性。7.4.1設備選型及測試數據我們選用智能手表或手環中常見的100hz采樣頻率的ppg信號,光源采用紅光、紅外(IR)及綠光三種不同感應光,并同步獲取imu運動數據作為運動狀態的輔助檢測手段。在30個受試者上采集真實測試數據,采集模式如下:(表注:上述真實測試數據來自的受試者是訓練數據中沒有包含的人員ID)狀態半靜態另一只手可玩手機或進行小幅動作動態軀干狀態手部狀態采集時長數量坐手臂水平表朝
73、上(調用其他認證方式Pass真真真假假歷史識別結果緩存清空摘下手表終止采集連續5次結果為假持續采集歷史比對分【67、78、88、24、77】其他因子:可信設備的可信鏈接IMU+HR是是比對分向量存入大于模版更新閾值盡量不相似的模版刷新心跳識別緩存FRR戴上手表檢查狀態是否符合要求更新比對閾值更新模版采集7s高頻信號、與多個模版比對比對分向量加權和與比對閾值比較檢查PPG信號質量是否符合要求真假階段39FAR FalseAcceptRateA的錯誤接受率=預測為A數據個數/非A的所有數據個數(BZZ)FAR=平均值(A的錯誤接受率、B的錯誤接受率、C的錯誤接受率.)=FPR false posi
74、tive rate1-FAR=TNR true negative rate FRR FalseRejectRateA的錯誤拒絕率=預測為非A數據個數/A的所有數據個數(A1A44)FRR=平均值(A的錯誤拒絕率、B的錯誤拒絕率、C的錯誤拒絕率.)1-FRR=TPR(true positive rate)動態可用率和靜態可用率動態可用率=運動數據中通過質量打分的slice個數/所有人運動的slice總個數靜態可用率=靜坐數據中通過質量打分的slice個數/所有人靜坐的slice總個數7.4.3測試指標Imu運動檢測數據集預測適合比對/靜坐30人99.47%運動數據適合比對的比例0.83%ppg質
75、量檢測30人89.80%1.78%Imu運動檢測數據集FAR30人(10模板)0.233%FRR7.053%(表注:目前far達到0.24%以內的時候,frr約7%)7.4.4 實戰總結在真實受試者上利用已有的傳感器及配置來實現方案原型,并達到了FAR-0.3%以下,FRR-7%,可以看出ppg信號除了做健康監測外,還可以完成更多比如智能核身這樣的識別任務,并可以通過手表或者手環上的其他可用傳感器進一步提高整體方案的可用性。我們在這樣的openset測試集通過以下幾個緯度來測量準確性和穩定性:PPG 連續生理特征感知技術及應用407.5 挑戰及展望光電容積描記(PPG)信號在身份識別中的應用也
76、面臨著嚴峻的挑戰。其中較為重要的兩個技術難題是消除PPG信號中運動偽影和PPG時變特性帶來的影響?;赑PG的生物識別技術的過往研究所使用的數據,大多為醫療中心提供的醫療數據,屬于靜態環境中的臨床信息。由于在數據采集時,病人無法正常運動,因此這些醫療數據中采集的PPG信號信噪比高,運動偽影不明顯。但在日常生活中,特別是部署在可穿戴設備上的身份驗證模塊所采集的PPG信號,由于測量設備隨身體運動的晃動,受到運動偽影的影響較大。目前,雖然已經有研究開始使用運動過程中采集的PPG信號進行研究,但方法的準確性和穩定性尚難以保證,并且這些數據也受制于實驗室的采集環境,與實際使用有一定差距。PPG信號由于會
77、受到運動狀態、情緒、佩戴位置、接觸壓力等因素的影響,本身就存在一定的不穩定性。由于被采集者每時每刻的身體狀況不同,運動狀態不同,同一被測者的PPG信號在不同時間也有一定差異。這對PPG信號跨時段的驗證準確性造成了巨大挑戰。其實,不僅是PPG信號,基于各種時序性信號的身份驗證問題都面臨著跨時段準確性大幅度下降的問題。針對這一問題,研究者提出了許多解決方案,但目前還有沒有很好的解決。展望未來,PPG信號的身份驗證技術將迎來更廣泛的應用和顯著的進步。隨著深度學習模型如卷積神經網絡(CNN)和長短期記憶網絡(LSTM)的不斷發展,PPG信號的特征提取和識別將變得更加高效和準確。這些先進的算法能夠在更復
78、雜和動態的環境中運行,有效減少運動偽影的影響,從而提高實際應用中的穩定性和可靠性。此外,PPG信號的非侵入性和便捷性使其在可穿戴設備和移動設備上的應用前景廣闊。通過集成到智能手表、健身追蹤器等設備中,PPG信號身份驗證可以為用戶提供連續、實時的安全驗證功能。這不僅提升了用戶體驗,還為移動支付、醫療健康監控等領域提供了新的安全解決方案。未來的研究將進一步優化PPG信號處理算法,開發更加智能和自適應的模型,以應對不同用戶群體和使用場景的需求。隨著技術的不斷進步和應用范圍的擴展,基于PPG信號的身份驗證有望成為下一代生物識別技術的重要組成部分,為各行各業提供更加安全和便捷的身份驗證手段。PPG 連續
79、生理特征感知技術及應用41PPG(rPPG)信號在疲勞檢測場景的應用及挑戰08PPG 連續生理特征感知技術及應用8.1 檢測原理在疲勞檢測場景中,rPPG(無接觸光學心率測量)信號被用來反映人體的疲勞程度,其原理主要基于以下幾點:8.2 社會價值及時檢測和預警駕駛員或操作員的疲勞狀態有助于減少交通事故和工作場所事故的發生,從而提升整體安全性。管理和監控工作人員的疲勞狀態,可以優化工作安排和休息時間,提高生產效率和服務質量。此外,對于長時間從事需要高度注意力的工作人群,如司機、護士等,有效管理疲勞有助于保護他們的身體和心理健康。8.3 應用進展及實踐由于當前技術限制,將rPPG技術投入疲勞監測場
80、景應用的案例并不多,主要集中在日常生活壓力檢測方面,不過,鑒于rPPG信號采集十分便捷,其在車輛安全、工業生產,健康管理等方面具有巨大的發展潛力。疲勞狀態會顯著影響心率的穩定性和頻率,具體而言,疲勞時,心率通常會表現出不規律性或增加的趨勢。通過分析rPPG信號中的心率變化模式,可以推斷出駕駛員或操作員的疲勞程度。rPPG信號不僅反映心率變化,還間接反映出其他生理響應,如血流量的變化和心率的變異性(HRV)。這些參數對于評估疲勞狀態具有重要意義,因為疲勞會影響自主神經系統的調節,導致HRV的變化。心率變化與疲勞關系生理響應的反映428.4 挑戰及展望PPG 連續生理特征感知技術及應用盡管rPPG
81、技術展現出廣泛的應用潛力,其發展路徑上仍橫亙著幾大挑戰。首要挑戰在于環境因素的干擾,如光線變化、面部運動或遮擋物,這些都可能影響信號的準確性和穩定性。其次,個體差異,包括膚色、年齡、皮膚條件等,對信號質量的影響也是研究中亟需克服的問題。再者,算法的復雜性和計算效率之間的平衡,如何在保證高精度的同時實現低功耗、實時處理,是技術落地的關鍵。最后,隱私保護問題也不容忽視,特別是在公共場所應用時,如何確保采集到的生物特征信息不被濫用,是rPPG技術推廣的重要前提。展望未來,rPPG技術的前景充滿無限可能。隨著深度學習、計算機視覺技術的持續進步,以及新型傳感器技術的開發,rPPG的精度和魯棒性有望大幅提
82、升,使其能在更多復雜場景下穩定工作??鐚W科研究,比如結合生理心理學,將深化我們對人體生理信號的理解,開拓更多基于生理反應的情緒識別、壓力管理等應用場景。同時,加強數據加密、匿名化處理等隱私保護措施,建立嚴格的數據使用規范,將是推動rPPG技術普及與信任度提升的關鍵??傊?,rPPG技術正逐步成為連接人體生理信息與數字世界的橋梁,其深入發展和廣泛應用,將深刻改變我們監測、理解和改善人類健康的模式。439.1 識別原理PPG(rPPG)信號在情緒識別場景的應用及挑戰09PPG 連續生理特征感知技術及應用通過rPPG信號實現情緒識別主要基于情緒對自主神經系統(ANS)的影響。自主神經系統包括交感神經系
83、統和副交感神經系統,它們共同調節心率、呼吸、血壓等生理參數。當個體經歷不同的情緒狀態時,ANS的活動水平會發生變化,從而導致心率和血液循環的變化。rPPG信號可以捕捉這些變化,進而推斷情緒狀態。光反射特性與血液含氧量除了心率,rPPG信號還可以反映血液中的含氧量變化。不同情緒狀態可能導致呼吸模式的變化,從而影響血液含氧量。通過分析rPPG信號中的光反射特性變化,可以進一步豐富情緒識別的特征集。血液體積變化與心率心率變異性(HRV)與情緒心率變異性(HRV)是心跳間隔時間的變異性,是衡量自主神經系統活動的重要指標。不同情緒狀態下,HRV的特征表現不同。一般來說,放松狀態下的HRV較高,而壓力或緊
84、張狀態下的HRV較低。通過分析rPPG信號中的HRV特征,可以推斷個體的情緒狀態。rPPG通過攝像頭捕捉面部皮膚的細微色彩變化,這些變化由心臟泵血導致的血液體積變化所引起。血液體積的周期性變化會影響皮膚的光反射特性,從而在攝像頭采集到的視頻信號中表現為周期性的光強度波動。通過特定的信號處理算法,這些波動可以被提取并轉換為心率信號。44改善用戶體驗在智能家居、智能手機、車載系統等領域,rPPG情緒識別技術可以根據用戶的情緒狀態自動調整系統設置,提升用戶體驗。以車載系統為例,當系統識別到駕駛員處于憤怒、急躁等具有攻擊性的負面情緒中時,可以提前提醒并安撫情緒,避免“路怒癥”爆發,大大提升交通安全。提
85、高人機交互的自然性和情感性情緒識別技術可以使人機交互更加自然和情感化。通過實時了解用戶的情緒狀態,系統可以做出更加人性化的反應,從而提高交互體驗。目前的人工智能多停留在回答問題層面,能提供的情緒價值微乎其微,如若人工智能具備了識別用戶情緒的能力,它們將不再是無情的問答機器,而是能夠分享快樂,分擔痛苦的虛擬伙伴。這有望為抑郁癥、孤獨癥等心理疾病帶來新的治療方式。9.2 社會價值PPG 連續生理特征感知技術及應用心理健康問題已成為全球性公共衛生挑戰,但傳統的心理健康監測方法往往依賴于問卷調查和自我報告,這些方法存在主觀性強、覆蓋面有限等問題。rPPG技術可以通過攝像頭實時監測個體的情緒狀態,無需特
86、定設備或專業場所,極大地提高了心理健康監測的可及性。9.2.2 人機交互的智能化提升通過持續監測個體的情緒狀態,rPPG技術可以幫助及早發現情緒異常狀況,并提供及時的心理干預,預防心理疾病的發生和發展。提高心理健康監測的可及性早期發現和預防心理疾病9.2.1 心理健康監測與干預459.2.3 教育領域的個性化教學PPG 連續生理特征感知技術及應用實時情緒反饋,優化教學過程在教育領域,rPPG情緒識別技術可以實時監測學生的情緒狀態,給予教師和教育系統實時反饋。通過了解學生在學習過程中的情緒變化,教師可以調整教學方法和節奏,提供更個性化的教學服務,提升學習效果。遠程教育中的應用在遠程教育中,教師難
87、以通過傳統方式了解學生的學習狀態和情緒變化。rPPG情緒識別技術可以填補這一空白,幫助教師在遠程教育中更好地了解學生的情緒狀態,提供針對性的指導和支持。9.2.4 市場營銷與用戶研究精準營銷與用戶反饋在市場營銷中,了解消費者對產品或廣告的情緒反應對于制定有效的營銷策略至關重要。rPPG情緒識別技術可以實時捕捉消費者在觀看廣告或體驗產品時的情緒變化,提供更精準的用戶反饋和市場分析。用戶體驗優化rPPG技術可以幫助企業在產品開發和服務設計中更好地了解用戶的情緒反應,進行針對性的優化,從而提升用戶體驗和滿意度。9.2.5 社會治理與公共安全公共場所的情緒監測在公共場所,rPPG技術可以用于情緒監測,
88、幫助及時發現和應對突發事件。心理健康公共服務政府和公共服務機構可以利用rPPG技術提供廣泛的心理健康服務,通過情緒監測和分析,識別需要心理干預的群體,提供及時的支持和服務,促進社會整體的心理健康水平提升。469.3 應用進展及實踐PPG 連續生理特征感知技術及應用目前由于技術限制,rPPG在情緒識別方面的實際應用較少,大部分仍處于試驗階段。預計隨著技術發展,未來將會有大批相關產品面世。9.4 挑戰及展望9.4.1 挑戰信號噪聲干擾rPPG信號容易受到外界環境的干擾,如光線變化、面部表情變化、頭部運動等。這些因素會引入噪聲,影響信號的準確提取和分析。個體差異不同個體的皮膚顏色、血管分布、面部結構
89、等存在差異,這些差異會影響rPPG信號的采集和分析。這使得統一的情緒識別模型難以適應所有個體。環境光影響環境光變化會顯著影響rPPG信號的質量,尤其是在自然光線條件下,光線的強度和角度變化會對信號造成干擾。情緒識別的準確性和魯棒性情緒狀態的復雜性和多樣性,以及情緒反應的個體差異,使得情緒識別的準確性和魯棒性成為一大挑戰。盡管rPPG技術在情緒識別中展現出巨大潛力,但其實際應用仍面臨多種挑戰。主要包括信號噪聲干擾、個體差異、環境光影響、情緒識別的準確性和魯棒性、隱私和數據安全等方面。479.4.2 展望盡管面臨諸多挑戰,rPPG情緒識別技術的發展前景依然廣闊。通過以下幾個方面的努力,rPPG技術
90、有望實現更廣泛的應用和更高的社會價值。隱私和數據安全rPPG情緒識別涉及個體的生理數據和隱私信息,如何確保數據的安全和隱私保護,避免數據濫用和不當使用,是技術應用過程中需要重點考慮的問題。PPG 連續生理特征感知技術及應用未來,隨著信號處理技術的不斷進步,rPPG信號的提取和分析將更加精準。先進的算法和深度學習技術將進一步提升信號質量和情緒識別的準確性。通過結合多種生理和行為數據,可以獲得更全面的情緒信息,提升情緒識別的準確性和全面性。例如,結合面部表情、語音、眼動等數據,可以更準確地反映個體的情緒狀態。采用先進的隱私保護技術和數據管理規范,確保用戶數據的安全性和隱私性。利用大數據和個性化建模
91、技術,針對不同個體建立個性化的情緒識別模型,提高模型的適應性和準確性。通過個性化模型,可以更好地適應不同個體的生理和行為特征。-信號處理技術的改進-多模態數據融合-個性化模型構建-隱私保護和數據安全-48PPG(rPPG)信號在健康檢測場景的應用及挑戰10PPG 連續生理特征感知技術及應用健康睡眠是美國心臟協會頒布的最新版專家建議中的生命健康八要素之一。睡眠障礙是當下帶給人較大困擾的疾病之一,對睡眠質量的評估則是診斷睡眠相關疾病的重要方式。目前臨床常用的睡眠監測儀器需要腦電、呼吸、血壓、血氧等多維度的檢測的配合,醫院可以提供的設備數量有限,其放置也需要特別注意,一個周期內能提供給患者進行監測的
92、設備較少。據研究,PPG信號可以以心率、心率變異性等生理信號為基礎,判斷、區分睡眠的不同階段,監測睡眠的連續性,識別呼吸暫停事件,評估睡眠質量,幫助患者了解自身睡眠情況,為用戶提供個性化的睡眠建議,輔助醫生了解患者長期睡眠狀態。睡眠監測場景卒中風險預警卒中指的是突發且進展迅速的腦缺血性或腦出血性疾病,預后較差,急性事件發生后,患者可能有長時間不能自理的情況,需要花費大量的人力物力輔助功能鍛煉來恢復。如果能在卒中前有效識別危險的血流動力學信號,可以通過早治療改善患者的血管狀態,降低卒中發生的可能,明顯改善預后。PPG信號可以通過檢測血流變化來了解血管健康狀況,有潛力在早期階段預測卒中風險;通過監
93、測心率變化識別房顫、室顫等高風險事件,及時提醒急性事件發生可能。在一些研究中,研究人員通過PPG信號,通過評估動脈硬化程度、血壓變化和心率變異性來預測卒中風險,其預測結果可信,但研究人員還指出,該模型的預測準確度可以進一步提高。49隨著基礎設施建設的完善,我國公共交通的運載量逐年上升,私家車數量也在不斷攀升。無論哪種出行方式,駕駛員的技術和健康狀態是保證他們對交通工具良好操控的基礎。近些年,偶有報道因司機突發心腦血管疾病產生的交通事故,對人民生命安全和財產安全都造成了不良影響。為了減少此類事件發生,對駕駛員進行一定程度上的健康監測是有必要的。目前已經有一些針對駕駛員的基于PPG的心腦血管疾病監
94、測模型,研究發現,PPG信號對此類疾病的識別準確度高于50%。此外,由于數據集不平衡,模型準確性的調整有一定難度,可能需要進一步擴大數據范圍、調整測試方式完成對PPG模型的優化,最終投入使用。以上只是PPG信號進行健康監測的幾個場景,遠遠不能包含PPG的所有可使用場景。在健康監測這個目標方向上,PPG已經開創了一條嶄新的賽道,它有著其他設備所欠缺的靈活性、使用便利程度,其準確性及可靠程度已經得到了一些實驗的證實。PPG想投入大范圍應用,還需要邁過幾道難關,包括設備影響、噪聲干擾、使用方式的誤差、準確性提高以及因果關系驗證。對以上幾個問題進行優化之后,PPG完全有能力走入千家萬戶,成為人民生命安全的一道防線,為我國公共衛生事業的發展作出重要貢獻。駕駛員腦血管疾病監測PPG 連續生理特征感知技術及應用50