4-韓崢-螞蟻IoT智能數據生成與算法評測技術.pdf

《4-韓崢-螞蟻IoT智能數據生成與算法評測技術.pdf》由會員分享，可在線閱讀，更多相關《4-韓崢-螞蟻IoT智能數據生成與算法評測技術.pdf（43頁珍藏版）》請在三個皮匠報告上搜索。

1、螞蟻IoT智能數據生成與算法評測技術螞蟻集團 韓崢2023 深圳站目錄CONTENTSIoT線下支付01 智能數據生成02 分布式評測實驗室03 評測鏈路與指標評測鏈路與指標04 業務效果總結05 AIGC時代思考06 2023 深圳站01IoT刷臉支付2023 深圳站螞蟻IoT主要做什么？技術：通過生物識別（人臉、掌紋、聲紋等）技術賦能支付行業，讓線下支付更便捷業務：通過與廣泛生態伙伴合作，助力各個行業（酒店、餐飲、快消等）商家線下數字化，實現互利共贏蜻蜓支付刷臉門禁大屏自助校園/企業團餐掌紋支付智能貨柜2023 深圳站刷臉支付背后的產業鏈為什么會興起刷臉支付？-隨著人臉識別技術的不斷成熟，

2、其精度已經可以達到商用的水準，與支付行業結合就帶來了革命性的變化！驅動合資補貼互聯網巨頭奧比中光、華捷艾米蜻蜓、商米、青蛙盒馬Rex、海信映翰通上游中游下游光源、光柵、可見光源、光柵、可見光光&紅外紅外結構光人臉識別模組結構光人臉識別模組POS機設備商機設備商自助收銀機設備商自助收銀機設備商自動售貨機設備商自動售貨機設備商豪威、縱慧典型企業行業類別2023 深圳站刷臉支付系統拆解硬件設備層系統層數據&算法層客戶端3D結構光模組(RGB、IR、Depth)質量模型活體模型意愿模型比對模型檢測模型風控數據&模型刷臉APP生物識別特征庫服務端生物識別服務端2023 深圳站刷臉支付算法鏈路拆解設備端算

3、法鏈路服務端算法鏈路刷臉機具選臉端超體決策多模態檢索 端超體/風控檢測檢測關鍵點跟蹤活體檢測0/4/11結果意愿模型質量模型質量意愿RGB/IR/Depth圖像特征提取風控模型策略模型綜合決策生物特征數據庫大規模檢索排序數字超體3D小庫搜索0/4/11決策支付鏈路2023 深圳站算法質量保障的通用方法原子模型評測（單模型效果）構造評測數據、評測指標 評測鏈路 模型級別benchmark全鏈路評估（全鏈路效果）基于仿真回流的全鏈路算法評估 基于實時流量的全鏈路算法評估2023 深圳站刷臉算法質量保障問題 數據方面：數據生成：如何從1張圖片生成海量人臉圖片，并保障圖片的真實性？數據標注：如何打造自

4、動化標注體系，提供海量帶標注的數據？數據采集：如何進行定量化數據采集？硬件實驗室：如何搭建一套分布式實驗室，保障海量數據分布式執行？評測鏈路：評測鏈路如何改造，保障數據隔離以及提高工程穩定性？評測指標：指標如何設計以及反應業務效果？2023 深圳站02智能數據生成2023 深圳站多模態融合的原理多模態融合策略刷臉識別多模態融合Feature層融合策略2023 深圳站數據生成之一：基于回流數據的生成問題：由于回流到服務端的圖片為壓縮后的圖像，因此需要進行定向增強，轉為客戶端輸入的視頻流，具體流程如下：Blob數據RGB圖Depth圖IR圖流式數據合成回流數據URL下載解碼RGB.dataDept

5、h.dataSlir.data二進制轉換像素格式轉換分辨率還原像素格式轉換OSS云端庫存儲2023 深圳站數據生成之二：定量化數據采集機械臂-移動人臉模具光源箱-光照度調節人臉頭模軟硬一體實驗室：用于進行人臉數據定量采集、人臉活體攻擊、貨柜數據采集等業務。2023 深圳站基于頭模的定量數據采集刷臉距離刷臉角度光照強度抖動0.1 2m間隔0.3m0180間隔 5 11人臉正對屏幕為90度，左側臉平行屏幕刷臉為0度，右側臉平行屏幕為180度。25Lux 相當于夜間場景，1000Lux相當于晴天室外強光場景51000 Lux2參考區間20Hz 100Hz2023 深圳站活體攻擊類數據采集紙張攻擊數據

6、采集面具攻擊數據頭模攻擊數據2023 深圳站新問題問題：是否能把這兩個方案結合起來？2023 深圳站數據生成之三：機械臂+頭模換臉的數據定向生成機械臂頭模采集數據數據合成合成圖像數據庫(RGB、IR、Depth)深度圖像生成流程：IR圖像生成流程：RGB圖像生成流程：DeepFaceLab換臉RGB源圖像、RGB目標圖像IR源圖、RGB目標圖像RGB2IR工具DeepFaceLab換臉工具庫RGB源圖3D數據生成目標臉3D模型3D模型替換IR 圖像替換RGB圖像生成云端回流數據選擇目標數據2023 深圳站當前效果RGB換臉效果2D生成3D數據2023 深圳站數據生成之四：基于GAN生成數據問題

7、：是否有從0到1生成數據，不依賴任何其他數據采集或者數據源的0成本方案？人臉圖像對抗生成styleGAN,cycleGAN人臉多姿態圖像生成styleGAN2EncoderRGB重建3D人臉重建數據合成任選一張圖像 RGB重建3D人臉重建數據合成選定一個姿態選定一個姿態3DDFA_v23DDFA_v22023 深圳站數據自動化標注問題：利用離線模型進行大數據標注，為在線模型提供源源不斷的真值數據？2023 深圳站自動化標注(AutoLabel)生成圖像RGB、IR、DepthOffline ODPS GPU集群AutoLabel模型標注系統OSS 存儲數據清洗與加工待定確認可標iTag數據標注

8、平臺人工標注Label of RGB、IR、Depth圖像標注數據Offline ODPS 模型訓練評估GPU 集群2023 深圳站實現效果數據積累：每日穩定運行，已經為模型標注每日提供了上億的標注數據數據賦能：給模型評測、全鏈路仿真、標簽管理等各項服務提供數據基礎。2023 深圳站03分布式評測實驗室2023 深圳站整體拓撲結構agentagentagent蜻蜓設備蜻蜓設備蜻蜓設備POS設備POS設備POS設備其他IoT設備Agent Server云測平臺數據調度任務管理用例管理設備管理結果報表任務觸發場景庫創建評測任務數據下載任務觸發執行結果回收統計分析評測整體流程2023 深圳站實驗室軟

9、件平臺設備管理任務管理報告生成用例管理遠程調試數據調度2023 深圳站04評測鏈路與指標2023 深圳站鏈路改造1.鏈路改造：將客戶端工程與算法剝離，打造無UI鏈路，便于進行穩定性/壓測以及效果評測2.數據隔離：在客戶端和服務端分別設置仿真標，實現測試數據與線上數據隔離3.隱私安全：自動銷毀機制以及定期巡檢機制，保障數據用完即刪，不在端上留存。端數據流算法層算法工程層客戶端應用層檢測質量活體意愿特征庫構造數據預處理改造前UI渲染引擎端應用工程算法層算法工程層端數據流檢測質量活體意愿改造后特征庫構造數據預處理流讀取2023 深圳站評測指標模型模型指標指標質量模型通過率/攔截率活體模型通過率/攔截

10、率檢測模型準確率/召回率意愿模型通過率/攔截率比對模型通過率/誤識率整體效果刷臉一次通過率2023 深圳站05業務效果總結2023 深圳站業務效果蜻蜓刷臉支付團餐刷臉門禁核身貨柜刷臉2023 深圳站06AIGC時代思考2023 深圳站AIGC時代（圖生圖）AI生成不同風格人像AI生成不同風格素材2023 深圳站AIGC時代（文生圖）Textstarcraft,terran,battlecruiser,combat,base,galaxy,laser gun,fire,quality,extremely detailed CG,unity 8Kwallpaper,hyperdetailed,hi

11、ghres,cyberscreen frame,absurderes,intricate and refined delicate detailed,cinematiclighting,strong rim light,brightercolours,depth of field2023 深圳站問題與思考生成式大模型時代，算法質量如何進行保障，如何評測模型的效果？如何保障模型生成結果不出現輿情，建立可靠的兜底機制？如何進行圖像效果的檢測并給模型更好的反饋？如何建立合理的針對生成模型的主觀評測機制？2023 深圳站未來規劃 判別式模型質量 模型攻防 模型可解釋 數據增強 生成式模型質量 評測方法

12、 評測數據 主/客觀評測感謝聆聽ThanksCSDN全球最大的中文開發者社區平臺CSDN全球最大的中文開發者社區平臺CSDN創立于1999年全球編程類網站排名第7（來源：Similarweb 2023.04）注冊用戶超過4300萬，覆蓋90%的中文開發者新媒體矩陣粉絲數量超過3100萬超過1000家企業客戶和合作伙伴目前公司員工近800名，分布在北京、長沙、上海、深圳、杭州、成都等城市，并在美國硅谷常設辦事處旗下品牌旗下品牌專業中文IT技術社區：CSDN.NET多媒體專業出版：新程序員開發者專屬移動APP:CSDN APP代碼托管協作平臺：GitCode代碼工具協同平臺：InsCodeIT人力資源服務：科銳?？怂关俗W絡高校IT技術學習成長平臺：高校俱樂部