Vearch 的 GPU 方案在海量向量檢索系統上的應用創新.pdf

1、京東1、研發背景2、產品概述3、技術核心4、性能與效果評測5、GPU優化6、產品應用場景&合作案例7、產品規劃#page#京東研發背景產品痛點隨著A業務場景的不斷豐富，文本、圖像、視頻Bai百度等數據都抽取了大量的特征向量以應用于大部分業務場景（例如以圖搜圖、視頻相似度檢測、人知乎以圖搜圖臉識別等），但目前尚無一套完整的解決方案來視頻版權保護滿足海量特征向量的存儲、計算。推薦系統搜索排序城剪解決方案人臉識別安防領域智能視頻監控構建一套易用的在線系統，完整的解決海量特征Tencent騰訊向量的存儲、計算，相似向量的檢索問題，為文本、圖像、視頻檢索等應用提供統一的基礎設施并基于現有的部分業務抽象提

2、煉成一個服務于A時代的基礎向量數據庫#page#京東產品概述創建數據庫和空間導入數據搜索數據集0586ewVector StoragUpdateVideoRetrievaDeleteTexModaPo.HNSW）ScalPSSearctAuii#page#京東產品概述-功能列表門實時索引標量存儲橫向彈性擴展2持久化8Restful接口算法插件服務395支持GPU支持docker字段過濾#page#京東產品概述-核心優勢核心優勢一支持十億量級向量存儲、查詢，像ES一樣非常靈活易用；核心優勢二應用廣泛，通過獨立算法插件服務，可作為系統級基礎設施，廣泛應用于視覺和自然語言處理等深度學習場景；核心優勢

3、三毫秒級檢索，實時索引#page#京東技術核心-架構VearchCsHL APacMasterPackeVLPaeayauReAETCDSR#page#京東技術核心1、實時向量索引-高性能無鎖實現；內存可動態擴展，延退釋放等技術支持add，delete和update2、支持多種向量檢索模型及索引適應不同數據規模，不同召回精度等要求3、標量字段范圍過濾查詢-B樹實現，實際查詢請求中，通過范圍過濾可大幅提升性能4、基于Raft強一致分布式系統#page#京東技術核心5、支持文檔中常規標量字段的存儲和索引；多標簽的實時存儲及檢索6、通過IVFPQ等量化模型后，提供了召回TopN原始向量的精排功能7、

4、支持原始向量，標量，向量索引和標量索引的持久化8、支持單文檔多向量的存儲及檢索9、支持基本的交，標量字段范圍過濾等組合查詢語法#page#京東技術核心10、端到端，完整應用場景解決方案clientImage，Text，VideoPlugin serviceAPI proxymodelsCDDB/tableyolov3resnetCRUD documentvectorvearch-提供以圖搜圖和視頻智能人物監控算法插件?？闪慊A，一鍵式部署#page#京東技術核心-向量檢索模型1、IVFPQPQ量化索引，內存占用小，召回有一定精度損失，適用億級以上大規模數據。旗艦版性能較原生faiss有20%-

5、40%性能提升2、IVFFLAT索引按聚類質心分桶，對百萬規模數據集暴力搜索（消耗較大計算資源），召回率能到100%。旗艦版性能在大batch情況下較原生faiss可提升2-3倍3、HNSW按多層次圖構建索引，召回精度高，占用內存大，適用干萬級規模數據4、二進制索引漢明距離計算5、SSG目前召回效果上SOAT，內存占用大，索引時間消耗長#page#京東性能與效果評測VGG10M expriment1.01450.91350.8125售0.7Recallncen=256Recallncen=2048115Recallncen=81920.6QPS ncen=256QPS ncen=2048QPS

6、ncen=81921050.5501001502000nporbeIVFPQ檢索模型相關對比試驗更多評測結果見：https:/ experiments250OPS.cfvag1QPS ovgg500OPSofvgg50OMwith fiter2000250150017505005010001250Averagelatency(ms）大規模CPU服務器集群測試#page#京東性能與效果評測億級以上向量，低延退計算利器：GPU存儲：單臺GPU物理服務器能支持億級以上向量的存儲計算：離線批量向量相似度計算，QPS數干正常在線單條相似度計算，QPS數干#page#evaluation paramete

7、rsncentr性能與效果評測modelefSearch1M10Mf1Mf10M64408064Mipa1024204820462046642%2*10）2210）mipq64pq*pq高召回率檢索模型3264MSUL3240ivfhnsw1024204808640VearchrecallsoSIFT1MecalsotVGG1Mrecnll100recal1recall100-億級以上向量查詢采用0.82880.99990.51340.90030.9930.9900.82010.8990.52340.89160.9707DC量化索引召回0.83440.98340.9830.51850.8837

8、0.9420.82340.52690.92110.99860.99980q+P00.98720.97950.98720.95150.95630.95630.98250.98960.98520.97040.9705vfhnswvfhnswVearch0.98140.99020.97020.9703recallsofSIFT1OMrecalsofVGG10M-千萬級別或以下，有HNSWrecall100recall10recall100等召回效果更好的圖模型可供0.72370.99760.59570.90090.99060.71890.97940.9811wp0.60680.90140.9833v

9、ipd選擇；0.90910.605070.90660.60230.8955ipc0.99540.7512006600.61020.9223opq+pqPq+PC0.84250.84260.84260.88470.90450.905nsw0.96250.96260.9626ivhnsw0.96170.98250.9829vihnsvfearch0.97740.9774fearch0.9770.96490.982909832#page#京東GPU索引性能提升速度慢，占用資源多速度快，占用資源原方案采用15臺CPU服務現方案采用異構計算方式，使用2臺GPU服務器，運行一器，運行一次全量計算需要2周時

10、間次全量計算只需需要2天時間#page#IVFHNSWPQ CPU/GPU Hybrid ArchitectureMasterPartition ServerMetaData ServiceMonitor ServiceGamma EngineAuthority ServiceManager ServicefResultResult ReducerETCD Store中IndexGPU一CPU-RouterQueryPQIVFHNSWGrpc/RestfulVQLAPIVectorQuery LanguageResultAdd/DeleteVectorVQL ParserReducer#pag

11、e#Spark/Flink+ Vearch GPU WorkflowSpark/flinkGamma EngineResult ReducerQueryCPUGPUIndex+ Add/DeleteVector#page#京東案例一：京東之家人臉識別特征庫陸件服務人胎rch實時更新查詢響應時間15ms以內myiz海量特征、標量和索引1x2,y223.Voarch實時檢索2.Vearch算法插件服務人險掃4.識別成功#page#京東案例二：重復鋪貨3Z過銷xyzy2海和中10億級高給特征和索引lAm.z總共覆蓋10億量級不重復商品圖片的重復檢測；10億*10億級別的多個高維特征向量聯合檢索查詢，GPU版本性能提升數倍以上，召回率較之前提升不少；#page#京東案例三：同款商品推薦1.更斷體醫向量檢索耗時集成更多更豐富的檢索模型，比如IMI，Q-ADC，SQ等Vearch可視化管理web端集成更豐富的算法插件，比如文本語義embedding算法插件，音頻embeddding算法插件等#page#京東交流&使用項目地址：https:/ You京東