阿里云搜索Serverless產品架構設計和應用實踐-邢少敏.pdf

《阿里云搜索Serverless產品架構設計和應用實踐-邢少敏.pdf》由會員分享，可在線閱讀，更多相關《阿里云搜索Serverless產品架構設計和應用實踐-邢少敏.pdf（36頁珍藏版）》請在三個皮匠報告上搜索。

1、阿里云搜索Serverless產品架構設計和應用實踐OpenSearch研發負責人/邢少敏目錄阿里云搜索技術介紹阿里云搜索技術介紹阿里云搜索 Serverless 技術架構阿里云搜索 Serverless 應用實踐阿里云搜索 Serverless 總結展望阿里云搜索技術發展歷程20200808支撐淘寶、B2B起航YST,Vespa,Lucene起源1999199920112011極致性能優化Isearch4.5-HA2-HA3HA320201818搜索、推理、圖為核心AI在線工程體系(AI Online Serving)“AIOS”發布20232023Havenask正式版20201717與E

2、lastic戰略合作商業版100%兼容開源阿里云Elasticsearch20201313平臺化、產品化HA3-OpenSearch統一20202222AIOS開源序幕HA3開源Havenask預覽版突發讀寫流量，集群又被打掛了，業務宕機了趕緊擴容！大促不斷、游戲發版、蜂擁請求總有無法預估的突發流量，集群遇到資源瓶頸，在短時間內擴容困難太貴了，今年的集群成本又超預算了，能不能有個降本方案？服務器資源成本高、研發、測試、生產預算hold不住，又要穩定又要降本增效，還有什么解決方案集群負載并不高，為什么要用這么大規格？業務低峰期看起來的大量資源冗余，是因為總有某個時刻流量突增，讓你不得不按高峰流量

3、做容量規劃既要業務需求快速迭代，又要承接高強度運維工作，做研發的門檻也太高了項目團隊沒有專屬的運維支持，集群穩定性運維難、需要隨著業務發展持續優化，開發也要有運維經驗搜索面臨的業務挑戰UMP優惠券平臺阿里云搜索業務需求業務特點規模：客戶數萬，支持成本高接入：快速交付，低運維成本增長：平滑擴容，業務不感知成本：節省成本，資源不浪費解決方案云上云下以Serverless方式提供統一的標準搜索云產品，規?；С謽I務多租戶服務資源共享共享物理資源，最大化資源利用率數據隔離租戶數據隔離，互相不可見業務隔離合理分配流量，防止單租戶流量過大影響其他租戶業務快速交付開箱即用小時級接入使用，無需定制易用產品簡單

4、易用，學習成本低免運維日常免運維，大促低成本運維彈性資源彈性資源固定資源按需付費業務存在高峰和低谷，消耗資源成本不同，客戶付出的成本要和資源消耗成本比例業務存在高峰和低谷，消耗資源成本不同，客戶付出的成本要和資源消耗成本比例目錄阿里云搜索技術介紹阿里云搜索阿里云搜索 Serverless Serverless 技術架構技術架構阿里云搜索 Serverless 應用實踐阿里云搜索 Serverless 總結展望多租戶索引管理多租戶流量控制多租戶資源分配資源分配策略資源分配策略公平策略公平策略資源分配策略資源分配策略彈性策略彈性策略多目標彈性降級、限流多目標彈性降級、限流自動熱點均衡High CP

5、U NodeHigh Shard num NodeLow CPU NodeLow Shard num NoderelocatingrelocatingMaster20%CPUShard RebalanceShard Rebalance讀寫分離讀寫統一讀寫分離 vs.讀寫統一（Havenask）GitHub地址：https:/ 0Processor 0Processor nBuilder mAPI實時數據HDFS全量數據OSS全量數據ProcessorMaxCompute全量數據BuilderMerger 0Merger mMergerTable 0Table nZK消息中間件分布式文件系統（H

6、DFS）調度系統監控系統BS Admin多租戶索引構建(Build Service)寫入優化，Indexing Service服務通過索引物理復制、計算存儲分離、faster-bulk等阿里云自研特性將單位資源寫入性能提升了150%跨集群實時物理復制，通過segment級別的實時物理復制，User集群相對于Indexing Service集群的平均數據延遲達到百毫秒級 異地容災，Indexing Service做了異地多集群備份，當某一個集群出現異常，可切換User集群的索引托管至備份集群多租戶索引構建(Indexing Service)多租戶大模型服務多租戶大模型服務專屬模型單卡LoRA：單

7、卡冗余基座大模型+LoRA小模型，每張卡有多個lora多卡LoRA：基座大模型和LoRA小模型切分到多卡上，每張卡只有基座模型和LoRA的一部分共享模型SFT后的大模型部署在多卡，同時服務于多個用戶單卡LoRA多卡LoRA大模型應用彈性計費CU計費1CU約等于一張V100 GPU的1/32的算力考慮應用鏈路中其他算力計算，沒有采用token計費彈性收費不用不收費使用時計算消耗CU*時長目錄阿里云搜索技術介紹阿里云搜索 Serverless 技術架構阿里云搜索阿里云搜索 Serverless Serverless 應用實踐應用實踐阿里云搜索 Serverless 總結展望 插件機制允許自由定制，

8、滿足不同業務需求 開源生態學習門檻低，易于掌握一站式搜索引擎平臺服務 內置QP和排序算法能力以及行業模板，實現垂直行業高質量搜索效果 引擎Havenask為阿里巴巴集團核心搜索技術，提供百萬QPS查詢能力，和千億級別文檔索引能力。業界知名度高，搜索首選平臺開源產品開源產品自研產品自研產品阿里云阿里云Elasticsearch阿里云阿里云OpenSearch阿里云搜索產品日志分析日志分析智能搜索智能搜索阿里云阿里云ElasticsearchElasticsearch日志分析與觀測（IT運維）數據分析和洞察（業務數據、交易數據）時序數據分析（時序數據）信息檢索（企業數據、App/網站、地理位置）阿

9、里云阿里云OpenSearchOpenSearch商品搜索（商品、店鋪)內容搜索（新聞、資訊、社區、論壇)多模態搜索（文本、圖片、視頻)大數據檢索加速（訂單、物流、企業大數據)阿里云搜索產品適用場景阿里云Elasticsearch Serverless通過讀寫分離架構，ES集群的數據寫入在云端服務進行托管加速。為用戶實例和云端服務搭建橋梁，依托云端彈性計算能力，突破本地集群的物理資源限制。云端1010倍倍寫入彈性擴縮無須提前預留資源，無低峰閑置浪費云端海量算例突破寫入瓶頸1計算資源降低資源降低50%50%以上云端按量寫入，優化資源成本按需使用，按實際寫入流量付費2相較于普通云盤成本降低降低70

10、%70%超低超低存儲成本存儲Serverless按實際用量，存多少付多少3單集群PBPB級數據級數據存儲查詢無須額外數據備份，長時間數據存儲隨時可查相比Searchable snapshot查詢性能提升性能提升1010倍倍4基于計算存儲分離架構及多層存儲介質混合，提供可靠的海量彈性低成本存儲并保證查詢性能。無須提前預留集群存儲容量，根據實際數據的存儲量按量計費。ServerlessServerless日志寫入服務：日志寫入服務：IndexingIndexing ServiceServiceServerlessServerless日志存儲服務：日志存儲服務：OpenstoreOpenstore成

11、本及性能對比成本及性能對比相同相同ESES集群規模，對比寫入吞吐能力集群規模，對比寫入吞吐能力 提升近提升近1010倍寫入能力倍寫入能力 壓測配置選最低的配置 3節點 CPU(2核)/Memory(4G)/存儲(高效云盤)采用數據源為esrally的nyc_taxis數據集進行壓測 吞吐測試結果在未做任何配置優化的前提下，寫入平均TPS達到 20萬 docs/s 以上，吞吐流量超過百兆，比市面上所有極致優化過的ES集群性能還要高出10倍以上集群節點規模通用商業版通用商業版寫入TPS寫入可見性延遲3個數據節點的2核8 GB248835秒3個數據節點的4核16GB523725秒3個數據節點的8核3

12、2GB1102775秒集群節點規模日志增強版日志增強版Indexing ServiceIndexing Service寫入TPS寫入可見性延遲寫入能力對比3個數據節點的2核8GB2266496秒910%910%3個數據節點的4核16GB4195746秒801%801%3個數據節點的8核32GB8040106秒729%729%ElasticSearch Indexing Service成本及性能對比成本及性能對比相同業務流量情況，對比相同業務流量情況，對比ESES使用成本使用成本 降低近降低近70%70%計算成本，計算成本，50%50%集群整體成本集群整體成本日志增強版日志增強版 -共享彈性存儲

13、共享彈性存儲日志增強版日志增強版Indexing ServiceIndexing Service規格小時價規格小時價成本對比計算資源3232核核 64G 64G*2020節點節點296.8296.88 8核核32G32G*6 6節點節點35.235.2高峰平均 250MB/s，8Hour99降低降低54.8%54.8%低峰平均 100MB/s，16Hour39.6降低降低74.8%74.8%7123.2/天2270.4/天集群節點個數 減少70%，一天計算資源 成本降低68.1%以Elasticsearch內部監控業務ElasticMonitor持有集群為例，每天承載著高流量的線上用戶ES集群

14、的指標和日志寫入 寫入流量平均150MB/s，每天增量數據12.96T ElasticSearch Indexing ServiceOpenSearch Serverless數據檢索千億數據量千億數據量，百萬百萬QPS，數十萬數十萬TPS毫秒級時效性毫秒級時效性，極低延遲極低延遲輕松應對雙十一突發流量數十萬并發更新，毫秒級最終一致性成本下降成本下降80%在訂單、優惠券等典型業務場景成本下降超80%多業務場景驗證多業務場景驗證國際中臺：交易、訂單、履約本地生活：召回引擎、商超、餐飲、訂單、卡券菜鳥：供應鏈、倉儲、履約、風控等淘系：IC、UMP、評價、店鋪、聚劃算、淘客等UMP優惠券平臺非結構化文

15、檔（Word、PDF）OpenSearchOpenSearch ServerlessServerless智能問答版智能問答版客戶側數據客戶側數據文檔導入客戶側客戶側文檔解析文本索引（文本+向量）圖片索引（向量）索引構建文本向量混合召回返回結果 生成答案 參考圖片 參考鏈接圖片表格數據（Excel）數據源（MaxCompute）Web網頁基座大模型（Qwen、Llama2）客戶訓練數據客戶專屬大模型+finetuneprompt 基于基座大模型基于基座大模型finetune的企業專屬大模型的企業專屬大模型：Qwen、Llama2、Falcon等多模型可選，企業專屬數據Finetune 基于搜索技

16、術沉淀創新基于搜索技術沉淀創新：Query理解、意圖識別、段落拆分模型、文本向量化模型、圖像向量化模型等模型 高性能向量檢索引擎高性能向量檢索引擎：自研VectorStore向量檢索引擎，數倍于開源引擎的搜索性能和更高的召回率 分鐘級PoC、小時級上線 客戶專屬模型、準確率高 場景級RAG的最佳實踐OpenSearch Serverless智能問答問答對表格提取段落切分OpenSearchOpenSearch企業專屬大模型企業專屬大模型企業數據Finetune有監督的模型微調企業專屬大模型訓練步驟企業專屬大模型訓練步驟：STEP1：底座大模型參數千億級別，適配不同場景的多模型可選，具有強大的多

17、模態表征能力 STEP2：使用檢索增強數據集進行模型預訓練，得到檢索增強LLM STEP3：采用檢索增強LLM，結合企業自有數據，進行模型Finetune，得到企業專屬大模型企業自行企業自行FinetuneFinetune大模型成本高大模型成本高：訓練成本高訓練成本高 需要使用昂貴的GPU，成本高昂訓練要求高訓練要求高 大模型訓練依賴大量優質數據 需要專業的算法研發團隊，參與數據處理、訓練及調優工作OpenSearch Serverless模型服務OpenSearch Serverless向量檢索MaxComputeOpenSearchOpenSearch ServerlessServerle

18、ss向量檢索版向量檢索版客戶側客戶側API實時推送客戶側客戶側表基礎信息選擇數據同步來源返回結果文本數據向量數據自動全量同步API索引合并、索引壓縮高精度 高維度 多算法HNSWQC命名空間、向量 混合搜索Linear表達式過濾 邊搜索邊過濾參數靈活控制大規模向量快速導入單節點348維1億向量，3.5小時完成全量構建索引即增即查單節點承載十億向量，單節點實時寫入TPS過萬分布式智能搜索引擎支持千億數據毫秒級響實時數據更新秒級可見海量數據成本效果OSS對象存儲名稱分片數更新資源場景模版 通用模板 圖片搜索 語義搜索字段配置主鍵、向量字段embedding字段 圖：clip通用模型 圖：clip電

19、商增強模型 文：短文本模型 文：英文短文本模型向量索引配置命名空間維度距離類型向量算法高級配置查詢數據多向量查詢多命名空間查詢過濾條件查詢主鍵查詢端到端向量查詢單節點承載數據量大目錄阿里云搜索技術介紹阿里云搜索 Serverless 技術架構阿里云搜索 Serverless 應用實踐阿里云搜索阿里云搜索 Serverless Serverless 總結總結展望展望阿里云搜索Serverless產品日志、文本分析檢索AIOS專有云基礎設施(飛天底座)公共云基礎設施(ECS/神龍服務器/ALB等)MC/Flink/EMRPAI基礎設施大模型檢索分析服務ES版場景化產品ServerlessElast

20、icsearch召回引擎BE圖引擎iGraph搜索引擎Havenask計算引擎Qwen-13B通用商業版Elasticsearch Serverless版PAI-EAS流批一體索引構建存算分離/冷熱分離向量引擎Vector StoreLlama2-13BLlama2-70B日志增強版OpenSearch高性能檢索版向量、知識問答、大模型應用Elasticsearch Relevance EngineOpenSearch向量檢索版OpenSearch LLM智能問答版關系召回、知識圖譜等圖計算服務GraphCompute電商、內容、視頻推薦智能推薦AIRecQwen-72B開源GitHub地址Havenask開源官方技術交流群官網地址：https:/ Native應用ServerlessServerless向量檢索、向量化Serverless大模型服務