程童-作業幫檢索系統重構：Havenask 實踐案例分享.pdf

《程童-作業幫檢索系統重構：Havenask 實踐案例分享.pdf》由會員分享，可在線閱讀，更多相關《程童-作業幫檢索系統重構：Havenask 實踐案例分享.pdf（34頁珍藏版）》請在三個皮匠報告上搜索。

1、作業幫檢索系統重構：程童Havenask實踐案例分享Havenask(HA3)0102030405目錄結果很重要業務場景及核心問題思路和決策實踐過程總結01結果很重要成本問題20212022202320242025成本/萬qps單位成本注：統計時間節點為每年年末高峰，年取元旦后數值索引容量瓶頸業務需求問題結果很重要強化向量檢索，快速支持基于RAG及多模態大模型的AI業務落地大規模復雜算法系統年省成本40%+23年全年有效索引數據增加超過100%，索引成本增長10%結果很重要十年系統能力重塑，擁抱AI時代02業務場景及核心問題一次典型的題目檢索過程拍照上傳圖像圖像預處理檢測&識別一次典型的題目檢

2、索過程檢索query生成召回&排序返回top結果真實業務場景的復雜性智能批改檢索增強及多模態LLM能力技術能力拆解題目檢索OCR全學科知識點檢索圖形題檢索多分類批改檢索增強&多模態LLM AI/系統架構檢索系統的挑戰1.壓力主要集中在索引引擎上2.其次是排序層的問題3.根因還是流量&數據量持續增長，考驗系統性能03思路和決策思路與決策約束1.2.3.現有基礎迭代自研替換開源替換優勢%風險用戶視角的HA3開源歷程首次接觸停滯期再次接觸轉折正式開源落地準備落地路線圖23年3月底23年4月底23年6月底23年8月底23年12月底04實踐過程遇到的問題 打平效果需要反復AB實驗分析case，耗時較多，

3、過程可控QA&排序QRSSearcher原有召回服務遇到的問題 誤判的影響對性能指標的誤判讓上半年收益近乎歸零遇到的問題 性能優化短周期/快速生效緩解壓力遇到的問題 性能優化中等周期/相對透明QRSSearcherQRSSearcherSearcherQRSQRSQRSGroup1Group2Core1Core2Core3Core4MemoryNuma Node1Core5Core6Core7Core8Numa Node2Memory部分測試數據17.3%22.6%13%8.8%Avg:7%Tail:22%Cpu:39%Avg:44%遇到的問題 性能優化長周期/需要策略適配/收益最大(AB)(

4、CD)(EF)(GH)L1 end部分性能對比數據32.86.365.314.31.618.6CPU使用率(%)subquery請求量(kqps)單條subquery耗時(ms)優化前-HA3優化后-HA320.94343.4532.36241.58單實例容量(qps)平均耗時(ms)優化前-接入優化后-接入CPU UtilCPU Util減少減少56.4%56.4%SQSQ減少減少74.69%74.69%代價代價:單條耗時單條耗時+62.26%+62.26%吞吐提升吞吐提升54.54%54.54%時延減少時延減少29.66%29.66%注：優化后檢索系統全局資源用量減少，如上是其中一個子系統數據05總結回顧降本增效:40%+場景：復雜大規模算法系統結合約束條件選擇方案落地實踐，解決問題總結HA3AITHANKS大模型正在重新定義軟件