OceanBase RAG技術的應用與實踐.pdf

《OceanBase RAG技術的應用與實踐.pdf》由會員分享，可在線閱讀，更多相關《OceanBase RAG技術的應用與實踐.pdf（40頁珍藏版）》請在三個皮匠報告上搜索。

1、OceanBaseOceanBase RAGRAG技術技術的應用與實踐的應用與實踐蔡飛志蔡飛志OceanBase 技術部高級專家我是誰？我是誰？ContentsContents目錄目錄背景介紹背景介紹01 01 方案實踐方案實踐02 02 方案優化方案優化03 03 未來計劃未來計劃04 04 一些感悟一些感悟05 05 0101背景介紹背景介紹OceanBaseOceanBase 是什么？是什么？服務與生服務與生態態工具體工具體系系OceanBase 社區版OceanBase 企業版OB Cloud 云數據庫服務與生態服務與生態OceanBase 為客戶提供全場景、全形態的企業級數據庫解決方

2、案。產品體系包括企業版、OB Cloud 云數據庫、社區版，支持獨立部署、云服務和數據庫一體機等多種部署交付形態。作為一體化數據庫，OceanBase 具備完備的數據庫工具體系，提供多工作負載、多模和多租戶等核心能力。通過一體化能力，OceanBase 能夠滿足 80%的數據管理需求，助力用戶攻堅關鍵業務系統，簡化技術棧，構建現代數據架構。一體化架構一體化架構基礎設施支持基礎設施支持私有化部署私有云公有云混合云一體機解決方案一體機解決方案專業服務專業服務開放生態開放生態技術 駐場 咨詢 培訓集成 分析 監控 對接運維管理工具 OCP開發者工具 ODC遷移評估工具 OMA數據遷移工具OMS診斷自

3、治工具OAS多種類第三方工具用于多工作負載的多模計算層用于多工作負載的多模計算層向量化執行引擎并行執行引擎Adaptive TP/APexecution高級 SQL 優化器多模 API多模數據類型多模數據類型標量類型JSON/XML 類型Array/Vector 類型GIS 類型用戶定義數據類型多類型索引具備具備 ACID ACID 事務的分布式存儲層事務的分布式存儲層Zone 1P1P2Zone 2P1P2Zone 3P1P2Zone 4P1P2Paxos 共識Paxos Learner行存行存 主副本列存索引列存索引 主副本從副本列存列存 副本OceanBase 數據庫一體機OceanBa

4、seOceanBase 是什么？是什么？截至 2025 年 2 月，在“墨天輪中國數據庫流行度排行”中，OceanBase 累計 26 個月排名第一，并持續保持領先趨勢。來源：墨天輪中國數據庫流行度排行OceanBaseOceanBase 位居位居中國數據庫流行度排行第一中國數據庫流行度排行第一OceanBaseOceanBase 位居中國分布式位居中國分布式關系型數據庫產品能力第一關系型數據庫產品能力第一OceanBaseOceanBase 位居分布式數據庫位居分布式數據庫金融行業獨立廠商第一金融行業獨立廠商第一來源：IDC MarketScape:中國分布式關系型數據庫2023年廠商評估來

5、源：IDC 中國金融行業分布式事務型數據庫市場份額，2023 在 IDC 中國分布式關系型數據庫 2023 年廠商評估中，OceanBase 位列“領導者”類別。作為一款原生分布式數據庫，OceanBase 在產品能力上表現突出，產品能力第一。在 IDC 中國金融行業分布式事務型數據庫 2023 市場份額報告中，OceanBase 占據三項第一：金融行業本地部署市場份額第一、金融行業獨立廠商第一、保險證券子市場本地部署份額第一。獨立分布式數獨立分布式數據庫廠商第一據庫廠商第一本地部署本地部署第一第一 保險、證券本保險、證券本地部署第一地部署第一中國金融行業分布式事務型數據庫市場份額概況金融行業

6、本地部署市場廠商市場份額占比中國金融行業分布式事務型數據庫保險/證券本地市場份額17.1%17.1%整體規模 2.23 億美元23.2%23.2%整體規模 1.6 億美元42.5%42.5%整體規模 0.3 億美元隨著隨著 OceanBaseOceanBase 的逐漸流行，用戶支持面臨的挑戰的逐漸流行，用戶支持面臨的挑戰盡管OceanBase提供海量文檔，但傳統搜索方式檢索效率低，用戶難以快速精準定位所需信息，尤其在處理復雜技術難題時，文檔查找耗時費力，影響問題解決速度。文檔檢索文檔檢索社群論壇社群論壇社區論壇雖活躍，但咨詢類問題居多，缺乏系統性解決方案，且針對已有限制和使用方式的快速回復機制

7、尚不完善，用戶入門門檻較高。用戶對于響應時間要求高，一線支持人力無法跟上用戶的發展速度。企業工單企業工單LLMLLM 帶來了機遇和挑戰帶來了機遇和挑戰大語言模型機遇自然語言處理快速生成回答挑戰知識更新滯后幻覺友好的交互體驗友好的交互時效影響時效性影響準確性無法溯源提升問題診斷難度0202方案實踐方案實踐采用采用 RAGRAG 進行智能問答系統的設計進行智能問答系統的設計知識庫選擇與分塊知識庫選擇與分塊1.選取開源文檔倉庫作為輸入2.采用標題段落的方式拆分3.把標題內容和正文一起索引向量嵌入模型的選擇向量嵌入模型的選擇向量嵌入模型的選擇向量嵌入模型的選擇線下：BGE-M3 在中文語料的嵌入效果最

8、好云上：阿里云的 text-embedding-3、騰訊云Conan-embedding-v1 有類似效果向量數據庫選型向量數據庫選型向量數據庫選型向量數據庫選型分析：分析：主要分為以下三類方案：1.基于單機數據庫做插件的方案（例如pgvector）2.基于NoSQL做插件的方案（例如ES、Redis）；3.基于向量檢索庫衍生數據庫的方案（例如Mivlus）；挑戰挑戰：1.部分產品無法處理多模（非結構化、半結構化數據）請求，需要外掛另外一個存儲系統，增加了運維成本；2.從工程產品演進到工業級軟件，需要補齊分布式可拓展、高可用、數據備份恢復等能力，并配套數據監控運維、數據同步、數據開發等工具等工

9、具，部分產品配套不齊全；3.部分產品不具備實時更新能力；向量數據庫選型向量數據庫選型LLMLLM 選型選型我們考慮過的我們考慮過的本地部署？推理型？智譜 AI？硅基流動？DeepSeek?我們最終選擇的我們最終選擇的直接使用云產商的服務對話型阿里云Qwen系列基于實際使用考慮RAGRAG 系統搭建系統搭建官網社群論壇一周出一周出DemoDemo，半年用不好半年用不好0303方案優化方案優化問題分析問題分析被語法結構欺騙被語法結構欺騙輸入詞相似度bake a cake1.0bake a pie0.887make a chocolate cake0.8394使用全文索引功能，來彌補向量檢索的不足混

10、淆不同組件混淆不同組件提問：OceanBase 如何升級？檢索到文檔：OMS（OceanBase 遷移工具）如何升級；先提取關鍵詞，再通過關鍵詞+向量（或全文索引）做檢索父子層級概念無法感知父子層級概念無法感知輸入詞相似度Computer component1.0PC0.6606Server0.506CPU0.61Screen0.5337Memory0.5396IO0.4902Cache0.534應該試試“GraphRAG”？業界做法業界做法-GraphRAGGraphRAG業界做法業界做法-HippoRAGHippoRAG基于圖譜的方案，抽取實體、增量更新延遲都比較大我們的做法我們的做法-利

11、用文檔自有的關聯關系利用文檔自有的關聯關系經過分析，我們發現，父子概念已經在文檔的結構中體現，例如：1.父文檔塊和子文檔塊在同一個原始文檔中；2.父文檔塊存在指向子文檔的跳轉鏈接；利用文檔固有的元信息做檢索混合檢索對于數據庫的挑戰混合檢索對于數據庫的挑戰混合檢索全文+向量分詞器？索引更新延遲？標量+向量前過濾？后過濾數據類型？是否支持中文？需要優化器動態選擇是不是支持 JSON 等其他多種數據類型的高效解析和索引是否能實時更新？OceanBase 在最新的 4.3.5 版本，支持全文索引、標量+向量的混合檢索（包括前、后過濾）是否支持 NL Mode是否能使用自然語言查詢？JSON+向量數據處

12、理能力數據處理能力 是是RAGRAG重要的支撐重要的支撐效果評估效果評估使用 HotpotQA distractor V1+qwen-plus+text-embedding-v3 評測看著效果不錯，但是？看著效果不錯，但是？非文本的提問非文本的提問-圖片圖片OCR非文本的提問非文本的提問-日志文件日志文件分析用戶意圖判斷需要使用的工具利用工具做日志分析完整解決方案的輸出需要調用工具RAGRAG 的盡頭是的盡頭是 AgentAgent0404未來計劃未來計劃問題推薦問題緩存提升提升RAGRAG執行效率執行效率提升提升RAGRAG準確度準確度RAG+Reasoning微調嵌入、重排模型更多的工具調用更好的被集成（例如 MCP Server）產品化產品化未來計劃未來計劃0505一些感悟一些感悟如果如果沒有沒有計劃對外計劃對外提供解決方案，提供解決方案，不要不要自研自研RAGRAG系統系統信則有，不信則無信則有，不信則無謝謝謝謝特別鳴謝 Kimi、DeepSeek、Claude（盡管有時候會抽風）在寫作過程中的幫助