下一代 RAG 引擎的技術挑戰與實現-張穎峰.pdf

《下一代 RAG 引擎的技術挑戰與實現-張穎峰.pdf》由會員分享，可在線閱讀，更多相關《下一代 RAG 引擎的技術挑戰與實現-張穎峰.pdf（35頁珍藏版）》請在三個皮匠報告上搜索。

1、下一代下一代RAGRAG引擎引擎 技術挑戰與實現技術挑戰與實現演講人：張穎峰目 錄01下一代RAG引擎02數據抽取模型03混合搜索04高級RAG下一代RAG引擎01RAG 架構模式ExtractionIndexingRetrievalGenerationChunksEmbeddingsVectorDBEmbeddingsQuestionAnswerChunkingRelevant chunksEmbedding modelEmbedding modelSearchRecommenderConversational AIprompts當前 RAG 面臨的挑戰 挑戰二：文檔結構復雜，數據太亂，Ga

2、rbage In,Garbage Out 挑戰一：向量的召回無法滿足要求 挑戰三：問題和答案所在文檔關聯不大，很難通過問題找到正確文檔下一代 RAG 架構切塊切塊切塊切塊全文索引向量索引稀疏向量索引表格布局模型文檔布局模型Embedding模型向量稀疏向量Embedding 模型Tensor Reranker問題關鍵詞知識圖譜構建數據抽取模型查詢改寫模型圖索引LLMAI Native DatabaseofflineonlineGarbage In,Garbage Out向量召回無法滿足要求問題和答案之間存在語義鴻溝答案和引用生成Infinity+RAGFlow=InfiniflowExtrac

3、tionIndexingRetrievalGenerationRetrieval AugmentationQuery rewriting modelReranking modelTensorSparse VectorDense VectorFull TextGraph embeddingGraph queryStructured data queryFused RankingRAGFlowInfinityDocument structure recognition modelTable structure recognition modelKnowledge graph constructio

4、n modelDocument ClusteringDocument parsingDocument semantic pre-processing數據抽取模型02概要Documents文檔結構識別模型頁眉頁腳段落圖片表格掃描？OCR文字換行檢測NYChunking結果標題補全圖片截取表格結構識別模型流程圖、餅圖、柱狀圖Chunking結果多模態模型Chunking調整抽取模型的 RAGFlow 對比0.00.51.0AccuracyRAGFlow ProOpensource naive RAGCommercial RAG product0.85RAGFlow0.650.80.970.350.

5、650.150.5完全準確率部分準確率表格識別模型 單元格邊界判定 表頭信息判定 單元格合并判定 表格跨頁判定表格識別模型Code BookCNN EncoderCNN DecoderImageTransformer EncoderTransformer DecoderVAEEncoderDecoder文檔“大”模型Vision Encoder表格流程圖餅圖柱狀圖Transformer EncoderTransformer DecoderHTMLText Decoder各類圖表Multimodal EncoderText Decoder各類圖表Vision EncoderText Decode

6、r各類圖表Object DetectionTextTextSemantic Text“雕花”還是多模態LLM？混合搜索03Indexing Database多路召回結構化數據查詢融合排序TensorSparse VectorDense VectorFull Text SearchColumnar StoreSecondary IndexNumeric/StringDense VectorTextVector IndexFull text IndexSparse VectorTensorSparse Vector IndexTensor IndexBenchmarkEfficiencyEffec

7、tVector DatabasesTraditional DatabasesRAG數據庫選型對比全文搜索+向量幾路召回？nDCG10406080MLDR long-document retrieval benchmark(English)DenseSparseBM25+Dense+RRFBM25+Dense+Sparse+RRFDense+Sparse+RRFBM25+Dense+Sparse+ColBERT RerankerEmbedding Model:BGE-M3BM25BM25+Sparse+RRF49.0561.6459.8663.5267.5174.5463.3366.72排序模型

8、QueryDocument PassageTransformerTransformerEmbeddingEmbeddingEmbeddingEmbeddingEmbeddingEmbeddingEmbeddingEmbeddingEmbeddingEmbeddingPoolingPoolingEmbeddingEmbeddingSimilarityQueryDocument PassageTransformerMLPScoreDual EncoderCross EncoderLate Interaction EncoderTransformerTransformerEmbeddingEmbed

9、dingEmbeddingEmbeddingEmbeddingEmbeddingEmbeddingEmbeddingEmbeddingMaxSimMaxSimMaxSimOffline IndexingScoreQueryDocument PassageColBERT的收益EfficiencyEffectCross EncoderLate InteractionDense EncoderKeyword SearchColBERT的收益nDCG10406080MLDR long-document retrieval benchmark(English)DenseSparseBM25+Dense+

10、RRFBM25+Dense+Sparse+RRFDense+Sparse+RRFBM25+Dense+Sparse+ColBERTEmbedding Model:BGE-M3BM25BM25+Dense+ColBERTBM25+ColBERTDense+ColBERTSparse+ColBERTDense+Sparse+ColBERT49.0561.6459.8663.5263.3366.7273.3574.5465.6372.8273.4573.35ColBERT ranker 還是 reranker？nDCG10406080MLDR long-document retrieval benc

11、hmark(English)Embedding Model:BGE-M3ColBERTEMVB IndexBM25+ColBERT RerankerColBERT Brute force72.2373.3574.11延遲交互是 RAG的未來nDCG10406080MIRACLBge-m3JaColBERT72.878JaColBERT延遲交互是 RAG的未來 超過 BGE 110M 每個Token 96維 Binary量化后每個Token 12 byteanswerai-colbert-small-v1 基于JaColBERT 33M參數 延遲交互是 RAG的未來Query：Which hou

12、r of the dayhad the highest overall electricitygeneration in 2019?nDCG5406080AVGBiPaliColPali58.881.3ColPali高級RAG04Agentic RAG復雜問答開始意圖打分檢索查詢重寫生成微信Agentic RAG反思自我糾錯和迭代工具workflow多Agent協作規劃workflow查詢意圖識別知識圖譜文檔解析算法文檔聚類和摘要RAPTOR查詢改寫Agentic RAG復雜問答QueryRetrievalGradeGenerationAnswerQuery RewriteRelevant?A

13、nswer question?NoYesYesNoQuery IntentRouter 1Web SearchAsk LLMOthers routersRouter 2知識圖譜PassageEntityPassageEntityPassagePassageEntityEntityDataEntitiesGraph Construction and AugmentationQueryEntityEntityPPRTriplex知識圖譜EntityEntityEntityPassagePassageEntityEntityDataEntitiesGraph Construction and Aug

14、mentationQueryEmbeddingTriplexEntityGNNCommunityPageRank(Node2vec)用QA來改進GNNSummarySummaryAI Native Database文檔理解RAG 2.0 PlatformRAG 2.0 PlatformKG 構建多模態EmbeddingAgent 引擎獵頭員工支持人力文檔助手合規校驗合規個性化服務工作流支持汽車客戶服務決策支持客戶服務審計自動化質量控制運營提效財務IT制造客戶服務個性化服務醫療AI搜索客服電商3B下一代RAG平臺THANKS智能未來，探索 AI 無限可能Intelligent Future,Exploring the Boundless Possibilities of AIhttps:/