2025年的RAGFlow：多模態、上下文記憶、推理.pdf

《2025年的RAGFlow：多模態、上下文記憶、推理.pdf》由會員分享，可在線閱讀，更多相關《2025年的RAGFlow：多模態、上下文記憶、推理.pdf（38頁珍藏版）》請在三個皮匠報告上搜索。

1、 2025年的RAGFlow演講人：張穎峰多模態、上下文記憶、推理推理篇上下文和記憶多模態RAG總結推理篇推理篇Nave RAG+RLM=Reasoning?SearchQuestionReadReasoningAnswer需要根據內部數據生成推理鏈Agentic ReasoningReasoningQuestionSub questionSearchAnswerReason in DocumentsSub questionSub questionSearchSearchIteration系列Agentic Reasoning Search o1 牛津 Agentic Reasoning 微軟

2、 PIKE-RAG LevelRAG 系列 Deep ResearchAgentic ReasoningRAGFlowReasoningQuestionSub questionWeb SearchAnswerSub questionSub questionRAGGraphRAGIterationAgentic ReasoningDemoAgentic ReasoningDemo改進MCTSQuestion ReasoningSub QuestionReasoningAnswerSub QuestionReasoningAnswerRetrievalAnswerRetrievalSummaryR

3、etrievalSummarySummary核心與挑戰 推理的核心迭代式反思 只靠 LLM 好么LLM 做 Plan 很多缺點 如何終止迭代？Agent實現的2種構型 依靠 LLM 評估推理鏈質量 依靠 RL微調，通過獎勵函數學習到跟環境交互的正確姿勢 多觀察，多行動，少思考Agentic 的價值RAG+RL Search R1 R1 Searcher ReSearch DeepResearcherQo1o2o3Reward ModelReference LLMr1r2r3Group ComputationA1A2A3KL生成搜索查詢和推理步驟生成答案和真實答案一致生成答案符合推理格式Retr

4、ievalPolicy LLMRollouts上下文和記憶上下文和記憶Memory 與 Agent檢索提問Reasoner回答內容Memory搜索思考輸出Memory 與 RAG 的區別和聯系 動態記憶管理記憶的衰減與淘汰 Agent 配套MemoryRetrievalPlanReflectActAgent Memory 檢索差別時間/權重/相關度共享與隔離任務狀態跟蹤上下文保持任務依賴管理Memory 的本質LLM無限上下文Reasoning過濾混合搜索重排序查詢重寫輔助推理GraphRAGRAPTORContextual Retrieval本質是一種注意力實現Contextual Memo

5、ry 和 Long-term Memory外部知識交互信息記憶來源記憶格式文本參數記憶訪問實時搜索與過濾Attention 增強互動：保持上下文，提供更相關和個性化的響應 改進推理：訪問以前得出的結論，使模型執行復雜推理而無需重新處理輸入數據 促進學習：適應用戶個性化偏好Memory的多種實現手段TextMemory APIFull Text IndexVector IndexGraph IndexReal Time Index DatabaseEmbedding ServiceText工作記憶（KV Cache）LLMTransformerIndex顯式記憶(KV Cache)工作記憶（KV

6、 Cache）LLMTransformerAttention Engine-ITokenTokenTokenTokenAttention Score LM HeadGenerationEntropyLogits(Prediction scores)+RetrievalAttention Engine-IIQuery AttentionKVAttentionIndexSparse Attention上下文記憶MCP ServerRemote ResourceInternetMCP ServerLocal ResourceLocal MachineMCP ServerLocal ResourceC

7、lientClientClientLLMContextual MemoryAgentMAS舉例LLMToolsLLMReporter AgentRAG Retrieve Agent診斷計劃PlanRAG 臨床報告診斷報告案例多模態多模態RAGRAG多模態RAGVisual Language ModelViDoRe BenchmarkQwen2 VL 7B=ColQwen2PaliGemma=ColPali從Vector到TensorVLM 把一頁PDF看作 32*32=1024 patches每個Patch 表示為128維向量多模態RAGPDF1PDF2page1page2page1page2

8、ColPali每頁采用一個Tensor來表示一個PDF切分成多頁TensorAnswer:1228Whats Chinas IDC business market size in 2018?VLMTensor 和 延遲交互模型QueryDocument PassageTransformerTransformerEmbeddingEmbeddingEmbeddingEmbeddingEmbeddingEmbeddingEmbeddingEmbeddingEmbeddingEmbeddingPoolingPoolingEmbeddingEmbeddingSimilarityQueryDocumen

9、t PassageTransformerMLPScoreDual EncoderCross EncoderLate Interaction EncoderTransformerTransformerMaxSimMaxSimMaxSimOffline IndexingScoreQueryDocument Passage如何得到 Col-xx 模型Text Query正相關 Page Image負相關Page Image訓練數據VLM(eg:PaliGemma)ColAdaptor訓練Adaptor權重，學習如何在同一向量空間中表示文本和Patch投影contrastive loss延遲交互訓練數

10、據獲得：可以用VLM生成查詢，根據提示詞生成三類覆蓋文檔主要主題具體細節查詢視覺元素查詢視頻 Video-ColBERTTemporal EncoderVisual Expansion Tokens Image TokensQuery TokenssScalingMulti Vector IndexFull Text SearchTensor RerankerTop 1000 resultsTop resultsQuestionTensor Reranker二值量化Multi-Vector 向量索引全文索引多模態RAG在等待配套的Infra成熟DB側模型側降維（MRL）降Token（Const

11、BERT/SVD）InfinityIndexing Database多路召回結構化數據查詢融合排序TensorSparse VectorDense VectorFull Text SearchColumnar StoreSecondary IndexNumeric/StringDense VectorTextVector IndexFull text IndexSparse VectorTensorSparse Vector IndexTensor Index多模態 RAG 的路徑Object DetectionDoc LayoutText ImageOCRGeneral ImageVLMTextCol-xxxTensorCol-xxxTensorTextVLMText總結總結 RAG作為單獨一層的重要性更加凸顯 RAG跟Agent交互更加頻繁，2者合作和競爭均同時存在 RAG 的內涵會更加擴大嘻嘻嘻嘻嘻嘻嘻嘻嘻嘻嘻嘻嘻嘻嘻嘻嘻https:/