第四范式 李瀚-生產級AI應用開發挑戰與工程實踐.pdf

《第四范式 李瀚-生產級AI應用開發挑戰與工程實踐.pdf》由會員分享，可在線閱讀，更多相關《第四范式 李瀚-生產級AI應用開發挑戰與工程實踐.pdf（23頁珍藏版）》請在三個皮匠報告上搜索。

1、生產級生產級AIAI應用開發挑戰與工程實踐應用開發挑戰與工程實踐李瀚李瀚 平臺架構師平臺架構師個人簡介個人簡介李瀚第四范式平臺架構師，多年推薦搜索等智能系統及機器學習平臺設計經驗，先后負責第四范式先知，4paradigm Sage HyperCycle等核心產品的設計和開發?，F負責公司零售方向數字化項目落地及主持開源產品FlowEngine（全場景任務編排框架）的研發及運營工作。目錄目錄01AIAI 場景應用開發的痛點場景應用開發的痛點02FlowEngineFlowEngine 功能和架構介紹功能和架構介紹03應用案例分享應用案例分享1.個性化優惠券推薦系統2.大模型問答檢索系統04展望展望

2、內容概述內容概述 AI價值感越來越強，新的AI場景不斷萌生，越來越多開發者想要開發自己的AI場景應用(如推薦，問答)，但從AI模型到AI應用中間有巨大的鴻溝，由于涉及到AI，大數據，云原生等交叉領域，存在著開發運維門檻高，工具流程繁雜，鏈路漫長，角色分散，中小團隊和個人難以承受如此高的復雜度，這對于AI落地存在著相當大的阻礙。作者團隊基于長期的AI產品開發和項目落地經驗，借鑒平臺工程思路，以場景流程任務編排集成作為切入點，集成管理底層中間件，固化AI應用開發流程，給場景開發者統一的聲明式接口，開發者只需要編寫Serverless任務即可完成生產級AI應用服務構建，極大提升了開發的速度及開發質量

3、，并降低了開發成本。該框架現已作為MLOPS產品在公司客戶項目中得到了廣泛的應用，現以對外開源，也收獲到了開發者和用戶的支持。本次分享介紹AI場景應用痛點及一般開發流程，并介紹自依托研開源的框架FlowEngine開發AI場景應用的最佳范式。AIAI 模型模型 !=!=AIAI 系統系統 ！=AIAI 產品產品AI Model（LLM）AI Systemhttps:/ PC is more than its microprocessorA PC is more than its microprocessor!An Apple is better than a PCAn Apple is bet

4、ter than a PC!AI Productvertically integratedStable Diffusion 2.1man ride mono cycle balancing slacklineshutterstockScenario integration不僅僅是不僅僅是“Technical Debt Technical Debt”ServiceintegrateData IntegrationStrategy integrationThe algorithmic code is only a small component of any machine learning so

5、lution.Source:Author inspired by Hidden Technical Debt in Machine Learning Systems.阿列克謝格里戈里耶夫開發痛點一：知識密度大，門檻高開發痛點一：知識密度大，門檻高機器學習云原生大數據算法數據工程The 2023 MAD(Machine Learning,Artificial Intelligence&Data)Landscapehttps:/mlops.neptune.ai/開發痛點二：系統復雜度高，開發運維困難開發痛點二：系統復雜度高，開發運維困難離線近線在線數據錯誤數據丟失數據時序數據定義模型/策略服務與組

6、件接入，存儲，計算，編排監控，質檢，可信版本化，服務自動化softwaresoftware datadata x modelmodel數據和服務鏈路數據質量維護遷移升級開發痛點三：角色多，鏈路長，缺乏最佳實踐開發痛點三：角色多，鏈路長，缺乏最佳實踐快速發展期，流程變種多，調研選型成本高領域標記數據微調向量數據庫LLM推理Prompt構造LLM APIChatGPT等本地模型場景服務context知識庫Embedding預訓練模型調研數據建模接入線上數據ETL（批/流）模型訓練推理調優特征構造模型方案模型行為反饋回流場景服務MLOpsMLOps 流程流程LLMOPSLLMOPS 流程流程問題問題

7、如何才能高效正確的落地生產級AI應用？簡單易用模糊角色技術方案開放主流彈性場景規范一致易集成維護成本低一站式平臺工程化不等于放棄靈活性平臺工程化不等于放棄靈活性0101平臺開發者和平臺用戶的視角差異平臺開發者和平臺用戶的視角差異0202AIAI平臺工程思想平臺工程思想Platform engineering Platform engineering is the discipline of designing and building toolchains and workflows that enable self-service capabilities for software engi

8、neering organizations in the cloud-native era.Platform engineers provide an integrated product most often referred to as an“Internal Developer Platform”covering the operational necessities of the entire lifecycle of an applicationhttps:/platformengineering.org/blog/what-is-platform-engineering切入點切入點

9、系統資源kubernetes組件1組件2組件3編排/集成場景應用場景應用場景應用系統資源應用1應用2應用3任務流編排集成角度切入FlowEngineFlowEngine是什么？是什么？簡單一致的聲明式API/SDK/GUI全場景流水線（離線，在線，近線）Serverless化，無需關注執行和集成細節方案（ASOL）分層共享，應用方案沉淀，遷移，一鍵重建FloweEngine 是一個覆蓋離線，近線，在線場景的聲明式云原生的業務流數據流編排框架，支撐方案開發，應用管理全過程。metadeployPipeline configJob configcmsvcstreamjob configfunc c

10、onfigAI Solution構成架構Hub+Data+EngineManagerEngineBatchPipeline/StreamPipeline/OnlinePipelineRuntimeService Component模塊構成模塊構成核心核心 featurefeatureFlowEngineFlowEngine功能展示功能展示FlowEngineFlowEngine-HUBHUBFlowEngineFlowEngine-APP-APPFlowEngineFlowEngine-Data-Data引擎引擎FlowengineFlowengine功能展示功能展示FlowEngineFlo

11、wEngine 支撐的場景開發模式及特點支撐的場景開發模式及特點GUI/SDK/APIspark數據服務應用服務hive業務系統SparkJobFlinkJobGroovyFuncShellJobPythonJobJavaFuncflinkkafkamysqldorismilvusesParallelJobopenmldb業務系統數倉分析系統方案開發集成開發集成開發：使用已有方案構建場景，統一的聲明式接口操作場景服務，無需關注方案內在執行邏輯方案開發：聚焦場景業務邏輯，無需關注底層技術細節和環境，serverless開發，一次開發，多次使用funcPipelinestreamPipelineA

12、I solution（Asol）batchPipelineKernel|PipelineRuntime|LLMRuntime FlowEngineFlowEngine構建構建 AIAI 應用案例介紹應用案例介紹個性化優惠券推薦系統個性化優惠券推薦系統大模型問答檢索系統大模型問答檢索系統A AB B個性化優惠券推薦系統個性化優惠券推薦系統1、推薦請求進入系統，傳入userId和cityCode2、前置處理：根據userId獲取用戶信息與用戶行為（最近點擊item等）3、召回：分多路從ES召回，熱門召回、用戶偏好召回等，包含各種策略規則配置，候選規則、限制規則等4、過濾：根據規則調用去重服務，獲取

13、去重結果5、排序：組裝特征，調用推理服務組件（tf serving），獲取排序打分值6、重排：按照規則配置，對排序結果進行干預，重新排序7、記錄日志：記錄本次推薦結果到本地文件8、返回推薦響應，為item列表，目前配置為返回100條物料優惠推薦優惠推薦個性化優惠券推薦系統個性化優惠券推薦系統大模型問答檢索系統大模型問答檢索系統增強檢索插件（進行中）增強檢索插件（進行中）1、請求攜帶問題及上下文信息2、前置處理：經過安全審計無害，提取該用戶的文檔權限，補充相關元信息，基于問題進行增強（可利用大模型推薦檢索詞）3、召回：從向量數據庫中結合條件（如權限）召回數據4、提示詞構造：基于上下文構造提示詞（

14、few-shot）5、調用大模型總結答案6、后置處理：對大模型結果進行評估，避免可能的安全風險，另對返回質量打分，觸發相關兜底操作7、返回結果LLM runtime大模型問答檢索系統大模型問答檢索系統Plugin CenterPretrain models(ChatGLM,llama,Alpaca)domain fineTune modelsLocal model Inference ServVector DBTrain data（行業數據）KnowledgeDBfineTuningPrompt WrapperAgent routerpostProcessRemote Model ServOp

15、enAI,HFetcRequestResponsepromptEtl+textspliter+tokenzier+embeddingRetrieve augmenthistory(req+resp)Models/Tools/APISregistLlamaIndex OAIM低頻的標記數據飛書KG高頻的背景數據XcallCall企業內外部服務(含原有推薦等AI場景服務)Open datasetsFlowEngine對langchain+llamaindex能力邊界再擴展，以達到生產級場景需要下一步展望下一步展望加入社區共建：https:/flow-engine.github.io/構建云邊一體的

16、，MLOps 與 LLMops 融合的，面向 AI 和數據驅動型應用的全場景的編排框架更多AI工程化分享:數據 AI大模型 AI邊緣 AI了解更多技術實踐案例了解更多技術實踐案例麥思博(msup)有限公司是一家面向技術型企業的培訓咨詢機構，攜手2000余位中外客座導師，服務于技術團隊的能力提升、軟件工程效能和產品創新迭代，超過3000余家企業續約學習，是科技領域占有率第1的客座導師品牌，msup以整合全球領先經驗實踐為己任，為中國產業快速發展提供智庫。高可用架構主要關注互聯網架構及高可用、可擴展及高性能領域的知識傳播。訂閱用戶覆蓋主流互聯網及軟件領域系統架構技術從業人員。高可用架構系列社群是一個社區組織，其精神是“分享+交流”，提倡社區的人人參與，同時從社區獲得高質量的內容。