馬根明-百度文心智能體開發實戰與分發模式創新.pdf

《馬根明-百度文心智能體開發實戰與分發模式創新.pdf》由會員分享，可在線閱讀，更多相關《馬根明-百度文心智能體開發實戰與分發模式創新.pdf（41頁珍藏版）》請在三個皮匠報告上搜索。

1、Agent開發實戰與分發模式創新演講人：馬根明目 錄01引言02Agent開發實戰03分發模式創新04安全與隱私保護05總結與展望01引言Agent(智能體)是什么智能體是一種在大語言模型基礎上構建的智能實體，擁有自主思考和行動的能力。智能體就像一個聰明的助手，能夠深度理解你的需求，甚至拆分子任務，并調用各種工具擴展自身能力，從而完成你的各種具體指令。自主性無需人工干預，具備自主探索和決策能力反應性先思考后行動，能快速應對環境中的變化和刺激主動性不止于應對環境變化，能推理、計劃和行動，來實現特定目標社交能力可以與其他智能體（包括人類）進行交互Agent智能體Tools工具Planning推理規

2、劃Memory記憶Action執行短期記憶長期記憶日歷計算器代碼解釋器搜索思維鏈自檢子目標拆解深度思考Agent 和LLM（大模型）的區別在于，大模型與人類之間的交互是基于prompt 實現的，用戶prompt 是否清晰明確會影響大模型回答的效果。而Agent的工作僅需給定一個目標，它就能夠針對目標獨立思考并做出行動。智能體是如何運行的幫我做一個去上海玩的攻略請問您計劃去多久，和誰一起這周末吧智能體常見場景【生活助手】爸媽防騙助手【互動游戲】慶余年密室逃脫【人物角色】蘇軾【領域專家】農民院士智能體【提效工具】TreeMind樹圖【學習】讀書專家【圖創】創客貼海報設計助手【文創】悟智智文助手AI

3、的發展給各行各業帶來巨大的機遇和挑戰02Agent開發實戰（文心智能體）文心智能體平臺AgentBuilder是基于文心大模型的智能體構建平臺，提供自然語言創建智能體的開發新范式。支持廣大開發者根據自身行業領域、應用場景，采用多樣化的能力、工具，打造大模型時代的智能體。并為開發者提供百度生態+域外分發路徑和多元的商業機會，助力開發者完成商業閉環，是“開發+分發+運營+變現”一站式智能體賦能平臺。開發難度低調優迭代快分發渠道廣商業可閉環官網：文心智能體整體架構圖入駐管理基礎能力Agent(智能體)開發文心大模型：EB3.5/4/speed等文心系列模型 模型業務功能向量數據庫開發能力知識庫管理文

4、件解析段落分割向量加工向量檢索Embedding SDKGDP SDK核心服務基礎業務服務（帳號,交易等)Assistant API(上下文,知識增強,tools)Tools(原plugins)分發管理數據分析經營/運營能力調優站內信消息Prompt管理版本管理調式能力推薦生成智能優化可視化開發開發畫布調式預覽應用部署三方組件調試與測試全流程trace測試集管理質量與安全機審能力效果評估巡檢能力風控能力內容風控中臺大模型中臺全鏈路監控LUI交互操作服務Function Call 召回調式與日志服務服務API管理一站式服務托管基于LUI進行全流程開發代碼生成部署發布運行接入SDK/Open AP

5、ILLMAPI云服務生態服務多語言/跨平臺協議規范標準協議解析組件庫布局系統設計系統宿主通信開發工具idata/ievalue調試標記百度公有云基礎設施文心智能體設計范式任務描述對話文心一言工具記憶Zeroshot Prompt觀測PlanReActZero-shotReAct任務描述對話文心一言工具記憶Fewshot Prompt觀測思考Think任務描述對話文心一言工具記憶Fewshot Prompt觀測規劃Think思考Plan PromptPlan一切都是工具檢索增強indexingQueryRetrievalLLMFileParserLLM文件對話LLM PlanRetrievalC

6、ode-interpreterLLM Generate工具基于工具的任務規劃開發新范式：“一句話”開發智能體輸入你的idea要做一個什么設定的角色，或想要解決什么問題數據庫知識庫多尺寸模型模板復制數字形象官方插件長期記憶商業鏈接你的智能體生成你的智能體平臺能力支撐自動生成設定、勾選配置，快捷創建智能體調優迭代快：可成長的智能體開發者根據診斷建議進行調優分 發智能體診斷調優冷 啟創 建Prompt優化知識庫優化工具集優化分發冷啟動界定能力范圍效果評估反饋用戶動作反饋正負向case分析能力拓展模型升級LGUI交互支持文、圖、表、視頻的動態化渲染新加坡文旅智能體案例03分發模式創新分發渠道廣：全域智

7、能分發自然結果滿足搜索精準尋址AI助手微信小度（含旗下添添系列）Agent分發中的問題篩選優化：評估促進Agent進化深度刻畫：準確刻畫Agent的能力精準匹配：將Query調度到最優AgentQueryAgent 評估Agent 理解Agent 調度Agent評估好的評估機制與產品的相關性高可解釋性好成本低、速度快Train DataEval DataProd Test Data傳統模型評估問題：訓練數據的分布不可知，產品與訓練數據分布差異較大評估集人工評估聚合打分人工評估問題：評估集異常龐大、成本高、速度慢Agent評估LLM-EvalHuman-EvalAuto-EvalUser-Fee

8、dback前向：LLM泛化評估集LLM自動評估人工評估校驗后向：用戶反饋信號自動評估開發者優化評估效果、成本和速度的平衡Agent理解鏈接分析內容理解網頁理解時效性質量權威性 Agent內容是動態生成 Agent的能力邊界模糊 Agent可進化/退化Agent Data流式理解語義多表征Agent理解通過多維表征來刻畫Agent能力問題：Agent調度需求識別泛化理解Agent調度Agent2Agent3Agent1需求理解檢索調度多表征語義索引Agent召回Agent排序如何打造一個好的智能體-新加坡旅游局智能體創建步驟1.設定智能體能力邊界邊界清晰、功能明確能力重點突出設定評估集合2.根據

9、功能邊界拆分能力點私有數據、私有工具共享工具能力3.完成能力點4.創建智能體、初版調優5.評估智能體效果根據評估集合6.拆分case分析case問題，并定位7.8.發布 后 持續運營知識庫1.所有文旅公眾號內容2.官方政策類信息插件1.景點查詢2.攻略查詢3.休閑娛POI點查詢4.酒店查詢5.城市景點榜單查詢創建知識庫、插件、工作流延展智能體邊界文旅分發全流程跨平臺兼容性與標準化問題多端創建、多端分發：文心智能體平臺和三方智能體作為智能體生產端，采取統一協議，分別供給搜索和第三方進行智能體分發。一體多端方案文小言一言web小度星河社區華為三星智能體生產創建調優審核經營三方智能體巧艙千帆Appb

10、uidler文小言垂類/其他接入服務入駐API對話API輸出API搜索分發輸出智能體端/H5智能體分發服務輸出智能體H5嵌入交互SDK分發服務AgentProxy3個API和2個SDK入駐API：統一Agent的Meta信息，抹平創建端差異輸出API：將可分發的Agent輸出給多個分發渠道對話API：通過統一的對話協議，調起多端創建的Agent交互SDK：提供默認兜底的Agent交互效果監聽SDK：非平臺Agent落地頁上傳對話信息用以優化分發效果落地頁嵌入監聽SDK04安全與隱私保護大模型的數據安全與隱私保護數據安全問題、AI的可信度問題、隱私保護問題等等，都在沖撞著當前的數據治理格局。越獄

11、越獄2023年3月，韓國三星電子員工因違規使用 ChatGPT，在短短 20 天內便發生了三起半導體機密資料外泄事件。2023年6月，美國科技新聞網站 CNET 被發現使用人工智能軟件生成了 70 多篇文章，其中包含嚴重的事實錯誤。2023年10月，科大訊飛 AI 學習機因內容審核不嚴格導致不當內容被用于數據訓練，引發輿情事件，致使市值蒸發 120 億。2024年8月，360兒童手表答疑時出現爭議言論。大模型內容監管政策要求互聯網信息服務深度合成管理規定“提供深度合成服務，應當遵守法律法規，尊重社會公德和倫理道德，堅持正確政治方向、輿論導向、價值取向，促進深度合成服務向上向善。具有輿論屬性或者

12、社會動員能力的深度合成服務提供者，應當按照互聯網信息服務算法推薦管理規定履行備案和變更、注銷備案手續。深度合成服務技術支持者應當參照前款規定履行備案和變更、注銷備案手續?！鄙墒饺斯ぶ悄芊展芾頃盒修k法生成式人工智能服務安全基本要點“堅持社會主義核心價值觀，不得生成煽動顛覆國家政權、推翻社會主義制度，危害國家安全和利益、損害國家形象，煽動分裂國家、破壞國家統一和社會穩定，宣揚恐怖主義、極端主義，宣揚民族仇恨、民族歧視，暴力、淫穢色情，以及虛假有害信息等法律、行政法規禁止的內容。具有輿論屬性或者社會動員能力的生成式人工智能服務的，應當開展安全評估，并按照互聯網信息服務算法推薦管理規定履行算法備案

13、國內首個生成式AI安全指導性文件，百度安全深入參與要點內容編寫要點給出了生成式人工智能服務在安全方面的基本要求，包括語料安全、模型安全、安全措施、安全評估等，并明確了違反社會主義核心價值觀的內容、歧視性內容、商業違法違規、侵犯他人合法權益等在內的5大類31種風險；每一個大模型企業的生成式AI產品若想要“持證上崗”，需逐條核對是否符合這份文件中的要求。LLM應用面臨的安全挑戰圍繞企業的前置業務環節容易出現各類安全風險：如賬號風險、業務風險。針對“提問內容”存在的安全挑戰：用戶輸入的 prompt 也能存在各類違法違規內容風險，主要包括黃賭毒、涉政敏感、惡意代碼等。另外用戶輸入的 prompt 屬

14、于提示注入攻擊（目標劫持注入/提示泄露/越獄攻擊等），近期對大模型產生較大影響的新型漏洞，特別是對于那些采用提示學習方法的模型而言。注入惡意指令的提示可以通過操縱模型的正常輸出過程以導致大語言模型產生不適當、有偏見或有害的輸出。針對“輸出內容”存在的安全挑戰：圍繞大模型生成內容，具有一定的隨機、不可控的情況，容易出現違規內容、歧視偏見、隱私泄漏、內容侵權等諸多風險。用戶提問內容服務返回內容百度大模型安全合規防護體系文心大模型多模態內容生成文本圖片音頻視頻正常返回請求風險問題返回內容提示詞注入攻擊代碼注入檢測網址安全檢測虛假信息防范數據安全Prompt審核/改寫/代答安全Prompt違規內容檢測

15、Prompt風險提示AI生成內容安全過濾多輪指代改寫紅線知識庫Prompt內容審核大模型安全引擎模型管理策略管理詞庫管理自動定義知識庫【TC260】五大類31中風險：涉黃/涉賭/涉毒/涉政/涉軍/涉恐/涉暴/辱罵惡意代碼/虛假信息/反社會價值觀/內容侵權/偏見/歧視/隱私泄漏風險紅線大模型檢索增強多語種安全LLM應用面臨的安全挑戰-解決方案隱私問題記憶隱私泄露：在學習的過程中在學習的過程中,除除了提取的語言知識之外，模型無可避了提取的語言知識之外，模型無可避免的會記住一些數據。從而返回了他免的會記住一些數據。從而返回了他人的隱私信息。如右圖：人的隱私信息。如右圖：系統隱私泄露：大家熟知的“騙取

16、大家熟知的“騙取GPTs GPTs 的的System PromptSystem Prompt”就是系統”就是系統隱私泄漏的一種。隱私泄漏的一種。上下文隱私泄露：上下文隱私泄漏，會暴露根據記憶暴露用戶信息。上下文隱私泄漏，會暴露根據記憶暴露用戶信息。隱私保護 解決方案數據清洗,減少隱私信息隱私敏感信息脫敏記憶隱私系統隱私上下文隱私做好用戶間的數據隔離05總結與展望總結創意搜索轉化Agent低門檻開發自動入分發優化用戶體驗介紹了Agent的發展和開發范式，目前已經實現了很多應用，但是還是在發展階段，離理想的Agent模型，還有不小的距離。文心智能體平臺：支撐Agent研發、分發的開發者平臺展望 依

17、托智能體（AI Agent）的環境感知與交互、自主規劃和行動等能力，兼具工具和情感屬性的特點，尤其是在多模態+UI交互的加持下，有望開拓出更豐富甚至全新的應用場景。Google智能眼鏡也對其支持，意味著未來脫離手機和電腦使用AI Agent成為可能。面向智能交互的多模態大模型是端側Agent落地的基石，近期海內外科技巨頭和AI初創公司陸續推出UI識別和操作模型、類Agent產品，未來模型層和應用層的行業競爭可能會進一步加劇。展望 降門檻、提效果 提供更多Agent范式 提供更多元優化手段研發 Agent理解更充分 Agent調度更準確 Multi-Agent分發從平臺的角度來看，未來從研發和分發上還有很多事情要做。THANKS大模型正在重新定義軟件Large Language Model Is Redefining The Software