客服業務大模型運營實踐.pdf

1、客服業務大模型運營實踐模力驅動袁 建|火山引擎智能客服運營專家曾經的智能客服閑聊情緒安撫技能RAG人設描述技能描述召回知識輸出要求售前銷售售后問答知識文檔1知識文檔2知識文檔3知識文檔NLLMPrompt編寫文檔提示詞工程效果評估閑聊天氣預報客服用語答案意圖識別問題分類情緒安撫話術天氣問題禮貌問候意圖訓練加相似問預設答案如何通過大模型提升效果-智能客服Bot傳統智能客服的運營動作大模型智能客服的運營動作用戶query業務賬號問題活動優惠商品屬性賬號答案活動答案商品答案用戶query業務知識客服領域知識通識(情緒/閑聊)Before智能客服Bot-同頻共情，真正解決用戶問題 基于問題識別的單輪問

2、答服務生硬、話術刻板、缺乏人性化表達、無法識別情緒，智能解決率和滿意度低于50%QQ匹配+上下文回復QQ匹配+多輪問答QQ匹配+情緒識別After基于大模型+RAG的多輪對話多輪對話、澄清、個性化閑聊，擬人化服務，讓方案更明確、對話更順滑自動澄清，追問后多輪回復結合上下文個性化回復情緒識別自動安撫+策略，多輪對話智能客服Bot-提升智能服務運營效率Before傳統模式運營面臨的挑戰After大模型釋放運營生產力內容覆蓋不全面，僅能回答常見問題難以應對復雜多變的客戶咨詢01知識庫有限回復話術較為刻板，缺乏人性化表達需客戶多次描述問題才能理解03服務較為生硬010203完備知識庫業務配置效率高擬人

3、化服務業務 辦理【多輪會話配置】40天知識 咨詢【知識梳理配置】50天通識/閑聊【通識閑聊梳理】10天02配置效率低業務辦理【大模型復制配置】10天知識咨詢【大模型知識問答，知識庫自動識別】5天通識/閑聊【大模型通識回復/人設Prompt】0.5天涵蓋各類知識領域，能準確回答各種專業問題實時更新知識，適應不斷變化的業務需求語言表達自然流暢，如同與真人交流能感知客戶情緒，給予恰當的回應和安撫從有限到完備知識儲備：從生硬到擬人服務風格：提升配置效率：5倍如何通過大模型提升效果-客服助手Copilot半年前現在三個月前大模型精調，高質量對話數據精調模型線上采納率接近50%；解決率顯著提升面臨的挑戰：

4、模型訓練周期長，無法滿足知識靈活變更的要求適合場景：業務知識變更頻率在36個月的場景大模型提示詞工程，基模+RAG滿足知識靈活變更的要求知識變更只需維護文檔，快速上線簡單咨詢場景：評測可用率90%+（適合變更頻率高的場景，如活動咨詢）復雜咨詢場景：評測可用率不足50%（不適合服務方案因規則而動態變化的場景）大模型提示詞工程：基模+結構化提示詞滿足復雜咨詢場景的要求通過業務知識文檔+業務變量，生成結構化提示詞(支持規則判斷)利用豆包大模型的32k長tokens特性復雜咨詢場景，生成回復評測可用率70%+，線上采納率超60%模力拼圖：60%文檔檢索生成回復+30%結構化提示詞+10%精調RAGPr

5、omptSFT客服助手Copilot-大模型應用五要素的變化基礎模型升級業務知識加工上下文完善職場對坐席要求放寬回復內容合規半年前現在驗證場景回復評測可用率低于30%生成完整回復時間：十多秒升級前的大模型回復可用率 75%生成完整回復時間：5s流程遵循能力提升升級后大模型常規的標準問題缺少多樣性缺少相似問法使用知識知識原始格式上下文對話 用戶特征 相關場景診斷特征 信息完善坐席需要確定內容準確性，質檢點較多強依賴坐席的采納/信任，例如離線評測可用率60%，坐席采納20%L2 是AI輔助人工只能攔住一些明顯合規問題，例如安全、辱罵等剎車模型線上對話提煉QA對補全話術多樣性補全相似問法 業務知識的

6、加工完備上下文對話 用戶特征相關場景特征 信息完善坐席只需要管是否應跳出，質檢點較少強依賴模型的能力，離線評測可用率75%，自主完結率60%L3是人工輔助AI不合規的回復內容攔截不恰當的回復內容改寫質檢模型如何實現人工客服的“智能駕駛”L2-L3傳統服務導航模式：1v3L2 AI輔助人工模式：1v6L3 人工輔助AI模式：1v9如何通過大模型提升效果-客服質檢Agent傳統客服質檢大模型質檢業務效果并不及預期質檢規則通過關鍵詞+規則方式，定義質檢扣分項抽樣質檢抽樣全量會話的5%問題出在了哪里？質檢規則通過提示詞描述質檢扣分項全量質檢全量會話進行機器質檢提升：問題發現的準確率、召回率提升到了90

7、%+水平提升：問題發現量提升20倍問題：大部分會話處于未覆蓋的情況，很多問題沒有被發現問題：規則設定死板，檢出準確率召回率偏低雖然質檢出來的問題量大幅提升，但是服務質量沒有提升用戶滿意度和解決率沒有效果客服的離職率明顯提升客服質檢Agent-回歸服務本質，提升用戶體驗BeforeAfter客服只思考怎么不被罰，不思考怎么服務更好以扣罰客服為核心，制定流程框架，用大模型當武器，懲罰每個不符合框架的客服客服回復機械化，服務缺乏溫度運營除了懲罰客服外，缺乏正向管理手段服務交付模式：精準捕捉用戶情緒，啟發客服更好服務以用戶為核心，用大模型當導師，引導客服如何更好的服務用戶針對客服回復不好地方，給出針對

8、建議運營搭建用戶視角評價體系，獎懲分明用戶體驗模式：實現管理正循環，助力業務降本提效工具+運營理念雙向升級限制客服啟發客服扣罰為主引導為主惡性循環管理者坐席正向循環管理者坐席大模型運營團隊客服質檢Agent-從“客服執行”到“用戶體驗”的升級之路以用戶視角，定義服務質量好壞自動推送解決率高的優秀服務案例給末尾坐席用戶視角服務為先案例賦能看清服務數據、準確發現解決率低的場景、及時管理解決率低的坐席服務好評率9月10日9月11日9月12日9月13日9月14日9月15日9月16日1分【敷衍】服務量2分【傳聲筒】服務量3分【解決】服務量4分【驚喜】服務量服務好評率好模型需要好運營大模型提升運營生產力Thanks感謝觀看