李翔-大模型在ToB企服領域的應用實踐.pdf

《李翔-大模型在ToB企服領域的應用實踐.pdf》由會員分享，可在線閱讀，更多相關《李翔-大模型在ToB企服領域的應用實踐.pdf（30頁珍藏版）》請在三個皮匠報告上搜索。

1、大模型在ToB企服領域的技術和應用實踐李翔 WakeData演講嘉賓李翔惟客數據 AI 算法科學家中山大學人工智能方向博士&博士后，珠海市產業青年優秀人才，在人工智能領域有 11 年的研究與落地經驗；熟悉資訊流推薦、畫像預測標簽、NLP、CV、語音識別等多個 AI 方向，并將對應落地成果發表在國際一流期刊以及申請多項發明技術專利目 錄CONTENTS1.大模型發展脈絡以及對趨勢的預判2.大模型在ToB企服領域有哪些機會3.私有化大模型的一些技術細節4.WakeData的思路和實踐大模型發展脈絡以及對趨勢的預判PART 01大語言模型發展概覽閉源大模型：OpenAI模型的演進OpenAI Dev

2、DayGPT-4 Turbo多模態API降價&提速Agent工具GPT商店開源大模型：LLaMA家族開源VS閉源：觀點和思考觀點一：閉源會一直遙遙領先來自OpenAI&Anthropic的高層的一個飯局觀點二：開源會無限接近閉源企業：Meta的LLaMA高校：研究方向的香餑餑依據：壁壘會在哪里？數據：公開數據，RLHF的標注數據數據積累：OpenAI VS Google相比數據飛輪，數據質量更重要人才：流通算力：卡的數量要到什么級別，真的是越多就能形成壁壘嗎？大模型發展方向的預判1 多模態：GPT4-V、BLIP-2、LLAVA、Qwen-vl、CogVLM-17B2 對上下文長token的支

3、持：Claude、月之暗面、百川3 微調技術：LongLora4 Agent：AutoGPT、MetaGPT5 減少幻覺：長期大模型在ToB企服領域有哪些機會PART 02大模型在ToB領域的產品化和商業化思考場景模型行業/領域大模型基礎大模型競爭格局？大廠vs.創業？閉源vs.開源LESME生成式AI內部價值鏈外部價值鏈單點式創新系統性創新私有化部署SaaS+營銷域服務域內部效能獨立自建行業合作/云端調用“訓”vs.“用”：使用大模型的幾種方式01提示詞模式（Prompt only）直接使用提示詞調用API02嵌入向量模式（Embedding）03精調模型模式（Fine-tune）將知識預處

4、理存入向量數據庫，提問時通過相似度查詢找到關聯知識，然后跟問題一起加入提示詞，再調用API將知識通過Fine-Tune訓練存入大模型為什么要有領域大模型？1 一切的一切，都是為了【效果】2 GPT4 的MoE模式3 長期過程：很多領域知識不可見不同的聲音：智譜AI不做細分行業的【行業模型】，因為對大模型的通用性有信心為什么要做私有化大模型？1 私有數據讓大模型的效果更好2 數據隱私和安全3 降低大模型使用成本相關公司：MosaicML ：Databricks以13億美金收購，在上一輪的融資中，其估值為2.2億美元，估值提升6倍Reka：5800萬美金A輪MistralAI：1.13億美元種子輪

5、智譜AIMiniMax私有化大模型的一些技術細節PART 03如何挑選模型？什么是BaseModel，什么是ChatModel如何挑選模型？測試數據集范圍形式規模C-Eval人文、社科、理工等52個學科13948道單選題，涉及52個學科，4類不同難度（初中、高中、大學、專業）學科知識，難度跨度合適，缺乏對生成表達能力的考察CMMLU常識類、人文、社科、理工等共67個主題11,528道單選題，其中67個主題每個主題至少105道題學科知識，選擇題適合快速評測，缺乏對生成表達能力的考察Gaokao-Bench2010-2022年高考試卷，包括文科和理科2811道題目，包括選擇、填空、解答數據質量高，

6、范圍窄、跨度小，主觀評測需要人工參與，成本較高僅供參考-在榜單上得到高分的方式：從GPT-4的預測結果蒸餾，找人工標注然后蒸餾；在網上找到原題加入訓練集中微調模型。然而這樣得到的分數是沒有意義的如何挑選模型？公司模型Token規模MetaLLaMA7、13、70TIIFalcon1T-3.5T7、40、180智譜chatGLM6百川Baichuan2.6T7、13上海AI labInternLM2.3T7、20阿里Qwen2.4T-3T7、14零一萬物Yi3T6、34元象Xverse2.6-3.2T7、13、65如何低成本部署？GeForce RTX 3090：40TFLOPsGeForce

7、RTX 4090：83TFLOPs100TFLOPs瓶頸是顯存和通信、licenceGPU 利用率不高，原因有2個維度：1 故障2 顯存、通信限制如何低成本部署？1 量化性能退化很小 LLaMA 65B INT4 VS LLaMA 30B INT8INT8、INT4降低顯存消耗，但會降低推理速度建議基于官方提供的量化模型2 TensorRT-LLM、TVM模型顯卡FP16INT8INT4chatGLM3T418 token3 token6 tokenLLaMA-7BA400028 token10 token17 tokenBaichuan2-13BA80035 token10 token Wa

8、keData的解決思路和實踐PART 04新一代領域大模型平臺：WakeMind企業內部服務產品應用和行業服務產品設計需求設計需求理解圖片生成開發測試代碼生成代碼審核自動測試市場營銷增長獲客文案生成視頻生成運營管理經營預警文件審核招聘助手置業行業智能客服會話標簽智能建檔汽車行業意向度洞察營銷文案生成銷售合規分析零售行業導購話術生成客戶標簽生成導購知識培訓CDP會員MA/SCRM惟數/昆侖標簽生成文本標簽提取營銷素材生成營銷文案生成規則填充情感分析代碼生成自動建模平臺層場景管理場景創建運營監控數據管理數據集數據清洗模型層閉源模型接入和管理私有化模型服務賬戶和權限管理ChatGPT文心GLM應用層

9、通義數據標注數據增強模型調優PretrainingSFTRLHF增量訓練Prompt工程行業模板領域模板場景模板自動優化Plugin庫服務管理插件市場調試編排能力調用chatGLMYiBaichuanQwen獨立自建私有化大模型的落地方法場景梳理盤點業務系統、識別關鍵痛點、整理潛在場景方案設計效果評測模型微調準備用例和測試數據評測效果并分析優化將場景需求與AI能力匹配評估策略和方案整理預訓練數據和標注大模型訓練落地跟蹤Prompt調整、業務流程上線，效果跟蹤和問題反饋領域大模型落地經驗不動產領域1 數據集：57M tokens：專業文章、國家GB標準文檔、書籍、論壇圈子；問答對：56k600M

10、 tokens：通用數據2 三種訓練方式：重頭訓：貴、需要海量數據（先基礎后專業）基于Basemodel或者Chatmodel直接instruction-tuning基于Basemodel先post-training再instruction-tuning3 模型：Baichuan2 13B4 結論：1 Basemodel直接instruction-tuning2 Chatmodel 直接instruction-tuning3 Basemodel post-training（盡量只用領域數據，不要融合數據），再instruction-tuning4 instruction-tuning 可以做融

11、合數據產品和行業服務場景 場景1數據資產建設適用人員：業務適用場景：快速低成本的搭建數據資產圖譜，提高數據資產的復用率場景2自動生成畫像標簽適用人員：業務適用場景：CDP中自動生成畫像標簽，提升標簽構建效率場景3多模態智能對話適用人員：業務適用場景：基于地產行業垂直場景數據，服務地產營銷和服務對話場景 企業內部服務場景（1/2）場景1數據建模適用人員：架構師、工程師適用場景：架構師通過ER圖來表示數據的業務流轉與存儲邏輯場景2SQL編寫/優化/診斷適用人員：架構師、工程師、運維適用場景：對SQL進行診斷和優化，提升編寫效率場景3統一語言自動補充適用人員：產品、架構師、開發測試適用場景：在軟件開發的任意節點都可以添加統一語言，快速預生成統一語言的英文、定義和舉例，提高開發效率企業內部服務場景(2/2)場景4單元測試適用人員：開發人員適用場景：在代碼寫完之后，通過大模型自動生成單元測試場景5DDD知識輔助適用人員：架構師、產品、開發測試適用場景：在DDD領域知識方面，輔助引導正確構建領域模型場景6數值指標精準回答適用人員：業務適用場景：基于企業自有數據，確保大模型回答指標數據的準確性AGI即將發生 堅守長期主義最后的話THANKS