大語言模型在ICT運維領域的研究及應用-datafun.pdf

《大語言模型在ICT運維領域的研究及應用-datafun.pdf》由會員分享，可在線閱讀，更多相關《大語言模型在ICT運維領域的研究及應用-datafun.pdf（30頁珍藏版）》請在三個皮匠報告上搜索。

1、DataFunSummit#2023大語言模型在ICT運維領域的研究及應用陶仕敏-華為-2012文本機器翻譯實驗室技術專家個人及團隊介紹 2016年至今：華為2012文本機器翻譯實驗室，技術專家。Lab北京團隊及創新技術合作負責人。主要研究方向：智能運維、神經機器翻譯、基于日志的大模型研究及應用 之前主要經歷：百度。歷任工程師、技術經理和智能運維負責人，主要工作職責：運維平臺建設，智能運維產品開發 孟偉彬：華為數通產品線技術專家，清華博士畢業。劉逸倫：華為2012文本機器翻譯實驗室，助理研究員。01大語言模型觀點02自然語言在ICT領域的發展03大語言模型在ICT的應用04未來暢想目錄CONT

2、ENTDataFunSummit#202301大語言模型的發展及觀點觀點：ChatGPT 通過大語言模型技術引爆AI產業chatGPT下一代快速進化，GPT4在各種人類考試場景測試中大幅超越GPT3.5，部分標準化測試表現超過人類水平微軟全面擁抱OpenAI大模型技術，基于GPT4的Copilot在辦公產品中全面應用OUTLOOKPPTWordExcelNotebook視頻會議Teams 直接根據需求寫文稿 提供微調功能，靈活選擇文字風格、文本長度 根據需求一鍵生成PPT 可以微調PPT風格 插入Note、PPT等附件多模態交互生成相關文本 支持多種本文結構，可以將Word文本直接生成PPT

3、通過Copilot獲取數據，分析結果、分析圖表和數據、做未來預測 自動生成任務流程等功能性文本 Copilot理解會議內容，用戶問Copilot(小組成員對某問題看法、某產品在會中的信息)，會后直接生成紀要觀點：時代在高速地進行，速度越來越快。它是結構上決定的，勢不可擋。-陸奇觀點：人類語言是模型理解世界的橋梁，與人類對齊成就更好的模型效果和體驗數據語料預訓練LLMInstruct GPTRLHFSafetyChat-GPT 認知對齊 智能的工具 指令對齊 推理能力 習慣對齊 更自然的輸出 安全對齊 避免道德和法律風險 體驗對齊 好的產品物理世界數字世界（大型語言模型）人的認知世界基于語言對世

4、界進行數字化建?；谧陨淼恼Z言來驅動大模型意圖理解的不一致，導致模型輸出不符合人類需求試圖解決這個不一致，實現人類對齊。各種Prompt技術Prompt learning：預設問題Prompt幫助模型理解人的意圖和需要Prompt Application：幫助人更好用提示詞生成人想要的內容（文本、圖片和語音）注：僅代表一種理解和可能大語言模型+Prompt的架構模型from：https:/lifearchitect.ai/chatgpt/5個對齊成就更好的LLM產品DataFunSummit#202302自然語言在ICT領域的發展萬物皆可譯（解碼）原文密文密碼本加密解密 翻譯：加密解密的過程沃

5、倫韋弗（Warren Weaver，1894年7月17日至1978年11月24日）是美國科學家，數學家和科學管理人員。1他被公認為機器翻譯的先驅者之一，并且是在美國為科學提供支持的重要人物。來源：https:/en.wikipedia.org/wiki/Warren_Weaver Transformer的出現進一步驗證了這個理論的正確自然語言文本圖片語音 基于人類自然語言的交互注：部分示意圖片來自互聯網公開數據ICT運維場景及目標：基于數據、算法和場景驅動的智能運維 場景及目標：圍繞運維對象，發現其與預期不一致的狀態，通過事先定義的Action，驅動運維對象狀態的恢復。數據：日志、KPI、告警

6、等。1.KPI是統計數據，對于服務的本身狀態是一種成本開銷上的折中。2.告警本質是把機器狀態數據通過可接受的成本轉化成自然語言，方便人理解。3.日志某種程度上可以看做是機器語言，更加全面。在大模型時代更適合作為模型的語料。運維對象StatusAction決策Event DrivenService invocation故障恢復自動化ActionActionActionActionAction設計數據：MO類型關系規劃數據：組網、配置運行數據：日志、性能、告警大語言模型為什么可以應用到ICT運維領域表：一些網絡基礎設施中的日志消息，日志中的詳細信息和自然語言有一定的相似性類自然語言半類自然語言半結

7、構化文本結構化文本基于日志的自動化分析任務日志壓縮Log Compress日志解析Log Parsing日志挖掘Log Mining異常檢測Anomaly Detection故障預測Failure Prediction故障診斷Failure Diagnoses圖：基于日志的自動化分析任務總結(https:/ 通過預訓練或者指令學習，可以適應多任務場景，從而可能建立處理框架代際輸入方法目標研究成果類別第一代離散特征和KPI特征識別及統計算法擬合異常結果Ft-treeLogParseTASK BASE第二代日志文本生成token深度學習擬合異常結果LogAnomalyLogStamp第三代段落日志

8、和跨域日志預訓練語言模型日志語言理解BigLogDa-Parser第四代原始日志和自然語言文本大語言模型意圖理解的運維Logxxx（審稿中）Instruction Based第五代智慧體LogAIBox：從智能運維到大語言模型驅動的運維智能1LogAnomaly:Unsupervised detection of sequential and quantitative anomalies in unstructured logs(IJCAI 2019)2LogParse:Making Log Parsing Adaptive through Word Classification.(ICCCN

9、 2020)3 LogStamp:Automatic Online Log Parsing Based on Sequence Labelling.(WAIN Performance 2021)4BigLog:Unsupervised Large-scale Pre-training for a Unified Log Representation(IWQoS 2023)5DA-Parser:A Pre-trained Domain-Aware Parsing Framework for Heterogeneous Log Analysis(Compsac 2023)6LogXXX投稿中Big

10、Log：https:/ 借鑒BERT的訓練思路，采用無監督的方法，把日志模板解析轉化成自然語言序列標注任務，對日志句子的每個詞token化。本質是二分類問題，保留Templates標簽，然后construction成Templates。整體效果非常不錯14第三代技術：Biglog致力于解決目前方法中定制化嚴重、各自為戰的現象各自為戰基于日志的異常檢測基于日志的故障預測日志分類日志壓縮日志摘要目前相關技術的缺點：1、缺少統一的模型:現階段針對不同任務需要不同的算法，維護成本高，需要統一的大模型涵蓋所有的日志分析需求，實現多業務場景融合2、缺少語義：原有方法對日志的語義理解能力不夠，導致無法識別日

11、志內的語義異常和日志間語義關聯異常，所以需要使用更強的語言模型獲取日志的語義表征。3、嚴重定制化：不同方法預處理、提取日志特征向量依賴于手工特征或者定制模板，泛化能力不夠，需要統一的日志特征提取方式。15Biglog技術難點解決方案通用語言模型BERT對日志理解能力不足 對來自新設備、新領域的日志理解能力不足 無法捕捉日志序列間的上下文依賴關系原始日志內容存在大量噪聲 大量非自然語言字符串(127.0.0.1、/etc/cron.hourly)不規范詞、復合詞(SCHEDULE_RECORDREMAINING)信通信領域日志中存在大量術語ospf、ftp、mac、ip預訓練日志領域的語言模型

12、引入總共78G、來自16個域的日志作訓練集 設計時間窗口式的日志序列拼接方法，讓模型關注時間片關聯設計新的日志預處理流程設計多種方法過濾不規范文本題利用IP、FILE、CODE等特殊符號替換原始串利用數通術語增強模型預訓練(V4)挖掘原始日志語料中出現的高頻術語詞 利用prompt、術語mask等方式增強預訓練第三代技術：Biglog 基于預訓練的日志語言理解模型支撐支撐支撐日志解析任務7個公開數據集上取得19項最佳表現細粒度場景下超過當前最佳模型40.74%日志異常檢測2個公開數據集上取得12項最佳表現小樣本場景下超過當前最佳模型40%以上日志故障預測3個公開數據集上取得6項最佳表現遷移學習

13、場景下超過當前最佳模型32.30%Biglog:通過大規模預訓練來理解日志MLM Pre-training Design78G logs from 16 domains Outstanding Log Understanding AbilityBiglog:統一日志框架+Biglog embeddings在日志解析任務上的效果Biglog:異常檢測模塊+Biglog embeddings在異常檢測任務上的效果OfflineOnlineBiglog:故障預測工作流+Biglog embeddings在長序列故障預測任務上的效果Few-shot Learning Ability of Biglog

14、:1.Exceptional performance with extremely limited training data2.Outperforms DeepLog and LogAnomaly with as few as 20 samples3.Surpasses multiple baselines when training samples increase to 1004.Demonstrates remarkable F1-score on Spirit dataset without prior exposure5.Promising results in new domai

15、ns with few labeled historical logsDomain-adaptiveness of Biglog:1.Superior to specialized domain adaptation methods,such as LogTransfer2.Achieves good performance with limited target-domain samples3.Accurately discriminates normal and abnormal logs in the target domain4.Outperforms LogTransfer even

16、 with a small amount of target-domain data5.Generalized log representations from pre-training phase enhance domain-adaptivenessBiglog:預訓練提升了領域的泛化能力和few-shot能力Log Templates by DA-ParserBy Existing Methods在沒有域信息的限制下，現有方法錯誤地將共同部分“-”識別為來自不同領域的三個日志的日志模板。(1)現有日志解析算法依賴于基于日志中詞級別差異（例如，“-”）提取日志的共同部分作為模板，忽略了日志

17、的語義含義。(2)在單領域日志分析中，這種錯誤影響很小。然而，當日志來自多個領域時，大量紛繁復雜的日志格式會導致解析錯誤的概率大大增加。(3)現有的多源日志解析解決方案需要大量的人工標簽工作，使其難以在線上環境中使用。處理多源日志輸入時，現有的日志解析算法的性能會下降多達30%。DA-Parser:Biglog應用到跨域日志解析任務Compsac 2023階段 2:單域解析1.為每個領域提取模板集2.合并領域模板集進行在線匹配解析3.可支持16域日志解析，無需人工標注階段 1:領域日志分類1.預訓練領域感知層2.映射日志的語義空間3.預測日志所屬領域與7個現有算法相比，DA-Parser的多源

18、日志解析性能取得最佳結果：DA-LogParse在F1分數和RandIndex上的表現超過了基線模型，表現最佳。對所有7個基線模型都有普遍的改進。DA-LogParse：F1-score從0.6443提高到0.7837DA-LKE：RandIndex從0.0266提高到0.7016DA-Parser的效果提升是因為使用模板集的提取考慮了日志語義，并且考慮了各個域的特征。DA-Parser:基于預訓練模型的兩階段域感知日志解析框架DataFunSummit#202303大語言模型在ICT領域的應用24第四代技術：LogXXX 日志運維向智慧體演進，增強可解釋性，減少數據依賴Self-prompt

19、CoTPromptIn-context Prompt運維人員大模型+prompt策略=智慧體Logxxx現網系統租戶角色操作流現網狀況用戶畫像對話流用戶意圖零樣本推理Prompt引擎Biglog 實現了日志理解，基于一定的訓練數據可以自動映射故障現象，但依然沒有完成智能運維的最后一步：根因分析和故障自恢復。Biglog 的交互設計缺乏反饋與互動，離“智慧體”距離遙遠。運維智慧體Logxxx：并非數據驅動，而是Prompt驅動，激發大模型的日志分析和推理能力，充當設備系統與工程師之間交流溝通的橋梁?？山换バ赃\維分析用戶日志中出現如下命令該怎么辦：net use 10.153.183.115/de

20、l/y智慧體該命令為惡意命令，WMI是通過135端口進行利用，支持用戶名明文或hash的方式進行認證，在使用WMIC執行命令過程中，操作系統默認不會將WMIC的操作記錄在日志中，因此在利用過程中不會產生日志。用戶有什么建議？智慧體處置建議：1、如果該進程屬于正常業務，請單擊忽略，該告警不會再次觸發。2、如果是未知進程或者經確認是惡意軟件，請先單擊快速處置，終止惡意進程，然后刪除該惡意軟件，最后使用殺毒軟件對被感染主機進行病毒查殺。PanguLLaMaChatGPTChatGLMLogXXX:Prompt策略+大模型=強大的零樣本故障推斷與可解釋性日志分析能力現網設備日志Prompt引擎任意大模

21、型大模型盤古開源大模型Logxxx（零訓練數據）在異常檢測、日志解析任務相較于現有方法（大量訓練數據）取得12項最佳表現，超過現有方法51.9%。Logxxx的根因生成與變量解釋能力在業界專家評測中取得了90+以上的高分。CoT-promptIn-contexpromptSelf-promptLogXXX:實驗結果Self-prompt策略中不同candidate prompt對日志解析任務的影響CoT prompt策略中不同CoT策略對日志異常檢測任務的影響In-Context prompt策略中Context長度對日志分析性能的影響不同底座大模型對模型表現的影響2.你需要給出一個需要調用確

22、定的API3.你需要給出調用API的參數4.只允許通過給定的已知內容生成回答，不允許編造未知的API及參數導入帶有API信息的本地知識庫知識庫：查詢哪些ap最繁忙，第一步需要調用的API：/xxx/inter/query/api，第二步調用API的傳參：id、startTime、endTime、xxx、xxx、xxx。LogXXX:應用及效果1.你是用戶的一個運維助手，你將基于給定的用戶查詢給出可能的API及其參數選擇DataFunSummit#202304未來暢想：從LLM到AGI未來暢想基礎大模型(通用NLP，千億L0基礎大模型)領域大模型(行業)專業應用 語言驅動基礎模型(NLP)面向多模態統一(NLP+視覺)通用大模型目標AGI1.純自然語言的交互2.被動式運維3.智能Agent自運維*與公開NCE、NAIE合作1.違背人的意圖2.Safety保障人生命3.期望可控感謝觀看