《韓曉璐-大模型+數據智能分析應用發展趨勢及標準化工作介紹.pdf》由會員分享,可在線閱讀,更多相關《韓曉璐-大模型+數據智能分析應用發展趨勢及標準化工作介紹.pdf(32頁珍藏版)》請在三個皮匠報告上搜索。
1、大模型+數據智能分析應用發展趨勢及標準化工作介紹2024.9云計算與大數據研究所 韓曉璐中國信通院數據智能工作介紹大模型+數據智能分析應用標準化工作介紹大模型+數據智能分析應用發展趨勢010102020303目錄3中國信通院簡介:信息社會創新發展的思想庫和使能者郵電部郵電部郵電科學研究院郵電部郵電分營郵電部電信科學研究規劃院組建信產部信產部電信研究院組建工信部工信部電信研究院1957年1994年1998年2008年 2014年工信部中國信息通信研究院國家高端專業智庫 產業創新發展平臺國家高端專業智庫 產業創新發展平臺發展定位文化理念發展使命信息社會創新發展的思想庫和使能者厚德實學 興業致遠信息
2、社會創新發展的思想庫和使能者4中國信通院簡介:信息社會創新發展的思想庫和使能者4個分院南方分院西部分院華東分院廣州智慧城市研究院416個業務部門政策與經濟研究所技術與標準研究所產業與規劃研究所云計算與大數據研究所信息化與工業化融合研究所工業互聯網與物聯網研究所安全研究所泰爾系統實驗室泰爾終端實驗室泰爾認證研究所泰爾認證中心信息通信工程定額質監中心信息通信網絡安全響應中心工業和信息化法律服務中心無線電研究中心4個部屬中心電信設備認證中心電信用戶申訴受理中心信息通信業務受理中心政務服務中心4個支撐中心信息管理中心數據研究中心互聯網行業促進中心安全發展和保密辦公室l 24個省通信管理局行業支撐中心(
3、210人)l 37家院屬企業工業互聯網與智能制造領域【上海、江蘇、湖北、廣東、重慶】大數據、人工智能、物聯網等新一代信息技術領域【江蘇、河南、江西】車聯網領域【上海、四川】智慧醫療領域【河南】芯片與集成電路【無錫】新能源領域【嘉興】移動通信創新中心知識產權與創新發展中心11個職能部門辦辦公公室室黨黨群群工工作作部部離離退退休休干干部部辦辦公公室室 紀檢監察審計部科技發展部業務發展部人力資源部國際合作部資產管理部實驗室質量管理部后勤服務中心財務部5中國信通院云大所簡介:聚焦信息領域新技術、新業態、新模式中國信通院云大所圍繞各類新技術,下設中國信通院云大所圍繞各類新技術,下設12個部門,開展相關工
4、作。個部門,開展相關工作。M市場部N內容科技部E數字健康部BT政企數字化轉型部G審計與治理部D數據中心部Z綜合部國際業務中心O開源和軟件安全部F金融科技部C云計算部大數據與智能化部S生物科技部生物科技部大數據與智能化大數據與智能化部圍繞數據和智能化兩大領域,開展技術、標準研究,構建相關技術的測試、試驗和統計平臺,承擔相關服務和產品的測試評估工作,提供相關技術標準的咨詢服務。6政府支撐方面工作政策文件起草國務院以國發201550 號印發促進大數據發展行動綱要成為我國發展大數據產業的戰略性指導文件,中國信息通信研究院是主要起草單位。20152016牽頭起草工業和信息化部大數據產業發展規劃(2016
5、-2020年)并參與宣貫實施工作。2021參與起草工業和信息化部大數據產業發展規劃(2021-2025年)并參與宣貫實施工作。2022參與起草關于構建數據基礎制度更好發揮數據要素作用的意見,支撐相關政策未來的細化和落地。2021參與起草工業和信息化部關于加快推動區塊鏈技術應用和產業發展的指導意見并參與宣貫實施工作。l 中國信通院作為國家高端智庫,支撐國務院辦公廳、工業和信息化部、中央網信辦、國家發改委等部委起草編制數據領域重要政策文件,推動我國數據領域發展頂層設計構建完成。2022參與起草數字中國建設整體布局規劃,重點支撐數字基礎設施和數據資源相關內容。7政府支撐方面工作重要工作支撐支撐促進大
6、數據產業發展相關工作,對大數據、數據庫產業展開調研,梳理產業問題、收集企業需求及痛點,形成大數據產業圖譜;大力推動DCMM全國范圍內的貫標工作,實現行業覆蓋更廣,企業服務更深。培育DCMM評估服務生態,促進產業數字經濟發展;支撐促進區塊鏈產業發展相關工作,支撐Web3.0等新技術新應用研究,區塊鏈典型案例征集等l 圍繞國家數據領域戰略部署,支撐工信部、國家數據局、網信辦、國家發改委、科技部等部委,以及地方政府的大數據、區塊鏈相關工作,提供數據相關政策咨詢、試點支撐等服務。牽頭籌備5組的數據基礎設施專班,統籌支撐國家數據基礎設施設計、建設和運營;牽頭籌備2組的“數據要素x”行動計劃文件編制,指導
7、數據要素對各行業的賦能過程;支撐籌備3組的公共數據開發利用指導意見文件,跟蹤相關政策的規劃落地。支撐區塊鏈發展管理相關工作;支撐中央網信辦、中宣部、國辦電子政務辦、最高法、最高檢等18部委聯合開國家區塊鏈創新應用試點工作,承擔試點工作組。8數據基礎設施政策支撐:牽頭支撐國家數據基礎設施建設“數據基礎設施的建設將與數據基礎制度的落地和數據資源開發利用的實施一起,共同為數據要素產權確權、收益分配、交易流通、安全治理等核心問題的解決發揮作用。同時,數據基礎設施也將對擴大數據產業規模、繁榮數據產業生態、促進數字經濟高質量發展產生重要意義?!眹覕祿贮h組書記、局長 劉烈宏工作目標加快研究和明確數據基礎
8、設施概念、內涵、外延,在業內形成統一共識。加快研究和明確推動我國數據基礎設施建設的重點工作和政策措施,會同有關部門研究出臺數據基礎設施頂層規劃,開展試點驗證,培育新型產業生態。政策和規劃司數據資源司數字經濟司數字科技和基礎設施建設司開展數據確權、數字資源開發利用等工作;數據制度、數字經濟、數據社會、數據要素等方面政策法規制定。實施數字經濟、智慧城市等方面工作;數據領域科學技術的攻關和關鍵基礎設施建設,以及學科體系建設和專業人才培養。數據基礎設施工作專班組織架構組長單位:中國信息通信研究院副組長單位:國家信息中心成員單位:國家發展改革委創新驅動發展中心、中國電子技術標準化研究院、中國電信、中國移
9、動、中國聯通綜合司開展數字中國、數字經濟國際合作,承接發改委關于人事、財務、紀檢等工作。9部門總體工作框架數據基礎設施數據智能應用數據要素流通數據治理數據基礎設施數據安全數據基礎設施數據中臺數據治理DataOps數據資產化大數據數據庫組織架構開發服務構建數據基礎釋放數據價值數據智能應用技術業務數智化基礎理論研究公共數據授權運營咨詢評估體系技術評測體系可信數網應用安全全流程治理數設施行業大數據政務汽車金融電信雙碳零售環境政策支撐產業研究咨詢規劃標準制定評測評估數據智能服務10數據應用整體工作框架:助力數據價值的發現、釋放、認可數據平臺數據資源知識圖譜工具數據科學平臺指標平臺數據開發平臺數據開發與
10、服務技術平臺評測數據開發體系評估“業務數智化”能力成熟度評估數據服務體系評估體系建設評估數據對內賦能能力提升咨詢技術工具及供應商選型咨詢內部體系建設咨詢數字營銷企業數字營銷成熟度評估數字營銷解決方案能力評測數字營銷外部數據源對接數字營銷體系建設提升咨詢數據對外賦能數據API能力評測外部數據資源接入對接跨域營銷標簽平臺企業數據倫理治理成熟度評估數據分析應用技術平臺評測體系建設評估能力提升咨詢技術工具及供應商選型咨詢內部體系建設咨詢商務智能(BI)工具數據可視化工具基于大模型的BI工具數字孿生技術平臺可視化服務能力數據分析應用能力外部供應商評測數據分析應用服務商能力評測用戶行為分析平臺智能風控企業
11、智能風控成熟度評估智能風控解決方案能力評測智能風控外部數據源對接智能風控體系建設提升咨詢企業管理企業數字化管理成熟度評估企業數字化管理解決方案能力評測企業數字化管理體系建設咨詢聯合風控11數據智能評估測試:國內最全面、深入的數據智能評測體系l 總計已有169家企業參與評估測試,374款產品通過評測,完成測試數量 408個。數據智能應用方向參與評測的部分企業:供給側應用側12中國信通院數據智能應用產業研究和生態建設工作在數據應用方向,中國信通院聯合各方積極開展產業研究和生態建設工作,聯合細分行業內的頭部企業,完成多本研究報告、實踐指南和白皮書,舉辦多場數據應用論壇、系列沙龍、星河案例征集等活動。
12、行業研究生態建設數據應用星河案例評選數據應用系列沙龍私域營銷數智化實踐指南金融智能風控應用實踐指南地球大數據白皮書(英視睿達深度參與編制)專業領域數據應用專家庫交通行業運營商數據應用白皮書(安徽移動深度參與編制)數據倫理白皮書(編制中)交通行業大數據應用發展報告(千方科技深度參與編制)中國信通院數據智能工作介紹大模型+數據智能分析應用標準化工作介紹大模型+數據智能分析應用發展趨勢010102020303目錄14人工智能技術發展演進,從專家系統到大語言模型15大模型落地關鍵技術發展趨勢16數據智能體技術發展17大模型快速落地,催生數據智能應用新范式18數據智能應用方向標準化工作通用數據智能應用技
13、術標準:通用數據智能應用技術標準:商務智能分析工具技術要求與測試方法數據開發平臺技術要求與測試方法知識圖譜工具技術要求與測試方法數據科學平臺技術要求與測試方法數據可視化平臺技術要求與測試方法用戶行為分析工具技術要求與測試方法數字孿生平臺技術要求數據智能管理駕駛艙技術要求數據智能管理駕駛艙技術要求大模型大模型+數據智能應用系列標準:數據智能應用系列標準:大模型驅動的數據分析工具技術要求new大模型驅動的知識圖譜工具技術要求new檢索增強生成技術能力要求new大模型驅動的智能問答系統技術要求new數據智能體技術總體要求數據智能體技術總體要求newnew數據分析智能體技術要求數據分析智能體技術要求n
14、ewnew數據分析應用服務能力分級要求數據可視化服務能力分級要求數據數據APIAPI服務能力分級要求服務能力分級要求智能化音視頻數據服務能力分級要求智能化音視頻數據服務能力分級要求供給側能力標準:供給側能力標準:數字營銷解決方案分級要求:技術能力數字營銷解決方案分級要求:服務能力金融風控解決方案分級要求:技術能力金融風控解決方案分級要求金融風控解決方案分級要求:服務能力服務能力大模型驅動的數智營銷技術能力要求大模型驅動的數智營銷技術能力要求應用側能力標準:應用側能力標準:企業數字營銷能力成熟度模型企業智能風控能力成熟度模型企業智慧財務能力成熟度模型企業智慧財務能力成熟度模型l 圍繞數據智能應用
15、相關技術工具,數據智能服務,業務數智化三大方向開展標準化及評估測試工作。面向通用數據智能技術提供方,為數據智面向通用數據智能技術提供方,為數據智能工具平臺的研發、選型和能工具平臺的研發、選型和評測提供參考。評測提供參考。面向數據服務提供方,為數據分析應用、面向數據服務提供方,為數據分析應用、數據可視化、數據數據可視化、數據APIAPI、音視頻等服務實、音視頻等服務實施團隊的相關工作提供參考,并助力應用施團隊的相關工作提供參考,并助力應用側開展選型側開展選型工作。工作。面向數字營銷、智能風控、智慧財務、數面向數字營銷、智能風控、智慧財務、數字化企業管理等重點業務方向,構建業務字化企業管理等重點業
16、務方向,構建業務數智化能力模型,助力供給側能力建設和數智化能力模型,助力供給側能力建設和應用側應用側選型。選型。中國信通院數據智能工作介紹大模型+數據智能分析應用標準化工作介紹大模型+數據智能分析應用發展趨勢010102020303目錄20大模型驅動的智能數據分析工具標準編制背景BI 2.0傳統圖形化交互式分析工具u 大模型驅動的智能分析工具通過大模型能力提升分析流程中數據準備、洞察發現、結果輸出共享等方面的能力,能夠以更低的技術門檻、更高的效率使非技術背景人員實現更具深度的分析。人工進行數據編目、數據清洗、元數據管理等工作數據準備通過交互式界面進行數據探索;人工進行建模洞察發現通過儀表盤等方
17、式輸出結果;人工對結果進行解釋結果輸出共享BI 3.0大模型驅動的數據分析工具通過智能算法識別數據架構,并推薦數據清洗規則數據準備支持自然語言方式進行交互;大模型輔助結果分析洞察發現以自然語言或可視化的形式生成見解,推薦后續動作結果輸出共享界面交互分析圖形化展示對話式分析圖形+見解AI代表企業:Co-Pilot隨著2023年GPT、AIGC技術的爆火,PowerBI、百度SugarBI、觀遠BI等團隊紛紛推出以BI+GPT為理念的智能數據分析工具。示例:數巔科技AskBI產品示例:浙江移動ChatBI21大模型驅動的智能數據分析工具技術要求標準介紹為了規范大模型在數據分析領域標準化的應用發展,
18、中國信通院聯合50余家企業共同研制完成大模型驅動的智能數據分析工具標準。標準包含數據準備、大模型智能分析、智能交互、集成部署、安全管理等六大能力域,18個能力子域,54個能力項。首批通過評估企業:數巔科技、浙江移動、網易數帆、瓴羊quick BI、中電信人工智能、觀遠數據、數勢科技、科大訊飛等10余家企業標準主要參與單位:標準框架編制歷程2023年8月啟動相關工作調研2023年9月第一次標準討論會召開四次全體標準討論會、十余次點對點溝通會2023年11月完成定稿測試證書將于12月數據資產大會頒發22u 知識圖譜技術自2012年推出以來,取得了極大的進展,但隨著知識圖譜的深度應用,知識圖譜存在構
19、建難度大、知識更新難、人工介入多等問題,限制了知識圖譜落地應用。隨著人工智能技術的進步,尤其是大語言模型的崛起,為智能知識圖譜的構建和應用注入了新的活力。大語言模型和知識圖譜作為兩種重要的知識處理技術,正在經歷著深度的融合發展。大模型驅動的智能知識圖譜技術要求標準編制背景兩者融合發展方向知識圖譜的優勢與局限劣勢:構建和維護成本高,在自然語言處理方面存在局限性,知識的廣度和更新速度也收到很大限制。優勢:結構化的知識表示,能夠提供清晰、可解釋的信息知識圖譜智能生成:借助大模型的助力知識的自動化抽取和知識補全大模型可控生成:通過外掛知識圖譜,控制大模型生成內容大模型能力評估:知識圖譜幫助大型模型的評
20、測和應用優勢:海量的通用知識,并且在理解和生成文本方面表現出色劣勢:知識的顯式表示、可解釋性、偏見處理、泛化能力方面存在挑戰大語言模型的優勢與局限23大模型驅動的智能知識圖譜技術要求標準情況簡介中國信通院聯合廈門淵亭科技共同牽頭,依托TC601擬制定團體標準大模型驅動的智能知識圖譜技術要求,此標準規范了數據準備、模型場景化適配、智能試試圖譜構建、智能交互應用、知識圖譜存儲與管理6大能力域,15個能力子域,120余項技術要求。廈門淵亭科技、中電信人工智能等多家企業進行測試,報名火熱進行中標準框架:數據準備模型場景化適配智能知識圖譜構建智能交互應用知識圖譜存儲與管理數據接入模型接入與管理智能本體建
21、模自然語言交互知識圖譜數據存儲數據源管理模型微調及優化智能知識抽取可視化交互知識圖譜數據管理智能知識融合智能知識推理知識圖譜平臺管理知識圖譜集成應用編制歷程2023年12月啟動相關工作調研2024年1月第一次標準討論會召開四次全體標準討論會、十余次點對點溝通會2024年4月完成定稿完成首家測試,報名火熱進行中主要參與機構:24知識圖譜賦能大模型內容生成-Graph Rag技術發展25檢索增強生成技術要求標準研制背景知識圖譜賦能大模型大模型賦能知識圖譜領域知識補充外掛知識庫能夠為通用大模型的行業化應用提供行業領域知識支撐,彌補通用大模型語料里專業領域知識的不足內容實時更新利用檢索生成技術,能夠使
22、實時檢索最新知識,彌補大模型訓練數據更新不及時等相關問題大模型可控生成可以利用知識圖譜等外拐知識庫在大模型中引入指定約束,適度控制內容生成,提高大模型在行業應用場景中的適應能力。u 檢索增強生成(Retrieval-Augmented Generation,RAG)是一種通過檢索外部知識庫來獲得額外語料,并使用 ICL(In-Context-Learning,上下文學習)來改進大型語言模型(LLM)生成效果的范式。RAG能有效地緩解大型語言模型幻覺問題,提高知識更新速度,并增強內容生成的可追溯性,使得大型語言模型在實際應用中變得更加實用和可信,成為大模型在垂直領域落地的重要技術。RAG+大模型
23、=更好的應用效果26檢索增強生成(RAG)框架-經典范式(Advanced RAG)27檢索增強生成(RAG)技術要求標準發布檢索增強生成(Retrieval-Augmented Generation,RAG)是一種通過檢索外部知識庫來改進內容生成效果的技術方案,通過引入檢索過程,從預先構建的數據存儲中檢索相關的內容,能有效地緩解AIGC技術的幻覺問題,提高知識更新速度,并增強內容生成的多樣性和可追溯性。騰訊云ES完成首家測試標準框架:編制歷程2023年8月啟動相關工作調研2024年TC601揚州全會上標準編制正式啟動召開多次全體標準討論會、十余次點對點溝通會2024年4月中旬完成定稿第一批測
24、試開始報名,測試結果于數據智能產業發展大會上發布知識庫構建能力知識檢索能力內容生成能力質量評估能力平臺能力數據讀取查詢優化Prompt優化評估指標用戶管理數據預處理檢索能力大模型生成評估方法數據權限管理內容增強檢索結果優化生成內容優化評估數據集模型權限管理索引構建資源及任務管理知識庫管理日志管理28大模型驅動的智能知識問答系統技術要求知識圖譜賦能大模型大模型賦能知識圖譜AI傳統知識問答系統利用傳統關鍵詞匹配技術進行知識檢索,檢索效率低、答案匹配精度低知識檢索無法理解用戶語義,只能通過傳統的關鍵詞提取,代替用戶意圖理解用戶問題理解依賴知識庫預設置問答對或知識庫內容,無法根據知識特點自動生成答案生
25、成大模型驅動的智能知識問答系統利用自然語言理解能力自動識別用戶需求用戶問題理解理解用戶問題,并從知識庫、知識圖譜、網絡等一種或多種信息來源檢索相關信息智能知識檢索對檢索信息進行匯總、整合,生成更具邏輯性和完整性的答案答案生成29最新成果介紹:大模型驅動的智能問答系統技術要求中國信通院聯合40余家企業的80余位專家,充分參考各行業智能知識問答系統落地實踐經驗,研制完成了此項標準,標準包含知識接入及管理、大模型場景化適配、智能問答應用、系統安全管理等四大能力域,13個能力子項,40余個能力項目。編制歷程2024年2月啟動相關工作調研2024年3月第一次標準討論會召開四次全體標準討論會、十余次點對點溝通會2024年4月完成定稿第一批評估推進中主要參與單位:標準框架:知識接入及管理模型場景化適配智能問答應用系統管理知識接入模型接入與管理意圖識別權限管理知識管理模型微調及優化問答策略生成日志管理提示詞工程智能知識檢索系統管理多種交互方式支持多端支持30數據智能體技術發展31“數據智能體”系列標準介紹感謝觀看THANKS聯系人:韓曉璐電話:18627873252郵箱: