《工信部:大模型技術與應用產業人才崗位能力要求(13頁).pdf》由會員分享,可在線閱讀,更多相關《工信部:大模型技術與應用產業人才崗位能力要求(13頁).pdf(13頁珍藏版)》請在三個皮匠報告上搜索。
1、大模型技術與應用產業人才崗位能力要求Industrial talents competency framework of large model technology and applications2024-09-12發布2024-09-12實施工業和信息化部人才交流中心 發布T/MIITEC 023-2024T/MIITEC 023-2024I目次前言.11 范圍.22 術語和定義.23 大模型技術與應用產業人才崗位方向及職責.24 大模型技術與應用產業人才崗位能力要素.35 大模型技術與應用產業人才崗位能力要求.35.1 架構方向.35.2 算法方向.45.3 數據方向.55.4 評測方
2、向.55.5 應用方向.6附錄A(資料性附錄)大模型技術與應用產業人才崗位能力提升.8附錄B(資料性附錄)大模型技術與應用產業人才崗位能力評價.10參考文獻.11T/MIITEC 023-20241前言本文件按照 GB/T 1.1-2020標準化工作導則 第 1 部分:標準化文件的結構和起草規則的規定起草。本文件由工業和信息化部人才交流中心提出并歸口。本文件起草單位:工業和信息化部人才交流中心、深度學習技術及應用國家工程研究中心、北京百度網訊科技有限公司、華晨寶馬汽車有限公司、興業銀行金融科技研究院、南方電網人工智能科技有限公司、國網遼寧省電力有限公司電力科學研究院。本文件主要起草人:李學林、
3、色云峰、李利利、李廷茹、施佳文、高鐵柱、費曉旭、錢芳、張藤方、郭原成、何平、盧志良、張彬。本文件為首次制定。T/MIITEC 023-20242大模型技術與應用產業人才崗位能力要求1范圍本文件規定了大模型技術與應用領域主要方向崗位能力要求。本文件適用于指導各單位開展大模型技術與應用產業人才培養、人才評價(人才認證)、人才招聘、人才引進等工作。2術語和定義2.1大模型 large model具有大規模參數和復雜計算結構的機器學習模型。2.2機器學習 machine learning通過計算技術優化模型參數的過程,使模型的行為反映數據或經驗。來源:GB/T 41867-2022 信息技術 人工智能
4、 術語,定義3.2.103大模型技術與應用產業人才崗位方向及職責大模型技術與應用產業人才崗位包括架構、算法、數據、評測、應用5個方向,主要涉及以下8個崗位,具體如表1所示。表 1大模型技術與應用產業人才主要崗位及職責序號序號方向方向崗位名稱崗位名稱崗位職責崗位職責1架構大模型集群研發和運維工程師負責大模型集群的訓練、推理、部署和維護工作,確保大模型訓練高效和服務穩定2深度學習框架研發工程師負責軟硬件環境適配,優化大模型訓練、推理和部署等環節的性能,提高模型生產效率、降低模型服務成本3算法大模型算法工程師負責研發超大規模模型組網和模型結構、模型精調方法和算法4大模型策略研發工程師負責研發和優化大
5、型機器學習模型,持續提升模型性能和預測精度5數據大模型數據工程師負責大模型數據的收集、處理、分析和存儲等工作6評測大模型評測工程師負責大模型的評測工作7應用大模型提示詞工程師負責大模型具體應用場景的提示詞設計與優化8大模型應用開發工程師負責大模型業務與場景解決方案開發,以及大模型技術選型評估、產品方案設計等T/MIITEC 023-202434大模型技術與應用產業人才崗位能力要素大模型技術與應用產業人才崗位能力要素包括專業知識、技術技能、工程實踐三個維度。具體如表2所示。表 2崗位能力要素列表維度維度要素要素說明說明專業知識基礎知識指相應崗位人才應掌握的通用知識,主要包括基本理論、相關標準與規
6、范知識以及有關法律法規、安全、隱私等專業知識指相應崗位人才完成工作任務所必備的知識,主要指與具體崗位要求相適應的理論知識、技術要求和操作規程等技術技能基本技能指相應崗位人才為完成工作任務所應具備的對基礎知識應用的水平以及熟練程度專業技能指相應崗位人才為完成工作任務所應具備的對專業知識應用的水平以及對特殊工具使用的掌握工程實踐經驗指相應崗位人才在實際工程與項目推進中應當具備的經驗5大模型技術與應用產業人才崗位能力要求5.1 架構方向5.1.1大模型集群研發和運維工程師a)專業知識深入了解Linux系統操作和管理,對Linux內核、文件系統、網絡配置有充分的認識;熟悉容器化技術及其原理,了解Doc
7、ker、Kubernetes等容器管理工具;了解GPU集群工作原理和架構,了解NVIDIA GPU、昆侖、昇騰等主流GPU的架構特性、優化方法、組網與高并發處理等;掌握基本的系統監控和性能調優知識,能夠分析系統瓶頸并提出優化建議。b)技術技能熟練掌握Linux命令行操作,能夠高效地進行系統管理和故障排除;熟悉網絡配置和故障排查,能夠處理復雜的網絡問題;熟練使用至少一種腳本語言(如Shell、Python),能夠編寫自動化運維腳本,提高運維效率;熟悉主流監控工具(如Prometheus、Grafana等),能夠配置和使用這些工具進行系統監控和預警;了解深度學習框架和GPU的使用和優化,能夠為研發
8、團隊提供有效的技術支持。c)工程實踐具備豐富的GPU集群運維經驗,能夠獨立完成集群的部署、管理和優化工作;熟悉各種系統故障的處理流程和方法,能夠快速響應并處理各種突發情況,確保系統的穩定性和可用性;具備與研發團隊緊密配合的經驗,能夠根據業務需求設計和實施高效的集群資源管理和調度策略;T/MIITEC 023-20244具備編寫技術文檔的能力,包括操作手冊、故障處理流程和系統優化報告等;具備新技術和產品動態學習能力,能夠評估并引入新的集群性能提升技術。5.1.2深度學習框架研發工程師a)專業知識掌握深度學習框架,如飛槳PaddlePaddle、PyTorch等,了解其內部工作原理和優化方法;精通
9、計算機體系結構,對CPU、GPU、FPGA、ASIC等多元化計算架構有深入的理解;熟悉分布式計算的基本原理,了解同步、異步等通信策略在深度學習中的應用。b)技術技能熟練掌握C+、Python等編程語言,能夠高效地進行深度學習框架的開發和優化;熟練使用CPU、GPU、FPGA、ASIC等多元化計算架構的編譯系統開發、編譯優化和算法加速;熟悉使用常見的深度學習框架性能分析工具,能夠定位和解決性能瓶頸;具備對深度學習算法進行算子級優化的能力,熟悉各種底層算子的實現和優化方法。c)工程實踐具備豐富的深度學習框架研發經驗,能夠獨立完成深度學習引擎和底層算子的開發與優化;熟悉分布式深度學習系統的設計和實現
10、,能夠解決大規模深度學習訓練中的通信和同步問題;能夠與算法研發團隊緊密配合,建立高效的深度學習計算加速解決方案;深入了解深度學習框架的性能,能夠通過分析和優化,顯著提高深度學習任務的執行效率。5.2 算法方向5.2.1大模型算法工程師a)專業知識熟悉機器學習、深度學習基礎理論和算法,熟悉基于Transformer模型和架構;熟悉機器學習中的優化算法,如梯度下降、Adam優化器等;熟悉微積分、線性代數、概率論與統計學原理、優化理論與數值計算等基礎知識;了解軟件工程的代碼復用、模塊化設計、單元測試等;熟悉模型的可解釋性和公平性問題,能夠評估和改進模型性能;熟悉云平臺服務,如AWS、Google C
11、loud、Azure等,能夠進行模型的云上部署和擴展;了解容器化技術,如Docker和Kubernetes,能夠進行服務的容器化部署;了解計算機體系結構、操作系統、網絡通信等底層知識,能夠對模型進行針對性優化。b)技術技能精通至少一種編程語言,如Python、C+,具備良好的算法實現能力;掌握自然語言處理、計算機視覺、語音識別等領域的高級技術和應用;熟練使用深度學習框架,如飛槳PaddlePaddle、PyTorch等進行模型構建和訓練;掌握數據處理和分析技能,能夠使用NumPy、Pandas等庫進行數據預處理;熟悉使用GPU進行并行計算,了解CUDA編程基礎;能夠使用數據可視化工具,如Mat
12、plotlib、Seaborn等進行分析結果展示;熟悉版本控制系統,如Git,以及代碼托管平臺,如GitHub或GitLab。c)工程實踐具備獨立完成整個大模型項目流程的經驗,包括數據收集、預處理、模型設計、訓練、評估和部署;T/MIITEC 023-20245具備模型調優和超參數優化的經驗,能夠使用網格搜索、隨機搜索等方法進行參數選擇;具備項目管理能力,包括項目計劃制定、項目進度監控和項目資源協調;具有持續學習能力,能將最新的理論與方法運用到實際工程實踐當中。5.2.2大模型策略研發工程師a)專業知識深入了解大模型技術原理和應用場景,熟悉自然語言處理和深度學習領域的知識;掌握大模型策略研發的
13、基本流程和方法論。b)技術技能熟練掌握C+、Python等編程語言,具備扎實的編程基礎;熟悉常用的機器學習算法框架,如飛槳PaddlePaddle、PyTorch等;具備優秀的數據結構和算法設計能力,能夠針對復雜問題進行數學建模和優化;能夠運用自然語言處理技術和機器學習算法,研發出高效、穩定的大模型策略;能夠根據產品策略需求,對模型進行優化和改進,提高模型性能和準確率。c)工程實踐能夠獨立完成大模型策略的研發和優化;具備大模型相關項目實踐經驗;能夠與團隊成員緊密合作,協同完成項目任務,確保項目的質量和進度;具備業務需求評估經驗,能夠設計和優化業務解決方案。5.3 數據方向5.3.1大模型數據工
14、程師a)專業知識熟悉大模型的工作原理和訓練方法,對大模型訓練環節的數據樣式以及數據采集、存儲、清洗的原理和方法有深入了解;熟悉數據標注、分析和管理的流程及規范,了解不同類型的標注方法和工具;熟悉數據治理和數據安全基本知識。b)技術技能熟練掌握數據庫操作,能夠進行高效的數據查詢、存儲和管理;熟練使用數據清洗和預處理的工具,如Pandas、Numpy等;能夠結合業務數據內容,分析數據特征,優化數據清洗規則,提升數據輸出質量;掌握通過分析、模擬、逆向工程等手段獲取互聯網公開數據的方法,并通過技術手段提高數據采集的質量和數量;具備一定的編程基礎,能夠使用Python等語言編寫自動化腳本處理和分析數據。
15、c)工程實踐具備豐富的數據處理和標注經驗,能夠獨立完成數據采集、清洗、標注和分析工作;具備數據治理和數據安全的相關項目經驗,能夠確保數據的質量和安全;能夠與大模型研發團隊緊密配合,理解大模型數據需求,建立自動化數據處理流程,提高數據處理效率;具備項目管理能力,能夠合理安排工作進度,確保項目的順利實施。5.4 評測方向5.4.1大模型評測工程師T/MIITEC 023-20246a)專業知識掌握大模型的工作原理、訓練方法及評估標準,包括但不限于模型架構、優化算法等;熟悉對話大模型(如類ChatGPT)的算法原理,了解Transformer架構、自注意力機制等知識;熟練掌握自動評測技術,如BLEU
16、、ROUGE、PERPLEXITY等評價指標,了解它們的優缺點,并能夠根據實際情況選擇合適的評價指標;了解性能測試、功能測試和指標測試的基本原理和方法,能夠根據測試需求設計合理的測試方案。b)技術技能具備優秀的測試策略設計能力,能夠根據項目的具體需求和目標,獨立制定全面、細致的評測計劃和策略;具備優秀的數據分析能力,能夠運用統計學和數據挖掘技術對測試結果進行深入分析,準確識別出模型的性能瓶頸和改進點;熟練掌握Python、Java等編程語言,能夠編寫自動化測試腳本,實現測試流程的自動化和高效化,提高評測工作的效率和質量;熟悉使用測試工具和框架,能夠高效地執行測試用例,收集并分析測試數據,提供準
17、確的測試報告。c)工程實踐具備豐富的模型評測經驗,對大模型在理解、推理、agent等全方面的能力有深入的了解和準確的評估能力,能夠發現模型在不同場景下的優勢和不足;能夠根據評測結果提供有針對性的改進建議,包括優化模型結構、調整訓練策略、改進數據質量等方面,以助力研發團隊提升模型性能;具備優秀的團隊協作和溝通能力。5.5 應用方向5.5.1大模型提示詞工程師a)專業知識了解大模型的工作原理和訓練方法;掌握各種類型的提示詞策略,包括但不限于Zero-shot Prompting、Few-shot Prompting和Instruction Prompting等方法。b)技術技能具備優秀的文本分析和
18、處理能力,能夠從大量文本數據中提取關鍵信息并轉化為提示詞;熟悉業務需求分析,能夠準確捕捉業務需求并將其轉化為有效的提示詞設計;熟悉使用至少一種大模型工具,如GPT、文心一言等,能夠調用模型進行提示詞測試和優化。c)工程實踐具備豐富的提示詞設計和優化經驗,能夠針對不同類型的業務需求設計有效的提示詞策略;能夠根據用戶查詢和模型回答結果進行分析,提供模型結果反饋和改進建議,不斷優化提示詞;具備與研發團隊和產品團隊緊密合作的能力,確保提示詞的有效性和一致性。5.5.2大模型應用開發工程師a)專業知識T/MIITEC 023-20247能夠深入理解大模型應用開發的整體流程,包括需求分析、數據準備、模型選
19、擇、訓練調試、評估優化等環節;熟練掌握大模型微調的相關知識,如SFT、RLHF、Lora等技術,能夠在特定業務場景下進行模型調整;掌握Agent和RAG技術,了解大模型應用開發向量庫原理以及使用方法,能夠結合具體業務場景,解決實際問題;具備扎實的機器學習與深度學習理論基礎,了解各類算法原理和應用場景,能夠靈活運用大小模型結合的方式進行應用開發。b)技術技能熟悉常見開源大模型及其API,如Llama、文心大模型等,能夠基于業務需求選擇合適的大模型;具備數據工程能力,能夠進行數據清洗、轉換、標注等工作,以滿足大模型訓練的需要;掌握增量訓練技術,能夠在原有模型基礎上,通過持續學習不斷提升模型性能;熟
20、練掌握各類深度學習框架,如飛槳PaddlePaddle、PyTorch等,能夠高效實現模型的訓練、微調和優化;熟練掌握大模型開發過程中常用到的工具,如Langchain、Gradio等;了解數據安全相關知識,能夠在應用開發過程中確保數據安全。c)工程實踐具備豐富的大模型應用開發經驗,能夠獨立完成從需求分析到模型部署的全過程;具備根據實際業務需求設計合理的大模型應用方案的經驗;具備出色的團隊協作能力,能夠與其他團隊成員有效溝通,共同推進項目的進展;具備創新精神,能夠不斷探索新技術、新方法,提升大模型應用的效果和效率。T/MIITEC 023-20248附錄A(資料性附錄)大模型技術與應用產業人才
21、崗位能力提升A.1 大模型技術與應用產業人才崗位能力提升內容崗位能力提升內容應包括:a)基礎知識、專業知識等相關知識提升;b)基本技能、專業技能等相關技術技能提升;c)基于項目經驗的工程實踐能力提升。A.2 大模型技術與應用產業人才崗位能力提升階段和方式大模型技術與應用產業人才崗位能力提升分為崗前提升和在崗提升兩個階段,構成大模型技術與應用相關崗位從業人員不同階段和能力水平的終身教育體系。a)崗前提升方式,包括:1)理論教學;2)理論與實踐一體化教學;3)項目實訓、企業實習等方式。b)在崗提升方式,包括:1)內部在崗培訓;2)外部脫崗培訓;3)項目實踐或導師輔導等。A.3 大模型技術與應用產業
22、人才崗位能力提升活動供給類別大模型技術與應用產業人才崗位能力提升活動供給包括:a)教育、培訓機構培養:符合要求的各級教育機構(普通高校、中等和高等職業院校等)及培訓機構應根據大模型技術與應用領域各崗位能力要求,制定人才能力提升方案,為大模型技術與應用領域及企業培養合格的從業人員,滿足個人發展需要;b)企業培養:企業結合業務發展需要,應根據大模型技術與應用領域各崗位能力要求有針對性、有計劃地實施崗位能力提升計劃,滿足個人發展需要,增強企業競爭力;c)個人培養:從業人員根據個人發展計劃,做好職業規劃與崗位定位,對標大模型技術與應用產業人才崗位能力要求,不斷提升專業知識、技術技能水平,豐富工程實踐經
23、驗。T/MIITEC 023-20249大模型技術與應用產業人才崗位能力提升路徑見圖A.1。圖 A.1大模型技術與應用產業人才崗位能力提升路徑大模型技術與應用產業人才崗位能力水平低高、項目實踐導師輔導交流研討項目實踐導師輔導交流研討獨立完成高度復雜的工作,精通關鍵專業技能,引領革新,具有資深經驗能力提升方式能力提升方式項目實踐導師輔導培訓研討獨立完成復雜的工作,掌握關鍵專業技能,有一定創新能力,具有豐富經驗項目實踐導師輔導培訓研討獨立完成較為復雜的工作,具備指導他人工作的能力,具有一定工作經驗課堂培養實習實訓項目實踐獨立完成所承擔的工作,具有一定的工作經驗能力發展路徑能力發展路徑課堂培訓實習實
24、訓項目實踐在他人指導下完成所承擔的工作,并具有一定獨立工作能力,具有一定實踐經歷在他人指導下完成所承擔的工作T/MIITEC 023-202410附錄B(資料性附錄)大模型技術與應用產業人才崗位能力評價B.1 大模型技術與應用產業人才崗位能力評價方法對從業人員進行評價和定級,評價結果可以作為大模型技術與應用產業人才能力勝任、職業發展等活動的依據。評價方式包括:a)專業知識主要通過筆試考核的方式進行評價;b)技術技能主要通過實驗考核的方式進行評價;c)工程實踐主要通過成果評價的方式進行評價。B.2 大模型技術與應用產業人才崗位能力評價等級大模型技術與應用產業人才崗位能力評價等級可以分為初、中、高
25、級三級,能力分為9等。a)初級(13級):在他人指導下完成所承擔的工作,并具有一定獨立工作能力,具有一定實踐經歷;b)中級(46級):獨立完成較為復雜的工作,具備指導他人工作的能力,具有3年及以上工作經驗;c)高級(79級):獨立完成高度復雜的工作,精通關鍵專業技能,引領革新,具有5年及以上工作經驗。B.3 大模型技術與應用產業人才崗位能力等級評價權重大模型技術與應用產業人才崗位能力等級評價權重表如下:B.1大模型技術與應用產業人才崗位能力等級評價權重表評價維度專業知識技術技能工程實踐崗位等級評價分值權重高級9 級20%30%50%8 級7 級中級6 級50%25%25%5 級4 級初級3 級70%25%5%2 級1 級備注評價總分滿分為 100 分,由專業知識、技術技能、工程實踐三項評價維度的權重總分所得。T/MIITEC 023-202411參考文獻1GB/T 41867-2022 信息技術 人工智能 術語_