科大訊飛-李珍松-星火認知大模型一年四次大發布背后的平臺及應用工程實踐.pdf

《科大訊飛-李珍松-星火認知大模型一年四次大發布背后的平臺及應用工程實踐.pdf》由會員分享，可在線閱讀，更多相關《科大訊飛-李珍松-星火認知大模型一年四次大發布背后的平臺及應用工程實踐.pdf（36頁珍藏版）》請在三個皮匠報告上搜索。

1、訊飛訊飛星火星火4 4次次發發布背后的平臺及布背后的平臺及應應用工程用工程實踐實踐李珍松 科大訊飛 AI平臺架構師“”講師簡介 科大訊飛AI工程院研發主管、高級AI平臺架構師，2014年入職訊飛，長期從事AI平臺及方案建設，深度參與訊飛語音云平臺演進及AI開發平臺從0到1建設落地，目前主要負責AI云平臺相關架構演進及技術產品轉化工作。李珍松關關于于訊訊飛飛AIAI工程工程團隊團隊成建制的人工智能資源/研究/引擎/平臺團隊護航“應用立地”從算法工程到平臺工程、應用方案落地，拉通AI研發至AI落地的雙循環數據數據 教育教育應應 用用智能智能語語音音國國家新一代人工智能家新一代人工智能開開放放創創新

2、平臺新平臺A.I.A.I.研究院研究院外部技外部技術術引入與整合引入與整合語語音合音合成成語語音音識識別別語語音翻音翻譯譯圖圖像像視頻視頻語語音交互音交互行行業認業認知知500w500w+中國科大清華大學哈工大中科院體系薩里大學約克大學語語音及音及語語言信息言信息處處理理國國家工程研究中心家工程研究中心認認知智能知智能國國家重家重點實驗點實驗室室辦辦公公A.I.A.I.資資源部源部 醫療醫療玩玩具具汽汽車車家家庭庭營營銷銷城城市市司司法法開發團隊開發團隊A.I.A.I.工程院工程院ToGToGToBToBToCToC20202020年年TOP100TOP100分享分享AI ServingAI

3、Serving引擎托管平臺回引擎托管平臺回顧顧模型及能力數增長5倍的同時，迭代維護人力增長不超過20%高高內內聚托管平臺聚托管平臺經過時間經過時間及及規規模的模的驗證驗證，可形成持，可形成持續續性收益性收益模型服務化開發效率由2月降低至2天傳統架構2月托管平臺架構2天AI開發效率5xxx2020202320202023模型/能力數迭代維護人力相關框架完成開源，歡迎參與共建：https:/ 5月月6 6日首次日首次發發布布七大核心能力七大核心能力發發布布大模型大模型評測評測體系體系發發布布1+N大模型框架的0到1內容安全紅線8 8月月1515日日突破代突破代碼碼能力能力多模多模態態交互再升交互再

4、升級級10241024 通用模型通用模型對標對標ChatGPTChatGPT（中文超越，英文相（中文超越，英文相當當）多模態融合架構0到1性能容量應對開放開放深度開發微調、插件、知識庫6 6月月9 9日日突破突破開開放式放式問問答答多多輪對話輪對話能力再升能力再升級級數學數學能力再升能力再升級級知識插件工程0到1訊飛訊飛星火星火4 4次大版本次大版本發發布布中核心技中核心技術術與平臺工程與平臺工程的的挑挑戰戰以通用大模型以通用大模型結結合合行行業業垂垂類類大模型的大模型的1+N1+N策略，策略，支支撐撐應應用高用高質質量落地量落地教育辦公1 1個個通用通用認認知智能大模型知智能大模型汽車交互側

5、重通用任務側重專業領域任務針對通用大模型SFT進行指定行業領域的效果增強，加速產業落地企業服務22.1%教育培訓13.7%工業制造3.4%智能硬件5.2%智慧文旅1.6%智能客服8.9%新聞出版4.1%醫療健康6.5%智慧金融5.4%智慧政務1.9%能源行業2.0%數字人5.1%汽車行業2.1%開發者行業發布情況大模型大模型應應用案例及效果展示用案例及效果展示數學內容創作交互問答附附錄錄：認認知大模型技知大模型技術術原理原理-海量文本的高海量文本的高質質量清洗及超大量清洗及超大規規模模語語言模型言模型訓練訓練訓練數訓練數據據模型模型參數參數預估需求算力GPT3-300PGPT3-300P訓練訓

6、練1 1個個月月根據根據 SemaforSemafor 報報道，道，GPT-4 GPT-4 比比 GPT-3 GPT-3 大六倍左大六倍左右，具有右，具有 1 1 萬萬億億個參數個參數根據根據DeepMindDeepMind研究估算的研究估算的GPT-4GPT-4訓練數訓練數據據TokensTokens數數據量據量級級在在5000B5000BChatGPTChatGPTGPT-4GPT-410B10B300B300B30005000B30005000BTokensTokens常常規規NLPNLP任任務務ChatGPTChatGPTGPT-4GPT-410=有用性準確性無害性根據人根據人類類的反

7、的反饋饋排序排序來訓練獎勵來訓練獎勵模型模型PromptPrompt：我：我們來對對聯們來對對聯吧，千吧，千絲絲萬萬縷織縷織就就錦繡錦繡河山，下河山，下聯對聯對什么什么百記千心筑成國泰民安三令五申織就和諧社會萬紫千紅繁華都市PromptPrompt：一列火：一列火車車正常行正常行駛駛，前方，前方軌軌道上有五道上有五個個小孩在玩耍，而另一小孩在玩耍，而另一條廢棄軌條廢棄軌道上有一道上有一個個小孩，小孩，應該變應該變更更軌軌道道嗎嗎？.我沒有能力做出決定或采取行動。孩子不應該在軌道上玩耍.家長應該.作為一個ai語言模型，我無法判斷是否應該變更軌道。為了避免對五個孩子的生命造成威脅，應該立即變更軌道

8、，將列車引導到廢棄軌道上，即使這意味著對那個孤獨的孩子造成了傷害。以有用性排序以有用性排序以準確性排序以準確性排序以有害性排序以有害性排序PromptPrompt：請請以李白的以李白的風風格格給給我我寫寫一首思一首思鄉鄉的五言的五言絕絕句句老去思鄉切，千秋見月圓。故人江海外，無處著漁船客里逢秋倍覺涼，滿城砧杵動高堂?；ㄖφ账t千片，柳線縈風綠半塘秋風與黃昏相約，秋雨與鄉愁結伴，心事在落紅中憔悴，鄉情在琴音里輕彈預訓練預訓練(Pre-training)(Pre-training)有有監監督微督微調調(Supervised Fine-Tuning)人人類類反反饋饋的的強強化化學習學習(Reinfo

9、rcement Learning from Human Feedback)構建構建大大模型平臺及模型平臺及應應用工程面用工程面臨臨的三的三個靈個靈魂拷魂拷問問1-1-如何構建如何構建簡簡易高效、易高效、開開放包容的放包容的AIAI開發開發2-2-如何如何實現穩實現穩定可靠、值得信定可靠、值得信賴賴的的AIAI服服務務3-3-如何打磨高性價比、追求極致的如何打磨高性價比、追求極致的AIAI體體驗驗簡易高效、開放包容的AI開發實踐User I/O User I/O 輸輸入入輸輸出出Memory Memory 記憶記憶APIs/Tools APIs/Tools 工具工具Prompts Prompts

10、 提示提示插件插件 Plugins/Plugins/Chains Chains LLMsLLMs任任務務 Tasks/Tasks/AgentsAgents基于大基于大模型云模型云+端的端的應應用用開發開發范式范式多模態LLM大模型托管及服務平臺基礎設施依托通用依托通用AIAI平臺平臺設設施構建大模型托管平臺，施構建大模型托管平臺，支支撐撐大模型快速迭代大模型快速迭代發發布布引擎托引擎托管控制管控制臺臺webAPI在線SDK離線SDK組合SDK云托管（ASE)端托管（AEE）合成識別翻譯OCR離線合成離線識別離線翻譯離線OCR發發布上架布上架引擎引擎開發開發標準API跨平臺SDK插件化加載插件化

11、加載開發開發者者應應用用AI模型服務化基礎設施：云+端AI引擎托管平臺內容安全策略定制流程定制知識管理方案領域知識構建領域知識檢索大模型插件平臺內置插件開放插件大模型托管平臺大模型推理runtime國產異構兼容大模型定制與調優平臺Patch定制訓練及發布模型管理大模型大模型托管控托管控制臺制臺大模型大模型定制定制控控制臺制臺SparkChain（SDK）SparkAPI知識管理API內容安全API通用大模型交互大模型教育大模型開源大模型Token算力運營管控依托既有AI模型托管的基礎設施，對內容安全、知識管理等必要基建進行迭代擴展，快速構建大模型托管及服務平臺，減少造輪子！通通過過優優質質的的

12、PromptPrompt工程，高效率工程，高效率/低成本的低成本的實現實現LLMLLM任任務務定制定制整體大模型應用方案落地中，優質的prompt工程是不可或缺的一環！單一prompt工程應用屬于壁壘較低的解決方案，優秀的定制表現依賴深度調優，適用于場景獨立、對容錯率要求較低的有限環境構建/發布憑借prompt工程實踐，星火快速構筑海量的助手應用，但短板依然明顯零樣本提示有效的提示技巧，可以更好激發大模型效果思維鏈CoT提示ReAct(推理+動作):通過顯式推理，加上動作(執行相應的插件工具)，LLM Agent自主找到了答案。整個過程感覺就像是個不是特別聰明的孩子，要把想法寫出來，然后去綜合

13、所有想法和觀察，接著再做出相應的動作。但顯然這個方法很有效，它最終找到了答案。ReAct提示少樣本提示零樣本提示面向開發者：助手能力助手能力較為單較為單一一，僅支持通過prompt構建閑聊、內容生成型助手無無法串法串聯場聯場景和景和業務業務系系統聯動統聯動，實現助手和業務場景融合缺乏復缺乏復雜場雜場景的配套框架和工具景的配套框架和工具鏈鏈面向平臺：助手同助手同質質化化嚴嚴重重，為開發者提供的壁壘較低可玩性偏弱可玩性偏弱，較難支撐復雜問題解決和應用孵化通通過開過開放式的插件工程，放式的插件工程，實現實現LLMLLM的三方的三方應應用用擴擴展接入展接入同一會話中三方Plugin的個數限制主要瓶頸可

14、能在于prompt（聲明文件+API定義）占用大量上下文插件方案并非公共模型入口的長期路線最優解，更適于貼合具體場景任務的助手方案，星火插件定位主要為內部系統支撐插件選擇聲明文件API定義三方Plugin prompt(聲明文件+API定義)+SFT(非關聯Plugin prompts)GPTs運行時核心架構，以Action等工具替代模型plugins模式GPTs知知識庫識庫代代碼碼工具工具webweb搜索搜索ActionAction（三方工具）（三方工具）文件保存文件保存圖圖像生成像生成Code InterpretCode InterpretDALLEDALLE文件存文件存儲儲搜索服搜索服務

15、務官方工具官方工具三方工具三方工具(Zapier(Zapier平臺平臺)IMIM記記事本事本沙盒沙盒環環境境pythonpython代代碼碼執執行器行器網關權權限管理限管理鑒權鑒權服服務務OAuthOAuth鑒權鑒權ActionAction管理管理ActionsActions服服務務ActionAction執執行器行器（function Callfunction Call）最最終終用用戶戶GPTsGPTs創創建者建者配置管理決策消息通知回調服務調用代碼執行業務業務系系統統助手2.0構建思路助手2.0memoryChains（Agents)插件工具LLMChain知識庫RouteChainFor

16、ChainFunction Callprocesson郵件搜索日歷工具市場PPT助手文旅助手數據分析助手助手市場助手構建中心以助手以助手應應用用實踐實踐短板短板+指定指定場場景任景任務務的目的目標驅動標驅動思路，加深助手壁思路，加深助手壁壘壘及可玩性及可玩性以AI任務流為核心，基于Agent+Chains+Tools構建可處理相對復雜任務、流程可控的助手應用2.0助手助手1.01.0助手助手2.02.0Prompt工程三方知識擴展三方工具擴展X目標任務流X其他通通過過知知識識EmbeddingEmbedding、端到端的知、端到端的知識識管理管理方案快速提升方案快速提升領領域域效果效果問題意圖

17、標準化大模型限制大模型限制大模型可“記住”知識較少；大模型獲取即時信息能力弱；知識庫信息更新速度較快。解解決決方案方案多輪咨詢，深度問答；文檔預覽，保證閱讀體驗；答案溯源，輔助校驗。標準問題+相關文段訊飛星火大模型回答相關文段用戶問題訊飛星火大模型標準問題Embeddings采編引擎拆分段落/標題段1標題1內容1得到組合文本塊Embeddings索引庫段落1_Embeddings段落2_Embeddings段落n_Embeddings專業文檔/問答對/網頁段n標題n內容n知識管理與檢索是LLM個性化的基礎，高價值數據以及良好的數據治理是知識庫方案落地的基礎公有模型對少量知識的擴展定制能形成快速

18、有效的支撐，面向領域/企業級知識內容仍需從采編、融合等流程精細化打磨通通過過少量少量樣樣本，本，實現實現推理效果更推理效果更穩穩固的大模型固的大模型微微調調定制定制小樣本語料星火專有云基礎LLMPatchPatch星火公有云個性化Patch訓練效果自動化驗證效果體驗Patch發布個性化定制平臺API云服務Q1：A1：Q2：A2：Qn：An：問答對：星火SFT模型微調及推理自動化流程樣本規整、多樣性擴散、負例定義等策略是提升微調模型定制效果的有效措施，Lora是開放微調更具性價比的前期路徑原文:：input:【例題判斷題】內部控制的實施主體是企業的會計人員，這句話是對的嗎？（）,target:不

19、對。內部控制的實施主體由企業董事會、監事會、經理層和全體員工所構成。input:1.對融資租賃的房屋計征房產稅時，應以出租方取得的租金收入為計稅依據。（）,target:正確答案錯誤答案解析融資租賃的房屋，由承租人以房產余值計征房產稅。規整：input:【判斷題】內部控制的實施主體是企業的會計人員，這句話是對的嗎？（）,target:正確答案不對答案解析內部控制的實施主體由企業董事會、監事會、經理層和全體員工所構成。input:【判斷題】對融資租賃的房屋計征房產稅時，應以出租方取得的租金收入為計稅依據。（）,target:正確答案錯誤答案解析融資租賃的房屋，由承租人以房產余值計征房產稅。樣 本

20、 規 整原文：“input”:“假設你是一個智能交互助手，基于用戶的輸入文本，解析其中語義，抽取關鍵信息，以json格式生成結構化的語義內容。用戶輸入：我想調小客廳空氣凈化器的濕度到3”,“target”:“json result負例：“input”:“xxx：我想調高沙發的溫度”,“target”:“我是人工智能模型，不能操作沙發負 例 定 義一站式數據處理，滿足用戶多樣化需求，構建高質量數據集預置多款開源大模型，“開箱即用”玩轉主流開源大模型，其中星火大模型開源版本預計Q1發布提供全面、多維度的模型評估方案，直觀感受微調前后效果差異支持模型即服務（MaaS），支撐大模型應用的高效集成依托訊

21、飛自研推理框架和標準化的接口協議，具備行業領先的推理性能優勢應對應對1+N1+N及及開開源大模型深度源大模型深度開發開開發開放放訴訴求，沉淀一體化大模型求，沉淀一體化大模型開發開發平臺平臺AIAI算力基算力基礎設礎設施施多租戶混合云算力調度公有云算力混合云算力集群大模型基座大模型基座星火大模型開源大模型行業大模型大模型大模型開發層開發層大模型微調數據管理訓練管理效果評估大模型擴展Embedding插件大模型托管標準協議插件CI/CD/自動測試云推理服務大模型大模型應應用用開發層開發層數據管理數據管理 數據存儲數據檢索 效果優化Prompt調優 人設數據回流 三方服務數據服務APIAgents

22、Builder代碼編排 可視化編排 AutoSpark大模型接入大模型接入層層APISparkChain授授權權申申請請監監控告警控告警用用戶戶分析分析應應用管理用管理數數據分析據分析自自動動化化測試測試自自動動化部署化部署運營平臺開源+微調加劇大模型“規模暴脹”，依托與星火同源的服務鏈路，結合開源大模型微調，協助開放用戶快速構建專屬大模型穩定可靠、值得信賴的AI服務實踐應對應對全面全面開開放放帶來帶來的流量復的流量復雜雜度提升，不度提升，不僅僅要自己用要自己用穩穩，也要，也要讓開發讓開發者用者用穩穩自有應用A與開放應用B的流量模型差異大，加大資源協調調度復雜度自有應用A與開放應用B的特性覆蓋

23、差異大，加大應用間穩定性串擾Feature：aFeature：bFeature：cFeature：aFeature：bFeature：dFeature：bFeature：cFeature：dFeature：aFeature：cFeature：d公共開放平臺的挑戰在于滿足應用落地場景定制性的同時，保障公共平臺資源的穩定性全球混合云基礎設施AI智能路由網關統一就近接入層星火大模型傳統AI模型AZ星火大模型傳統AI模型AZ星火大模型傳統AI模型AZ星火大模型傳統AI模型AZAI智能路由網關AI智能路由網關AI智能路由網關負載均衡、數據合規、延遲體驗基于多云的混合云基基于多云的混合云基礎設礎設施，施，

24、實現實現大模型容量感知、分大模型容量感知、分鐘級彈鐘級彈性伸性伸縮縮相比傳統模型依賴的算力設備，大模型算力資源成本高昂、渠道不暢，廠商通過渠道資源“拼湊”以緩解資源危機的方式成為常態網絡體驗趨近內網延遲的公有云基礎設施、輕量級靈活依賴的接入鏈路及熱啟動預發，有效解決大模型推理資源的“窘境”自建算力中心公有云多租戶混合云算力調度公有云專有云1專有云2AI模型大模型自采模型模型托管服務模型定制服務SDK/API應對應對不同用不同用戶對戶對SLASLA的差異化的差異化訴訴求，分求，分級級隔離的隔離的專專有云機制有云機制從從安全性、定制安全性、定制性上性上對應對應用落地體用落地體驗驗有大幅有大幅提升提

25、升面向高質量要求應用設計的租戶級集群隔離，獨享計算，更加可控更加可控面向企業AI平臺部門設計的專有的運營控制，更更強強的的業務業務支支撐撐能力能力面向混合云架構應用設計的近云混合云基建，更低更低時時延，更加可靠延，更加可靠面向各垂直領域應用設計的多維度深度定制，更加更加貼貼合合應應用的用的場場景景構建構建租租戶戶隔離、多隔離、多維維定制的定制的專專有有云，云，打造打造穩穩定可靠、高效定制的定可靠、高效定制的大模型大模型解解決決方案方案高性價比、追求極致的AI體驗實踐200ms 200ms 4 400ms 00ms 移動互聯網初期將人類視覺反應時間定為訊飛輸入法語音響應指標大模型時代基于主流模型

26、結構極致優化，兼顧成本平衡下的首響時間如何打磨高性價比、追求極致的如何打磨高性價比、追求極致的AIAI體體驗驗以以終為終為始定始定義義指指標標，要性能也要性價比，要性能也要性價比用戶規模應對1010次次人日均使用次數8 8小小時時日均每并發計算時長1000tokens1000tokens平均會話長度Y Y秒秒平均會話時長X X 人人日活用戶規模8 8小小時時/Y/Y秒秒日均每并發會話次數MM元元計算鏈路單元成本Y Y 1010秒秒 人類閱讀極限速度1000字/分鐘 快人一步快人一步Token時延=C+Alpha*編碼長度+Beta*解碼長度Token吞吐=batchN/Token時延有性價比的

27、計算指標N=M/單并發成本單元計算并發數L=吞吐率*N單元計算吞吐精細化運營優化高性能計算優化基于10月21日各產品版本對比全全鏈鏈路路數數據工程掌握據工程掌握產產品一手反品一手反饋饋，版本，版本驅動驅動更省心更省心V1.5V2.0V3.0下降30%下降58%V1.0V2.0V3.0下降64%下降32%基于人機基于人機協協同的同的數數據優化機制據優化機制數數據據匯匯聚聚產產品品用戶評價輿情監控大模型服大模型服務務系系統統數據清洗與聚類數數據據漏斗漏斗T+0T+0數數據據處處理理T+1T+1數數據據處處理理T+NT+N數數據據處處理理patch敏捷版本大版本迭代訓練多多顆顆粒度粒度版本版本實現實

28、現效果迭代效果迭代線線上效果上效果閉環閉環星火知星火知識識模模塊點塊點踩率優化踩率優化星火大版本星火大版本點點踩率優化踩率優化體系化大模型體系化大模型運營運營，沉淀多角度的，沉淀多角度的運營運營指指標標及模板及模板 僅僅供供參參考考模塊級的用戶主觀體驗量化指標面向用戶體驗的客觀系統指標面向應用成效的運營指標核心指標項日期-N日期-N+1同比/環比總服務次數總服務量系統成功率整體成功率Spark-V3.0平均會話時長(ms)平均會話時長-大模型(ms)平均首字響應(ms)平均首字響應-帶插件(ms)平均提問長度(Token)平均答案長度(Token)平均吐字效率(T/s)集群容量集群峰值使用率S

29、park-V2.0功能類型分類今日總點踩率存在錯誤信息存在不安全或違法信息回復內容沒什么幫助通用認知N方向xxxxxx插件xxxxxx內容安全功能類型具體分類日期-N日期-N+1同比/環比今日實時運行情況響應時間(ms)成功率(%)認知整體1方向-v1.51方向-v2.01方向v3.0N方向-xxN方向-xx插件整體大模型應用開發現狀：以以PromptPrompt為為核心核心、壁壁壘較壘較低低、可解可解決問題類決問題類型相型相對對單單一一，需要瞄準解，需要瞄準解決決更復更復雜雜的的問題問題移移動動webweb站站點點移移動動互互聯聯網網類類比比PCPC端端軟軟件向移件向移動動端的移植端的移植基

30、于基于iOS/AndroidiOS/Android的原生的原生應應用用可解可解決問題決問題類類型型典型典型場場景景核心壁核心壁壘壘擁擁有有創創意型意型擁擁有核心有核心數數據型據型擁擁有有強強APIAPI能力型能力型擁擁有有強產強產品品業務開發業務開發能力型能力型客服助手三方工具地圖、PPT等AIAI原生原生應應用用單點工具交互體驗流量入口復復雜雜任任務務低同質化較高私域工具較高生態補充（智能音箱技能模式）非常高非常高開發開發者者類類型型大模型大模型功能需求功能需求prompt+文圖生成語言理解+RAG+問答生態+Tools標準Agent+生態工具+RAG+業務系統等應應用方向用方向趨勢趨勢閑閑

31、聊型助手聊型助手文字圖片生成客服型助手客服型助手領域知識工具型工具型軟件工具應用智能體智能體虛擬環境交互具身智能具身智能現實環境交互復復雜雜任任務務型大模型型大模型應應用用AIGC工具20242024年，年，將將是大模型是大模型應應用落地的用落地的關鍵關鍵一年一年任務執行角色任務隊列任務創建角色觀察者角色Memory用戶1.初始任務目標設定2.執行任務3.發送執行結果獲取上下文存儲歷史執行記錄結果4.添加子任務6.決策后Task列表5.觀察任務執行偏離情況決策是否退出Tool-1Tool-2Tool-3Tool-4Tool-N外部可定制工具集（函數、Docker工具）處理復雜任務的AI Age

32、nt框架AutoSpark，https:/ AgentAI Agent的的開發開發范式目前范式目前雖雖然然沒沒有確定，但未有確定，但未來來一定是一定是處處理復理復雜雜任任務務的路的路徑徑之一之一1）核心角色Bob+Alice+User2）AI驅動器分兩類，前兩個角色是全托管，后者是輔助驅動3）應用擴展開發分三大平臺，AIGC場景構建器，人設資源平臺，AI驅動器開發平臺AI人設資源平臺AIGC場景構建器底座底座星火認知大模型星辰大模型定制平臺RAGauto spark平臺平臺AI驅動全托管AI輔助人工接管場景虛實融合學習訓練核心角色BobAliceUserAI驅動器開發平臺應用應用AI辯論賽口語學習AI面試從從大模型大模型應應用交互融合用交互融合趨勢趨勢出出發發，構建典型智能，構建典型智能AIAI原生示范原生示范應應用用以示范應用為牽引，打造一個更真實、更智能、更有趣的智能體示范應用開發平臺解放解放生生產產力，力，釋釋放想象力放想象力燎原通用人工智能的燎原通用人工智能的星星之火星星之火用人工智能建用人工智能建設設美好世界！美好世界！微 信 官 方 公微 信 官 方 公 眾 號眾 號：壹 佰 案 例：壹 佰 案 例關關 注 查 看 更 多 年 度注 查 看 更 多 年 度 實 踐實 踐 案 例案 例