DIGITIMES：2024年EdgeAI浪潮下的硬件業者發展觀察報告（23頁）.pdf

《DIGITIMES：2024年EdgeAI浪潮下的硬件業者發展觀察報告（23頁）.pdf》由會員分享，可在線閱讀，更多相關《DIGITIMES：2024年EdgeAI浪潮下的硬件業者發展觀察報告（23頁）.pdf（23頁珍藏版）》請在三個皮匠報告上搜索。

1、Copyright DIGITIMES Inc.All Rights Reserved.Edge AI浪潮下的硬體業者發展觀察申作昊 Zouhao ShenDIGITIMES研究中心April.20242邊緣運算定義：運算節點較靠近終端雲端層地區資料中心邊緣伺服器感測/終端邊緣運算小型/微型資料中心Server、IPC.etcAI手機、AI 筆電、智慧感測器etc運算資源儲存空間延遲程度較多較少較大較小較高較低3資料來源：全球運算市場穩定成長年增長率估約15.7%MarketsandMarkets、IIC，DIGITIMESResearch整理，2024/4536 600 1,106 0200

2、4006008001,0001,2002023 2024 2025 2026 2027 2028 2029全球邊緣運算市場成長預測單位：億美元邊緣運算各場域應用分布21%18%15%13%12%5%4%4%3%3%2%資通建設交通醫療製造農業資料中心建築穿戴城市家庭零售4邊緣市場構成與重要參與者列舉Edge AI 軟體Edge AI晶片邊緣設備/邊緣終端邊緣伺服器邊緣IPC消費型終端智慧終端通用晶片-GPGPUMCU整合式開發平臺預訓練模型NPU(XPU)智慧鏡頭感測器智慧電錶etc5邊緣端產業生態兩大發展重點市場需求供應商策略應用專業化強調軟硬整合Edge AI市場往專業分工領域發展7邊緣端

3、市場趨向應用專業化市場需求供應商策略強調軟硬整合車載電腦工業應用安防監控城市交通智慧家居應用專業化etc8邊緣架構依情境處理不同類型AI任務邊緣層：資料中心、伺服器邊緣層：物聯網感測器雲端任務複雜度高地端LLM應用機器視覺類應用非影像感測應用震動偵測語音喚醒異常偵測物件分類手勢識別身分識別各式推理任務e.g.文字生成、圖像生成etc複雜種類模型訓練任務各領域專家系統專家模型訓練輕量模型、專用晶片大模型、通用類晶片9邊緣端AI晶片類別(GPU、XPU)與差異效能/功耗GPU應用範疇XPU圖片來源：HailoGPUNPU(XPU)多針對特定AI任務開發 特定情境下效能、功耗等較佳 須一併考量AI演

4、算法開發 較適合邊緣端單一應用情境專用度較高 可處理多種、複雜AI任務 較適合用於AI模型訓練 軟體開發生態較開放、完善 較適合雲端多樣任務情境通用度較高10機器視覺為目前AI晶片新創主流布局機器視覺為當前AI晶片業者主流應用方向edge server端edge device端KL520Hailo-8Hailo-15Hailo-10MetisAkida1000Akida-1Akida-2MLSoCLPUKL730KL730LLM應用機器視覺類應用物聯網感測應用部分業者近年開始發展LLM解決方案11邊緣運算各環節AI加速硬體需求不同解決方案各異雲端/資料中心Edge serverEdge dev

5、ice AI任務種類多樣 可擴充性要求高 訓練模型需求高 可擴充性要求高 需視應用調整規格 應用單一、專用度高 成本、能耗敏感GPUASIC通用性高處理各種任務雲端業者自研配合自家算法GPU通用解決方案PUSoC專用解決方案保留可擴充性整合運算單元具性能優勢SoC整合運算單元具性能優勢MCUNPU外接運算能力保留設計彈性MCUNPU微控制器內嵌運算能力12NPU業者多布局機器視覺技術應用領域各不相同機器視覺晶片各應用領域產品資料中心/伺服器 運算力需求高 大量記憶體空間 可擴充性高車載系統 運算力需求高 高可靠性 延遲程度低智慧鏡頭 延遲程度低 低耗能要求 成本敏感度高物聯網終端 低耗能要求

6、成本敏感度高 保留設計彈性SoC外掛NPUSoCSoC外掛NPUNPU+MCU業者逐漸從外掛NPU轉向發展整合度較高產品13Source:部分NPU新創業者近期推出LLM專用AI加速晶片Artificial Analysis、Groq、Hailo，DIGITIMES Research整理，2024/4Hailo-10LPULLM專用晶片每Token價格(美元)吞吐量推廣Groq cloud服務推廣Groq 晶片至資料中心 購併 AI 解決方案公司Definitive Intelligence 以高吞吐量、低收費為優勢 成立Groq Systems推銷晶片 Edge LLM尚無特殊用例 建置成本

7、為一大劣勢 表達近年將推出LLM專用開發軟體或硬體 以M.2加速卡形式推出，支援邊緣server或PC Hailo-10H提供40TOPS運算力 功耗低於 3.5W14處理器、MCU大廠新產品趨向內嵌NPU增加運算力Versal AI Edge Gen 2 整合NPU的系統單晶片，共6款產品 標榜低功耗與低延遲適於嵌入式應用 以車電、工業、醫療等為目標市場Versal AI Edge SoC運算力20200 TOPSVitis AI開發環境(具模型壓縮優化工具)硬體軟體AMD邊緣AI軟硬體解決方案PSoC Edge MCU系列以物聯網應用為目標市場E83與E84 MCU內建Ethos-U55

8、NPU搭配ModusToolbox軟體開發工具2025年量產，預估單價68美元FRDM開發板內嵌N947 MCU 具兩顆Cortex-M33核心 內建自研eIQ Neutron NPU 搭配MCUXpresso開發工具處理器、MCU大廠展出新品內嵌NPUEdge AI硬體業者走向軟硬整合16邊緣端產業生態兩大發展重點市場需求供應商策略應用專業化強調軟硬整合雲端通用AI模型不適用邊緣硬體客製化程度高開發導入時間拉長客戶獨立開發軟體解決方案面臨挑戰產業應用軟體合作軟體開發工具17邊緣整合式開發業者將雲端開發工具串聯至邊緣端壓縮編譯部署Edge AI整合式開發平臺業者串聯雲端、邊緣開發生態預訓練模型

9、與開發工具模型壓縮優化工具導入邊緣硬體模組生成數據模擬驗證串聯MCU業者開發工具18AI晶片業者提供軟體開發套件支援客戶開發相容模型AI晶片業者提供軟體開發套件MCUXpressoModusToolboxST Edge AI SuitePaletteAI Software SuiteVOYAGER SDKEdge模型訓練處理器應用平臺模型框架使用者模型模型庫示範編譯器主流模型框架使用者應用應用示範庫模型部署/更新工具設備監控工具合作Edge平臺整合業者etc合作產業應用軟體業者etcetc19AI晶片業者提供預訓練模型加速客戶開發預訓練邊緣模型物件偵測、物件分類、語意分割物件偵測、物件分類物件

10、偵測物件偵測、物件分類聲音偵測晶片業者本身開發預訓練模型外部合作取得資源內部研發物件偵測物件分類語意分割20AI晶片業者與場域軟體業者合作提供應用解決方案製造場域應用交通場域應用 訂單管理系統 機器視覺：機器手臂抓取點、拾取物體識別 連線倉儲管理系統，達成自動化訂單管理 機器視覺：安全裝備配備狀況 行為安全、緊急通報、個人防護設備檢測 智慧交通系統 機器視覺：車輛識別、行人識別 車流計算、分類、人流分析等應用 機器視覺：車輛識別、行人識別 路口監控、事故偵測、智慧停車場等應用訂單管理系統工安偵測系統智慧交通系統路況偵測系統21AI晶片硬體業者逐步打造自家軟體生態體系AI晶片業者客戶提出需求晶片

11、+軟體AI晶片業者客戶晶片+SDKAI晶片業者客戶提供晶片平臺服務3rd軟體上架採用123邊緣AI晶片導入模式採用晶片業者軟硬整合方案使用開發工具自行開發採用平臺業者服務晶片業者發展軟硬整合業務晶片業者打造軟體生態系Nvidia TAO工具套件平臺合作3rd業者預模型平臺自建預模型平臺引入3rd業者軟體22結論市場需求供應商策略應用專業化軟硬整合方案 硬體求取成本與效能平衡 通用性與專用性的取捨適得其所穠纖合度 不再固守硬體業務 發展微垂直領域解決方案降低採用門檻串聯生態系Copyright DIGITIMES Inc.All Rights Reserved.THANK YOU申作昊 Zouhao ShenDIGITIMES研究中心April.2024