劉力-算力魔方^MOpenVINO賦能AI邊緣大模型（LEO）20240622 - release.pdf

《劉力-算力魔方^MOpenVINO賦能AI邊緣大模型（LEO）20240622 - release.pdf》由會員分享，可在線閱讀，更多相關《劉力-算力魔方^MOpenVINO賦能AI邊緣大模型（LEO）20240622 - release.pdf（31頁珍藏版）》請在三個皮匠報告上搜索。

1、MEETEDGELARGELANGUAGEMODDEL算力魔方+OpenVINO賦能AI邊緣大模型劉力算力魔方創始人英特爾邊緣創新大使支持大模型IO連接物理世界運行在端側算力魔方+AIPC算力魔方簡介積木式組合算力積木式組合了最新的CPU、GPU、IO模塊，組成高效緊湊的計算單元，旨在加速人工智能、物聯網、邊緣計算等領域的應用開發與實際部署，賦能未來科技的無限可能。開發套件算力魔方開發套件是專為AI與IOT領域的開發者、科研人員及教育工作者設計的高性能、易上手的硬件開發平臺。多種產品形態算力魔方提供靈活的系統組成方式，可以實現板卡級、套件、模組、迷你主機、工控機的多種方式，協助開發者搭建開發平

2、臺。一站式服務提供定制化服務，可以實現從Idea to Product，協助開發者從概念實現到原型設計到產品化的一站式服務，實現多種行業和場景解決方案。算力魔方簡介第一層：CPU模塊提供基本功能第二層：擴展模塊提供IO擴展功能搭載CPU、內存、M.2 SSD的計算模塊算力魔方模塊化設計體積小巧支持多種IO/GPU穩定可靠支持定制128mm73mm97mmGPU擴展模塊CPU模塊算力魔方顯卡支持支持8-14代酷睿支持RTX1650(4GB)、A380(6GB)、RTX4060(8GB)顯卡算力魔方產品線核心板開發板/套件算力魔方AIPCTank工控機Optimized PerformanceFP

3、GACPUNPUGPUOpenVINO加速生成式AI OpenVINO編程生態指定OpenVINO 為PyTorch 2.x后端ONNX Runtime的OpenVINO 執行提供者OpenVINO 與Optimum的集成OpenVINO 作為后端已集成到 OptimumOptimum Intel 是一個鏈接Transformers庫和Diffusers庫與OpenVINO 的工具包，用于加速在英特爾硬件平臺上的AI大模型流水線(pipeline)的執行過程!Optimum Intel簡單易用！一條命令完成模型的INT4/8量化optimum-cli export openvino-model

4、 Qwen2-1.5B-Instruct-task text-generation-with-past-weight-format int4-group-size 128-ratio 0.8 qwen2-1.5b-instruct_int4Optimum Intel簡單易用！無需大幅修改原有代碼-from transformers import AutoModelForCausalLM+from optimum.intel import OVModelForCausalLMfrom transformers import AutoTokenizer,pipelinemodel_id=helen

5、ai/gpt2-ov-model=AutoModelForCausalLM.from_pretrained(model_id)+model=OVModelForCausalLM.from_pretrained(model_id)tokenizer=AutoTokenizer.from_pretrained(model_id)pipe=pipeline(text-generation,model=model,tokenizer=tokenizer)results=pipe(Hes a dreadful magician and)pip install optimum-intelopenvino,

6、nncf只需將原本使用的Transformers 庫的AutoModelForXxx類替換為Optimum Intel庫的OVModelForXxx類即可跨平臺跨平臺OpenVINO 提供了一個推理引擎，支持多種英特爾硬件，包括 CPU、iGPU、GPU、FPGA支持多種模型支持多種模型易部署易部署開源開源OpenVINO 包括一個模型優化器，可以將各種格式（如TensorFlow 和 ONNX）的預訓練深度學習模型轉換為其優化的中間表示（IR）格式。一次編寫，任意部署”：轉換后的模型能夠在不同的英特爾硬件平臺上運行，而無需重新構建，有效簡化了構建與遷移過程OpenVINO是開源工具平臺，In

7、tel 提供了豐富的文檔、教程和社區支持，以幫助開發人員最大化其工具的使用降低開發成本降低部署成本三步完成Qwen2的本地部署三步完成Qwen2的本地部署v第一步搭建OpenVINO開發環境請下載并安裝Anaconda，然后用下面的命令創建并激活名為qwen2的虛擬環境：conda create-n qwen2 python=3.10#創建虛擬環境conda activate qwen2#激活虛擬環境python-m pip install-upgrade pip#升級pip到最新版本使用下面的指令進行存儲庫克隆、軟件包安裝、啟動筆記本git clone https:/ install-r r

8、equirements.txt#安裝軟件包jupyter lab notebooks#啟動notebook三步完成Qwen2的本地部署v第二步使用OpenVINO_Notebooks內置的推理程序對Qwen2模型進行INT4量化基于OpenVINO內部的llm-chatbotc推理程序，運行后選擇中文和qwen2-1.5B模型。通過內部推理程序的代碼：optimum-cli export openvino-model Qwen2-1.5B-Instruct-task text-generation-with-past-weight-format int4-group-size 128-ratio 0.8 qwen2-1.5b-instruct_int4將模型進行IN4量化減少模型占用空間的同時并提高推理速度。三步完成Qwen2的本地部署v第三步選擇用于推理模型的硬件設備和Optimum-CLI 工具轉換模型OpenVINO Qwen2運行實例OpenVINO賦能AI邊緣大模型OpenVINO加速Stable Diffusion WebUIOpenVINO加速基于ChatGLM3的企業本地知識庫部署三步完成中文Llama3在算力魔方上的優化和部署在算力魔方上使用 TensorRT 部署Yolo V10