《智靈動力：2025年DeepSeek模型本地部署簡介（55頁）.pdf》由會員分享，可在線閱讀，更多相關《智靈動力：2025年DeepSeek模型本地部署簡介（55頁）.pdf（55頁珍藏版）》請在三個皮匠報告上搜索。

1、DeepSeek本地部署與應用構建智靈動力 陳軍目錄1、DeepSeek簡單介紹與使用2、DeepSeek本地部署3、本地知識庫搭建4、實際應用場景DeepSeek簡單介紹與使用本地化部署隱私保護核心亮點在支持完全本地化部署，有效保護用戶數據隱私，避免敏感信息泄露，同時提升推理速度與安全性。推理能力強DeepSeek R1 推理模型具備強大的推理能力，能夠準確理解并回應復雜的對話場景，支持多輪對話，確保用戶體驗的連貫性和高效性。多種量化蒸餾模型提供多種量化蒸餾模型選擇，包括8B、32B、70B等，以滿足不同應用場景對精度與性能的多樣化需求。模型簡介開源生態開源社區支持，并兼容多種開源框架，方便

2、我們二次開發和微調。同時也支持跨平臺適配。應用場景自動化工作流集成DeepSeek R1 于自動化工作流，顯著提升流程智能化水平，自動處理數據，實現高效、準確的決策支持?？蒲袛祿治鯠eepSeek R1 在科研領域展現出了巨大潛力，通過高效處理和分析復雜數據，為科研人員提供深入見解，加速科研進展。外掛大腦日常答疑解惑，信息收集總結類，料匯總，策劃分析寫周報，寫作直播的話術官網/APP硅基流動秘塔cursor Grok本地部署/APIDeepSeek 使用途徑DeepSeek本地部署數據隱私保護DeepSeek R1 推理模型本地部署可有效避免敏感數據在推理過程中上傳至云端，確保數據隱私安全。

3、自定義模型數據弱審查根據特定需求，用戶可靈活選擇不同量化精度的模型進行本地部署，實現性能與資源利用的最佳平衡?？梢匀趸瘜徍藯l件，更加全面的利用大模型能力離線使用即使在網絡斷開的情況下，用戶仍可依賴本地部署的DeepSeek R1 推理模型進行智能分析，保障工作連續性。性能優化本地部署DeepSeek R1 推理模型能夠充分挖掘并利用本地硬件資源，如CPU、GPU等，實現推理性能的優化提升。本地部署的必要性DeepSeek支持Windows及Linux、mac操作系統，確保了其在不同平臺上的兼容性，為用戶提供靈活的選擇。操作系統軟件要求部署DeepSeek需下載其本地部署包，該包已包含所有必要的

4、依賴項和配置文件，確保了安裝過程的簡便性。安裝包為確保DeepSeek在斷網環境下能夠正常運行，需進行防火墻設置，禁止不必要的網絡通信，保障數據安全。防火墻設置DeepSeek支持8B、32B、70B等多種量化模型，官方滿配版本是671B。用戶可根據實際需求及硬件配置選擇合適的模型。量化模型選擇量化模型作用模型選擇與硬件要求量化模型的選擇直接影響模型的推理速度與精度，用戶需根據具體任務權衡利弊，做出最佳選擇。CPU-1.5B Q8或者 8B Q4 GPU 4G-8B Q4 推理GPU 8G-16G -32B Q4推理 顯存越大，速度越快，達到官方宣傳的官方版本的90%能力，效果也不錯。GPU

5、24G-32G Q8或者70B Q2 GPU 40G-70B Q4 這個效果就非常好了DeepSeek的安裝直接用ollama就能安裝，ollama官方地址：https:/ollama+chatboxaiollama+anythinglmollama+page assistOllama方式安裝Ollama方式安裝Ollama方式安裝安裝軟件Ollama方式安裝Chatbox對話框頁面Chatbox官網：https:/chatboxai.app/enChatbox對話框頁面Chatbox對話框頁面Chatbox對話框頁面環境變量Chatbox對話框頁面環境變量Chatbox對話框頁面GPT4Al

6、l方式安裝網址：https:/gpt4all.io 第一步：安裝 gpt4all選擇適合的系統版本：Windows/macOS/LinuxGPT4All方式安裝第二步：下載 DeepSeek 模型GPT4All方式安裝第三步：開始對話DeepSeek R1 671B linux完整版本地部署部署此類大模型的主要瓶頸是內存+顯存容量，建議配置如下：DeepSeek-R1-UD-IQ1_M：內存+顯存 200 GBDeepSeek-R1-Q4_K_M：內存+顯存 500 GB使用 ollama 部署此模型。ollama 支持 CPU 與 GPU 混合推理（可將模型的部分層加載至顯存進行加速），因此

7、可以將內存與顯存之和大致視為系統的“總內存空間”。除了模型參數占用的內存+顯存空間（158 GB 和 404GB）以外，實際運行時還需額外預留一些內存（顯存）空間用于上下文緩存。預留的空間越大，支持的上下文窗口也越大。此版本主要參考的是李錫涵（Xihan Li）。倫敦大學學院（UCL）計算機系博士研究生的相關論文介紹和截圖。DeepSeek R1 671B 完整版本地部署1.下載模型文件從 HuggingFace 官網地址：https:/huggingface.co/unsloth/DeepSeek-R1-GGUF2.安裝 ollama，這個安裝剛才講了，這里是linux的模式。執行以下命令：

8、curl-fsSL https:/ Modelfile 文件，該文件用于指導 ollama 建立模型文件 DeepSeekQ1_Modelfile（對應于 DeepSeek-R1-UD-IQ1_M）的內容如下：FROM/home/snowkylin/DeepSeek-R1-UD-IQ1_M.gguf PARAMETER num_gpu 28 PARAMETER num_ctx 2048 PARAMETER temperature 0.6 TEMPLATE .Prompt DeepSeek R1 671B 完整版本地部署文件 DeepSeekQ4_Modelfile（對應于 DeepSeek-R

9、1-Q4_K_M）的內容如下：FROM/home/snowkylin/DeepSeek-R1-Q4_K_M.ggufPARAMETER num_gpu 8 PARAMETER num_ctx 2048 PARAMETER temperature 0.6 TEMPLATE .Prompt 4.創建 ollama 模型在第3步建立的模型描述文件所處目錄下，執行以下命令：ollama create DeepSeek-R1-UD-IQ1_M-f DeepSeekQ1_Modelfile5.運行模型，執行以下命令：ollama run DeepSeek-R1-UD-IQ1_M-verbose擴展系統交換

10、空間教程：https:/ ollama-no-pagerDeepSeek R1 671B 完整版本地部署6.（可選）安裝 Web 界面使用 Open WebUI：pip install open-webui open-webui serveDeepSeek R1 671B 完整版本地部署實測觀察本地斷網運行設置虛擬機斷網運行為確保DeepSeek R1在斷網環境下運行,我們可以再虛擬機上運行整個程序，然后給虛擬機斷網。設置防火墻規則為確保DeepSeek在斷網環境下運行，需設置防火墻規則以阻止任何出網流量，從而增強本地部署的安全性。本地斷網運行設置我們在出站規則程序這里添加出站規則本地斷網運行

11、設置本地知識庫系統的搭建基于AnythingLLM的本地知識庫與API搭建用戶提問AnythingLLMOllamaDeepSeek r1LLamaQwen向量庫知識庫第一步：下載nomic-embed-textollama官網-models-nomic-embed-text基于AnythingLLM的本地知識庫與API搭建下載nomic-embed-textollama pull nomic-embed-text基于AnythingLLM的本地知識庫與API搭建下載AnythingLLM Desktop官網地址：https:/ 隱私保護與數據安全隱私保護與數據安全敏感信息處理敏感信息處理：在

12、本地環境中處理個人財務記錄、健康數據或私密文檔離線操作離線操作：在網絡受限或無網絡環境下運行模型，個性化知識庫個性化知識庫：將個人筆記、日記或其他私人文檔與模型結合，構建專屬的知識管理系統企業典型應用場景（隱私保護、定制化能力、離線操作和高效協作）數據隱私與安全數據隱私與安全敏感數據處理敏感數據處理：在本地環境中處理客戶信息、財務記錄或商業機密，確保數據不離開企業內部網絡離線操作離線操作：在網絡受限或無網絡環境下運行模型，例如在偏遠地區或工廠中進行實時分析數據隔離數據隔離：將模型部署在完全隔離的環境中，避免數據泄露風險 知識管理知識管理企業知識庫問答企業知識庫問答：將模型與企業內部文檔結合，構

13、建專屬的知識管理系統，快速檢索和總結信息文檔自動化文檔自動化：自動生成會議記錄、報告或合同摘要，減少人工工作量員工培訓員工培訓：針對競品為新員工生成個性化的培訓材料，并提供實時答疑服務。高效協作、監測與分析高效協作、監測與分析業務流程自動化：業務流程自動化：合同條款智能審核、客服工單自動分類、報表數據自動生成安全風控安全風控：內部通訊敏感詞監控、代碼倉庫漏洞檢測、財務異常模式識別決策支持系統：決策支持系統：市場趨勢預測、供應鏈風險預警、客戶流失分析、競品情報自動分析實際應用場景元媧生態產品介紹滿足個性化的虛擬人定制1.3D超寫實虛擬人、3D美型虛擬人、3D卡通虛擬人、2D真身復刻虛擬人多樣化的

14、虛擬人滿足用戶個性化的虛擬人定制需求；2.多樣化的虛擬人應用場景，滿足不同客戶的場景應用需求。虛擬人定制化平臺元媧生態產品介紹虛擬人智能問答無所不能1.虛擬人可接入專業的問答知識庫；2.專業的技能知識庫（比如查詢天氣、車票等）；3.虛擬人全新的AIGC的能力應用（繪畫、唱歌、跳舞等）；4.虛擬人可以接入不同的大語言模型，滿足個性化的需求。元媧智能問答平臺元媧生態產品介紹元媧平臺是國內首批致力于虛擬人領域的AI科技先鋒，我們的虛擬人生產力服務平臺，全面自主可控，一站式滿足虛擬人的創建與驅動需求，無縫適配國產操作系統，堅固安全防線，精準迎合國內市場需求。首批支持國產化數字人平臺產品介紹元鏡-多模態

15、創意呈現，分鏡創作新引擎一款基于人機快生引擎的AI視頻創作系統，從需求提交到成片僅需10分鐘，即可輸出75分質量的視頻。1.創意視頻腳本引擎從靈感到成品腳本，支持角色定制與創意擴寫。2.多模態創意分鏡引擎支持全方位分鏡設計，生成分鏡圖、視頻和音樂，確保風格與情感一致。3.分鏡一鍵成片引擎自動合成多分鏡視頻，智能補全內容，支持字幕與旁白生成，實現快速成片。案例展示案例展示核心功能 自動化整合自動化整合 高質量輸出高質量輸出 高效助科研高效助科研 高水平綜述高水平綜述 中英文支持中英文支持 國際化綜述國際化綜述 跨語言便利跨語言便利 海量文獻分析海量文獻分析 關鍵信息提取關鍵信息提取 結構內容生成結構內容生成 基礎版（無圖）基礎版（無圖）增強版（單圖）增強版（單圖）專業版（單專業版（單/雙圖）雙圖）元知：元知：AIAI綜述平臺綜述平臺語言支持智能算法版本選擇THANKS