【陶然】基于 Jina 云原生框架部署運維 Inference API.pdf

《【陶然】基于 Jina 云原生框架部署運維 Inference API.pdf》由會員分享，可在線閱讀，更多相關《【陶然】基于 Jina 云原生框架部署運維 Inference API.pdf（28頁珍藏版）》請在三個皮匠報告上搜索。

1、基基于于 j ji in na a 云云原原生生框框架架部部署署運運維維 I In nf fe er re en nc ce e A AP PI I陶陶然然Jina AI 云研發工程師JINA AI 基礎架構高級工程師2022年加入 JINA AI從事 K8S 和 MLOPS 云原生平臺研發陶陶然然掃碼關注Star JinaT Th he e mmo os st t a ad dv va an nc ce ed d MML LO Op ps s p pl la at tf fo or rmmf fo or r MMu ul lt ti immo od da al l A Al lJina AI

2、 是一家商業化開源軟件公司，專注于打造針對多模態 AI 應用的 MLOps 平臺工具。Jina Al 開源社區致力于促進多模態 AI 技術的應用落地以及傳播，通過人工智能和深度學習技術，幫助開發者和企業減少開發學習成本，加快開發部署效率。Jina AI 總部位于德國柏林，在北京、深圳、巴塞羅那等地均設有辦公室，海外員工人數比例超過三分之二。什什么么是是 MML LO OP PS SA AI I e en ng gi in ne ee er r了解需求準備數據開發/訓練模型部署模型監控指標什什么么是是 MML LO OP PS SMML LO OP PS SA AI I e en ng gi i

3、n ne ee er 什什么么是是 MML LO OP PS Smlops 流程開發測試部署d de ev vo op ps s e en ng gi in ne ee er rmml lo op ps s e en ng gi in ne ee er MML LO OP PS S 的的需需求求快快速速迭迭代代快速訓練和開發模型快速部署模型模塊化部署保證服務可用性擴擴展展與與易易用用動態擴展計算資源自動模版化部署多種云架構支持可可觀觀測測性性計算資源指標可觀測日志觀測API調用觀測云云原原生生與與 A AI I更更多多的的算算力力 動態擴容 容器虛擬化，隔離CPU/MEMORY 支持 GPU

4、分享技術A AI I e en ng gi in ne ee er r訓練模型部署模型增加資源降低資源云云原原生生與與 A AI I傳統擴容HPA基于事務水平擴展從零擴容事件驅動自動回滾基于K8S生態云云原原生生與與 A AI IA AI I e en ng gi in ne ee er 云云原原生生與與 A AI I服服務務治治理理與與可可用用性性 基于指標或日志的 監控告警 K8s原生RBAC Service mesh 服務調度云云原原生生與與 A AI I指指標標追追蹤蹤與與日日志志監監控控提供可量化的性能指標，日志、指標聚合。實實時時告告警警基于規則實時告警，開發者能實時解決性能瓶頸可

5、可視視化化多種data source的可視化云云原原生生與與 A AI I數據輸入網關Stable diffusionClip數據輸出網格化網絡安全無侵入服務治理熔斷云云原原生生與與 A AI I模模型型靈靈活活部部署署 動態資源配置 藍綠部署 統一網關O Op pe er ra at to or r 模模式式基基于于云云原原生生的的 A AI I MML LO OP PS S 解解決決方方案案行業應用電商金融制造業新媒體。AI 模型自然語言處理轉換矢量圖文字識別圖片轉文字。非結構化數據集成存儲管理特征庫樣本標注MLops平臺數據集成服務集成資源調度動態擴容資源隔離流量管理服務發現服務治理模型

6、編排網絡安全配置管理統一網關WEB UI權限管理監控管理監控報警審計模型風險監控日志管理基礎設施公有云AWSAliCloudAzureGCP私有云裸服務器。自動控制Kubernetes資源生命周期自定義的資源配置提供監控指標基基于于云云原原生生的的 A AI I MML LO OP PS S 平平臺臺服務治理簡化的模版配置A AI I e en ng gi in ne ee er J JC Cl lo ou ud d 與與 MML LO OP PS SI In ng gr re es ss s 代代理理支支持持O OT TL LP P/P Pr ro omm 監監控控 動動態態資資源源節節點點

7、存存儲儲支支持持事事件件驅驅動動水水平平擴擴展展J JC Cl lo ou ud d 與與 MML LO OP PS SI In ng gr re es ss s 代代理理支支持持O OT TL LP P/P Pr ro omm 監監控控 動動態態資資源源節節點點存存儲儲支支持持事事件件驅驅動動水水平平擴擴展展J JC Cl lo ou ud d 與與 MML LO OP PS SI In ng gr re es ss s 代代理理支支持持O OT TL LP P/P Pr ro omm 監監控控 動動態態資資源源節節點點存存儲儲支支持持事事件件驅驅動動水水平平擴擴展展場場景景與與案案例例 如

8、如何何用用J Ji in na a搭搭建建工工作作流流核核心心組組件件D Do oc ca ar rr ra ay y封裝非結構、多模態數據（音頻，圖片，文本等）J Ji in na a多模態AI框架J Jc cl lo ou ud dMLOPS平臺I In nf fe er re en nc ce e A AP PI IL La an ng gc ch ha ai in n S Se er rv ve e LangCL La an ng gc ch ha ai in n S Se er rv ve A AI I生生態態生生成成式式 A AI I生生成成式式任任務務 生成全新數據不斷迭代 需要更多算力判判別別式式任任務務 回歸、分類現有數據 分析已有數據T TH HA AN NK KS S