端云協同 - 5 - 蒼橫 -淘寶Meta端云協同渲染.pdf

《端云協同 - 5 - 蒼橫 -淘寶Meta端云協同渲染.pdf》由會員分享，可在線閱讀，更多相關《端云協同 - 5 - 蒼橫 -淘寶Meta端云協同渲染.pdf（25頁珍藏版）》請在三個皮匠報告上搜索。

1、端云協同渲染阿巴巴-淘天技術-蒼橫錄 背景 技術案 整體架構 離線協同 實時協同 總結展望 端側渲染背景追求真實感、復雜多場景、實時交互VS算有限、功耗限制、設備多樣性部署本地云端渲染背景串流存在問題：成本、峰值容量限制、絡延遲背景 業務上遇到的問題 次加載時間：場景資源包，M甚上百兆 端側性能不：場景渲染、低端機、動態光照、物理仿真、多 研3D引擎（AceNNR）撐2w+商品模型，+場景的規?；a；引擎包體5M，持跨平臺(Native&H5)和設備（包含VR）持天貓/淘個業務上線能否借助云側算解決？技術案-分析 端側瓶頸 1.次加載慢 2.算不 仿真計算量 多動畫、同步 物理 渲染計算量、內

2、存占 格、材質、貼圖數量太多 渲染計算復雜 云協同解決辦法 1.先云渲染承接戶，切換到端 2.轉移計算到云 離線計算：資產優化，LOD數據成 實時計算：LOD、流式、遮擋計算 端云混：局部場景云承接 端云協同系統的架構需求 同時有云和端引擎，且端側可切換 云引擎具備離線計算和實時計算能 挑戰 離線、實時如何協同？端云體化的架構怎么設計？端云引擎如何切換？實際如何應？技術案-整體框架云渲染引擎離線協同實時協同數據流端云數據同步視頻流渲染端渲染引擎請求資產優化系統AI訓練系統LOD數據流式數據仿真數據點云數據物理區域計算LOD計算視關（1對N）視有關（1對1）渲染視頻流MMOProbe GI遮擋計

3、算光照數據輸流式加載端云切換系統離線協同-資產優化系統 資產優化系統 研發減、重格、材質聚合、貼圖壓縮等底層技術，效果基本致前提下，幅降低端側渲染壓 模型：數平均減少約50%，DrawCall減少65%，貼圖張數減少60%場景：數平均減少60%，包體平均減少約70%離線協同-資產優化系統離線協同-物理仿真 服-傳統蒙技術 缺乏動態效果，褶皺不然 需要不斷調整蒙系數，和不同動作做適配 動作和服容易穿叉 服-物理仿真 真實 開銷極、移動端法實時蒙物理仿真某款T恤的運效率對（PC端，I7-7700K+GTX1080）端云協同仿真-移動端實時渲染（中端機仿真5ms）.離線協同-物理仿真H5 UI（Bu

4、siness Logic）3D Logic（TS）進程事件通信3D Engine Interface（TS）3D Native Engine（C+）端側渲染引擎架構云側渲染引擎架構H5 UI（Business Logic）通信模塊進程事件通信串流播放器3D Logic（TS）3D Engine Interface（TS）3D Native Engine（C+）視頻流輸事件同層渲染實時協同-端云引擎體化設計metal、vulkan、glesvulkan、gl引擎架構、代碼復、平臺致性、使者感實時協同-端云引擎體化設計實例周期管理：預啟動、預加載、統調層：TS中間層，戶（業務）層感知。負責端云引擎

5、切換，數據分發引擎及串流：RHI、YUV編碼，多端效果致。集群管理：狀態上報、實時監測，資源利率。實時協同-端云引擎切換 狀態同步 同步相機、物等狀態 幀同步 緩存同步階段的輸操作并快速回放中間層（AceApp）記錄了同步階段中所有的幀間數據，只要端側能夠于云側幀率進運，則端側定能夠在某個時機追上云上的幀。實時協同-快速加載 基于端云協同的三維場景加載及渲染技術優點：快速承接戶：云引擎可以3S左右啟動進 成本相對可控：只在次加載使云，且使時間較短（30S以內）啟動階段：資源預加載、熱啟動、建實時通信。云推流階段：云渲染、串流、遠程調與回調。同步階段：狀態同步、追幀、算切換。穩定階段：容器?；?、

6、算分配、協同渲染。實時協同-快速加載實時協同-快速加載線上數據：次加載從平均12秒降到4秒加載成功率從30%多提升到70%左右實時協同-場景渲染 世界渲染 持多 場景縫加載 兼容更多低端設備 難點 端側內存 使最少的資源 LOD系統 切換不同模型和場景的LOD對象減渲染壓 遮擋剔除 剔除不需要渲染的數據減渲染壓 MMO系統 減少區域內的物數據同步和渲染減數據同步、渲染壓遮擋剔除流式加載數據計算實時協同-場景渲染總結 實現了整套端云協同渲染的框架 離線協同 資產優化系統幅降低端側加載和渲染壓 AI訓練系統幅提升實時布料仿真的性能 實時協同 持了場景快速加載 持了場景的渲染研引擎移動端場景Demo（素材來Unity Sample）展望 云側引擎-AI訓練系統 訓練成3D Gaussian Splatting數據 端側引擎 驅動和渲染GS數據云側引擎端側引擎感謝Q&ATHANK YOU