淘寶Vision背后的XR應用研發方案探索與實踐-方博.pdf

《淘寶Vision背后的XR應用研發方案探索與實踐-方博.pdf》由會員分享，可在線閱讀，更多相關《淘寶Vision背后的XR應用研發方案探索與實踐-方博.pdf（40頁珍藏版）》請在三個皮匠報告上搜索。

1、19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會2淘寶Vision背后的XR 應研發案探索與實踐319TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會徐正陽Taobao Meta 團隊 線開發專家（博）主會場演講嘉賓19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆

2、D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會1.XR 應的技術挑戰2.我們的解法(XRAppOS)3.未來展望錄19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會淘寶 Vision 介紹1.0.0 美區發布2.0.0 國區發布3.0.0 發布2024.04.122024.06.192024.09.10淘寶發上線得到了戶致好評淘寶完全體上線 登錄、消息、付淘寶與多品牌合作 打造

3、沉浸式的購物體驗19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會演講內容中插視頻格式：mp4分辨率：不低于1920*1080淘寶 Vision 介紹719TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會XR 應的技術挑戰19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十

4、九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會最初我們想開發款 XR 應19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會如果開發的不是游戲，是應基礎中間件下載圖絡路由存儲埋點付登錄分享消息頻視頻監控安全權限定位邏輯編輯Native 邏輯/JS 動態化交互層GUI系統(WebUI/NativeUI)交互式(勢/柄/近場/遠場)沉浸體驗屏幕巨屏球幕環繞(180/360)Bil

5、lboard19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會演講內容中插視頻格式：mp4分辨率：不低于1920*1080-游戲引擎采的是全局實時更新-傳統應開發更傾向于局部刷新(DirtyRect)機制，只進必要重繪確保更性能UI 框架游戲引擎通常缺少成熟的UI 控件和組件庫，構建復雜應的 UI 相專的應研發框架更為繁瑣。3D 渲染外的應功能實現XR應的復雜性遠不3D 渲染，例如電商應中的分享、登錄、付等關鍵功能需要量改造才能整合進Unity,成本遠超傳統開發模式性能和資源消耗游戲引擎設計來持規模的實時渲染和計算，對于常規應來說，這樣的處理能

6、容易引發應發熱等。-Unity 基于渲染幀驅動，開發者需理解并利每幀的回調時機-iOS/Android 事件或通知機制，更直觀的 UI 和事件處理流程主線程優化復雜性游戲引擎的 GamePlay主線程必須既能處理復雜且多樣的游戲邏輯，要保持穩定效的渲染能。需要更專業化的技術棧和優化策略，以保證在復雜場景下的表現。游戲引擎做應的弊端編程結構和邏輯刷新機制19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會我們的解法(XRAppOS)3低檻弱化平臺差異

7、&降低 3D 上難度好體驗快迭代跨平臺VisionOS、Oculus、Pico、Android XR“沉浸式效果”研發解決案研發效率&動態化24119TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會VisionOS 的同與新開發框架同構：與 iOS 接近，iOS 開發者和應可以快速遷移到 visionOS 平臺部分 iOS SDK 通過少量修改可適配到 visionOS 平臺iOSFRAMEWORKSSPATIALFRAMEWORKSMULTI-A

8、PP 3D ENGINEFOVEATED RENDERERSPATIALAUDIOENGINEREAL-TIME SUBSYSTEMCORE OSUI 框架UIKitSwiftUIAR 內容ARKitRealityKit視頻AVFoundation定位coreLocation基礎能Foundation19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會VisionOS 的同與新應形態新范式：Window：顯示 2D 內容，可以由擺放，數量不限Vol

9、ume：顯示 3D 內容，可以由擺放，數量不限Immersive Space：更級別的沉浸形態，融合在真實世界中，全局唯 全新的應形態 豐富的平臺新特性，需要定制些新的中間件19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會VisionOS 的同與新應形態新范式：Window：顯示 2D 內容，可以由擺放，數量不限Volume：顯示 3D 內容，可以由擺放，數量不限Immersive Space：更級別的沉浸形態，融合在真實世界中，全局唯 全新的

10、應形態 豐富的平臺新特性，需要定制些新的中間件窗管理器導航器19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會弱化平臺差異-程架構淘寶 iOS 中間件絡庫登錄圖庫安全庫存儲淘寶 visionOS 中間件啟動器導航器窗管理器UI 組件庫權限管理Weex 容器JavaScript業務邏輯WebUINative 容器UIKitSwiftUI業務邏輯（API 跨容器歸）Weex 容器、Native 容器基于 visionOS 特性定制的中間件復的淘寶iO

11、S中間件19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會終端 3D 開發難點-學習曲線19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會終端 3D 開發難點-3D 引擎命周期差異19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TE

12、RMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會終端 3D 開發難點-主線程優化的復雜性19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會向終端程師的應式 3D 開發解耦&易：解耦 2D 與 3D 兩個復雜的引擎系統(內存、線程、狀態同步等)實現 Native/JS 環境下均可使的事件型 3D API線程安全：業務可在任意線程調 3D API，需關注底層實現性能：拆分冷熱數據，按需同步底層 3D 渲染引擎持批處理同

13、步，實時同步，提升性能XRAppOSCoreXRPluginXRCoreAceNNR BackendNNR BackendWeexAceNNRNNRXRAnimationXRColliderXRInputTargetXRNodeXRGeometryXRAnimatorXRViewAttachmentXRComponentXRSceneMath場景邏輯樹場景渲染樹19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會我們的解法(XRAppOS)3低檻弱

14、化平臺差異&降低 3D 上難度好體驗快迭代跨平臺VisionOS、Oculus、Pico、Android XR“沉浸式效果”研發解決案研發效率&動態化42119TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會萬能淘寶-多樣的空間程序形態疆機-虛擬試吉拉-虛擬逛店空間紅包互動SU7-虛擬試19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONF

15、ERENCE第十九屆D2終端技術大會空間容器程序#1程序#2空間程序:不同程序由不同團隊完成開發 所有空間程序運在同個 Immersive Space 下 多個空間程序可以共存 框架層需要管理不同空間程序的命周期ImmersiveSpace19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會空間容器程序#1程序#2空間程序(SpatialApp):所有空間程序運在同個 Immersive Space 下。多個空間程序可以共存?？蚣軐有枰芾聿煌臻g

16、程序的命周期。ImmersiveSpace19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會空間容器基于空間容器的動態化業務體系空間容器 ImmersiveSpace資源下載權限管理App管理消息通道程序資源沙箱業務代碼程序資源沙箱業務代碼 運階段 開發階段集成發布空間容器前端腳架聲明資產列表業務邏輯開發資源下載器App 切換器代碼包/資產包App 啟動19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技

17、術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會我們的解法(XRAppOS)1低檻弱化平臺差異&降低 3D 上難度好體驗快迭代跨平臺VisionOS、Oculus、Pico、Android XR“沉浸式效果”研發解決案研發效率&動態化24319TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會演講內容中插視頻格式：mp4分辨率：不低于1920*1080全景漫游介紹全景漫游是種全虛擬的內容展示形

18、態通過360全景圖將戶“傳送”到預設的場景中帶來不出戶逛商場、逛景點的奇妙體驗19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會全景漫游-加載性能挑戰：單張圖像超1億像素 內存占超800MB根本跑不起來！PNG/JPGKTX件內存占渲染速度絡傳輸時間使 KTX 壓縮紋理內存占下降約 70%19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CO

19、NFERENCE第十九屆D2終端技術大會全景漫游-加載性能下載 1X KTX 下載 2X KTX 下載 4X KTX 成 1X USDA成 2X USDA成 4X USDA更新天空盒材質使 KTX 壓縮紋理挑戰：單張圖像超1億像素 內存占超800MB根本跑不起來！內存占下降約 70%3.8MB15MB60MB兼顧清晰度和加載時三級漸進式加載加載19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會全景漫游-地標點位精準貼合挑戰：全景圖缺失 3D 相關

20、的深度信息地標點位難以貼合標位置動態計算動態獲取地標相對眼的向信息。貼合模擬在此向的很遠處，例如(1000)放置地標組件并將地標組件放相應的倍數，以使得看起來和真實世界的物體致。19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會演講內容中插視頻格式：mp4分辨率：不低于1920*1080空間視頻是有空間體感的視頻能夠讓觀眾感受到體的縱深可以提供更加沉浸真實的體驗空間視頻介紹19TH D2 TERMINAL TECHNOLOGY CONFERENC

21、E第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會空間視頻與普通視頻的差異分辨率碼率形狀數交互720P/1080P2 10 Mbps矩形平單彈幕/選項4K/8K20 100 Mbps平/曲/180 半球/360 球雙空間特效/全景漫游模擬雙眼視差的兩個 不同 但 相似 的畫分辨率 才可以營造的真實感各種各樣的展示平：平/曲/180 半球/360 球19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENC

22、E第十九屆D2終端技術大會空間視頻的播放Side By Side 格式的空間視頻，還有 MV-HEVC 等空間視頻格式播放時需要分別將左右眼的視頻，正確的分配到設備的左右眼顯示的屏幕上19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會XRAppOS 沉浸式模塊-空間視頻播放器DecoderControllerRendererVideo DecodeAudio DecodeBuffer ManagerSeekerPreloaderFile Read

23、erStream ReaderPlaying State ControllerMessage QueueAV SynchronizationPerformance TrackerAudioStereo SoundSpatial SoundGraphicFilterCustomized EffectsOutput ReshaperRenderer ShaderColor Space ManagerVisionPro/Quest/PICO跨平臺使場景更全持在球、半球渲染持嵌套在2D中擴展性更好持添加定義特效持定義解碼器19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十

24、九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會在 2D UI 上展示空間視頻空間視頻播放界尺單位：（m）空間維度：3 維遮擋關系：空間位置窗繪制空間尺單位：點（pt）空間維度：2 維遮擋關系：畫家模型空間視頻與窗同步單位不同，需要找到合適的轉換關系。遮擋關系不同，UI 層級的配合需要正確處理。形狀不同，空間視頻播放的需要配合窗做改動空間視頻的播放界空間視頻的播放界是三維空間的物品，透視關系與窗同級。三維空間中的單位為真實世界的“”，與 2D 空間中的“點”不同?？臻g視頻表現為個懸浮在窗上的薄，會遮擋窗展示的內容。19TH

25、 D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會我們的解法(XRAppOS)1低檻弱化平臺差異&降低 3D 上難度好體驗快迭代跨平臺VisionOS、Oculus、Pico、Android XR“沉浸式效果”研發解決案研發效率&動態化24319TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會2D UI 框架

26、的對XRSceneWindow#1Window#23D ObjectWeex#1Weex#2GLTextureGLTexture渲染引擎Final Texture Blit to SwapImageXRAppOS Render Pipeline19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會交互框架的對OpenXR 原始狀態事件應勢事件19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH

27、D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會整體架構低檻快迭代跨平臺好體驗19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會未來展望Android XR 適配AI 能的結合數字更多沉浸式內容形態探索空間直播三星 Moohan19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九屆D2終端技術大會THANK YOU