8 范青 基于多模態算法的智能車艙內容創作新體驗.pdf

1、基于多模態算法的智能車艙內容創作新體驗The Moment SDKEditable Location1.場景&用戶價值&使用流程2.整體架構圖3.特效及音樂生成對于車載內容多樣性的提升4.畫質算法解決基礎畫質問題5.標簽端云協同，理解車載視頻內容并加強內容合規性6.算法優化方案及平臺適配內容結構社媒洞察&用戶價值“為什么不用手機拍呢”“可以解不代表最優解”成片推送高光片段推送自動打標簽/脫敏高光主動抓拍畫質優化DVR后排攝像頭無人機手機車端SOC（實時20fps+20fps+）車機端or手機or云端（非實時/不隔天）多模態模型AIGC特效音樂推薦/生成具體場景User Flow（車機相冊）前排

2、攝像頭行程開始選模板or自動行駛過程自動拍停車駐車自動剪行程結束成片全量視頻管理公域/私域流量100萬+模板音樂特效設計師生產工具場景應用模板特效特效&音頻引擎基礎算法車主營銷路書DVR相冊節日日常電影出游未來主題活動2D、3D渲染粒子骨骼動畫物理引擎光照模擬音樂音效人像人體內容理解畫質算法安全合規多模態理解生成音頻技術方案整體架構圖特效&音樂對于車載內容多樣性的提升截止分享日期，線上模板特效共計130萬+畫質算法解決基礎畫質問題智能場景感知：感知白天，夜晚，高動態等拍攝環境，控制相機。智能畫質分析：分析畫質問題自動調度算法，如清晰度，亮度，色彩，噪聲。美觀度調節：可根據視頻的應用場景自動調節

3、效果如流暢度，色調等維度。拍攝控制：包括畸變矯正，防抖，曝光及白平衡控制?；A畫質增強：包括HDR增強，夜景暗光增強，超分銳化等細節增強。自動美化處理：包括色彩等一些列維度，使得畫面更適合用戶觀賞，符合喜好。moment場景場景模版風格Tag關聯模板城市通勤車外攝像頭場景覆蓋內容為周邊游及通勤，主打文藝簡潔“輕松”商業街、商場、街道、汽車、車流、晚會、演唱會、摩天輪、摩托車、自行車、高鐵、吉他、火車、飛機、馬路、騎行城市通勤標簽算法理解內容目的：基于深度學習方法，識別圖片/視頻中的目標內容，為高光剪輯、快速定位內容、一鍵成片業務進行原始能力提供。業務場景：高光剪輯、長視頻內容定位、一鍵成片輸入

4、：一張RGB圖片或者一段RGB視頻。輸出：單圖標簽業務難點：車載有價值標簽定義、特定場景下精度、端上算法與云上算法分配、純離線算法sdk備注：該能力上限較高，結合多模態大模型對視頻內容的理解，可以通過理解用戶情緒，提取更有價值的高光時刻算法優化方案及平臺適配端云算法部署選擇結合場景需求，選擇適合部署在云上的算法適合部署在端上的算法核心更新邏輯 Agame:onUpdate檢測圖片上傳或者點擊事件結束之后打開人臉檢測，背景分割和角點檢測功能算法系統設置輸入檢測紋理拿到人臉，背景分割，和角點結果關閉端上算法檢測構造請求，將請求發送到aigc服務器根據性別等內容更新請求體，一共申請從服務端接受8張圖

5、。拿到結果，根據結果開始blend，在這個過程中，增加一些漸變的效果，讓切換更加平滑。算法優化方案及平臺適配端上實時算法要求理解業務目標，確認必須要實時的算法硬件環境：高通SA8155車機平臺系統環境：QNX Hypervisor+Android系統架構算法版本：BD_DM_2.0算法優化方案及平臺適配端上算法性能提升建立生態合作關系，優先選擇覆蓋率高的芯片進行優化。選擇適合放在協處理器的算法，或做大模型，獲取更高遷移收益，減少數據拷貝及轉換cost算法優化方案及平臺適配模型精度問題實景采集成本優化、客戶反饋多輪打磨不同平臺量化適配精度調優未來已來AR HUD智能車艙軟件生態定義下的全新場景，比如社交以車為原點擴展影像記錄半徑，無人機、ar、vr等