商湯：智能交互視頻白皮書：我的故事我做主 一視覺互聯網白皮書（28頁）.pdf

《商湯：智能交互視頻白皮書：我的故事我做主 一視覺互聯網白皮書（28頁）.pdf》由會員分享，可在線閱讀，更多相關《商湯：智能交互視頻白皮書：我的故事我做主 一視覺互聯網白皮書（28頁）.pdf（28頁珍藏版）》請在三個皮匠報告上搜索。

1、 智能交互視頻白皮書 智能互動視頻：我的故事我做主 視覺互聯網白皮書(1)商湯智能產業研究院院長 田豐 互影科技創始人兼 CEO 鹍鵬 商湯智能產業研究院主任 楊燕 互影科技創始人兼 COO 曾筑娟 智能交互視頻白皮書 目 錄 一、新媒介：智能互動視頻.4 二、新場景：科影融合.6 2.1 場景一：AI 加速互動影視后期制作.8 2.2 場景二：互動視頻色彩風格統一.9 2.3 場景三：智能識別視頻劇情廣告位.11 2.4 場景四：AI 讓商品廣告融入劇情.12 2.5 場景五：AR 讓教學視頻“因你而動”.13 2.6 場景六：AI 助交互體育走入百姓家.14 2.7 場景七：AR 實現視頻

2、交互“時空旅行”.14 2.8 場景八：視頻電商隨需換衣與秒切換景.15 2.9 場景九：AR 試妝無色差.16 2.10 場景十：AI 視頻自動去抖.17 2.11 場景十一：AR 美顏塑形讓視頻播主更美麗.18 2.12 場景十二：智能剪輯實現個性版愛豆節目.19 2.13 場景十三：AI 手語主持人讓聾啞人“聽*見”新聞.20 2.14 場景十四：智能互動視頻走入客廳.21 三、新發展：視覺互聯網的“產業變量”.22 3.1 趨勢一：影視互動化，互動智能化.23 3.2 趨勢二：互動劇開發工具“平臺化”.23 3.3 趨勢三：觀眾成為“數字孿生”主角，掌控故事關鍵決定.23 3.4 趨勢

3、四：AI 為互動敘事成本“減負”.24 3.5 趨勢五：AR 技術打破“次元壁”，提升廣告價值.24 3.6 趨勢六：個性化敘事，成就自我，夢想成真.24 3.7 趨勢七：智能硬件，加速大眾互動媒介發展.24 3.8 趨勢八：兒童與青少年漸成“互動原生代”.24 3.9 趨勢九：AI 編劇洞察市場.25 3.10 趨勢十：智能縮略“重復劇情”.25 Contents 智能交互視頻白皮書 “傳統媒體和新興媒體不是取代關系，而是迭代關系；不是誰主誰次，而是此長彼長；不是誰強誰弱，而是優勢互補?！绷暯娇倳?4 智能交互視頻白皮書 媒體融合是民心所向，電視沒有消滅廣播，手機也沒有消滅電視，融媒體上

4、長出了長短視頻、互動視頻、AR/VR、AIGC 等“新物種”。終端融合是大勢所趨，手機、平板、電腦、電視、智慧屏、游戲機、VR 頭盔、AR 眼鏡成為優質內容的發行出口與人機交互界面。后臺融媒體，前臺融終端，全媒體時代到來了。一、新媒介：智能互動視頻“全媒體不斷發展，出現了全程媒體、全息媒體、全員媒體、全效媒體，信息無處不在、無所不及、無人不用，導致輿論生態、媒體格局、傳播方式發生深刻變化?！绷暯娇倳?縱觀媒介歷史上數次偉大的變革，起源于媒介科技(Medium Technology)的重大升級，5G、AI、XR 眼鏡正在成為新一代融媒體基礎設施，帶動 娛樂、社交、商務三大產業升級。以互聯網、

5、PC 為基礎設施，影視行業的“視頻 1.0”時代，長視頻的特征是高投入、大制作、慢產出；以4G、智能手機為媒介基礎設施，帶來“視頻 2.0”時代，短視頻的特征是小投入、小制作、快傳播；以 5G、AI、XR(擴展現實)為基礎設施，激活“視頻 3.0”時代，互動影視的特征是全民科創、全民制片、全民體驗，科影深度融合、賞玩實時融合、角色身份融合。從藝術家創造內容（戲劇、影視），到人民群眾共創內容（長短視頻、互動視頻），是社會文明開放、共享、進步的產物。人性對媒介的“需求金字塔”，按觸達、感知、共情、反饋、交流五圖 視覺互聯網發展階段（圖表來源：商湯智能產業研究 5 智能交互視頻白皮書 層分布。傳統影

6、視（傳統媒介）作品起源于藝術家創造的“藝術品”，歸類為 AGV(Artist Generated Video)，創作者是掌控全局的主宰，從內容出發，劇情敘事為驅動力，通過單位時間的情緒密度，追求極致有趣的內容產品。而互聯網視頻（網絡媒介）屬于快速消費品，歸類為PUGV(Professional User Generated Video)，觀眾成為決策一切的主宰，網絡媒介從用戶出發，交互行為驅動故事發展，通過增強交互密度，追求用戶極致體驗?！爸悄芑右曨l”是以觀眾為核心，具有個性化內容、互動性感知、智能化連接的新一代體驗媒介讓故事為我而生。麥克盧漢認為，媒介即人的延伸?！叭f物皆媒介”讓人機界面無

7、處不在，“萬媒皆交互”讓用戶參與無時無刻，影視制作方正在逐步“讓渡權利”給觀眾，更多的選擇帶來更多的樂趣。智能互動視頻產業鏈，由影視制作公司、互動視頻公司、AI 科技公司的“鐵三角”組成，天然擁有跨界創新基因，5G、AI、AR 等前沿科技與廣電媒體深度融合，打造“科影融合”新模式、新產品、新價值。圖 科影融合的智能互動視頻（圖表來源：互影科技）圖 媒介需求金字塔（圖表來源：商湯智能產業研究院）6 智能交互視頻白皮書 二、新場景：科影融合“隨著 5G、大數據、云計算、物聯網、人工智能等技術不斷發展，移動媒體將進入加速發展新階段?！绷暯娇倳?圖 媒介變革歷史（圖表來源：商湯智能產業研究院）人類

8、創造了媒介，而媒介重塑了人類，從“單向觀賞媒介”（廣播、電視）向“多邊體驗媒介”（智能手機、智慧屏）升級，是智能融媒體的發展之路。在過去 500 年“單向傳媒時代”，觀眾為了獲得打動人心的故事，“出租”了自己的眼睛、耳朵等感官，主人公的劇情經歷引導觀眾的感官，而觀眾只有“看”與“不看”的唯二選擇。而伴隨互聯網的“交互傳媒時代”，“數字化五感”科技帶來了半浸入、全浸入式的聽覺（全景音效）、視覺（VR/AR）、觸覺（力反饋手機/手套/衣服等）等身臨其境的感知能力，而在線化更打破了介于內容與觀眾之間的“第四面墻”，點贊、打賞、彈幕、人物控制、社交討論、邊看邊買等實時交互方式層出不窮，熱愛參與的“Z世

9、代”觀眾用“主觀意識”操控視頻和游戲中的人物，從我出發個性化體驗整個劇情，每一位觀眾就是角色扮演的主人公，在故事的起承轉合中體驗跌宕起伏的“副本人生”。7 智能交互視頻白皮書 圖 互動影視全鏈路開發體系（圖表來源：互影科技）無跨界，不創新。智能互動視頻是影視、互動、科技跨領域知識的融合產物，需要影視制作團隊、互動設計團隊、科技研發團隊在每一個關鍵環節的緊密協同。從年輕用戶群體的行為分析中發現，恰到好處的互動量與視頻粘性呈正相關，所以在項目規劃、大綱設計、劇本創作、影視拍攝、后期制作等階段，科技與影視生產深度融為一體，出現了互動導演、交互架構師、互動分鏡師等新職業崗位，影視團隊、交互設計團隊、科

10、技團隊，從故事敘事、用戶心理、交互效果等多維度反復打磨，共同帶給觀眾耳目一新又合情合理的觀看體驗，并創造出更多新商業空間，比如分支劇情拓展更多廣告觸點，精彩情節促進商品交易轉化，交互特權獲得更多增值付費。智能互動視頻用作品探索互動內容行業邊界，用科技鋪設互動技術基礎設施，為極致互動內容體驗保駕護航。圖 中國互動視頻主流產品 互動視頻產業，國內比國外晚起步 2 年，目前憑借差異化優勢逐漸形成獨特價值的生態位。國外互動影視產業從 2017 年起步，Netflix、HBO、YouTube 等視頻平臺拍攝出馬賽克、黑鏡：潘達斯奈基、大劫案、夜班等創新劇集。2019 年至今，我國快速追趕，生產出古董局中

11、局之佛頭起源、最后的搬山道人、明星大偵探之頭號嫌疑人、他的微笑、隱形守護者等優質影視產品，其中不乏爆款，比如古董局中局之佛頭起源互動劇贏得了35.5%用戶分享率，豆瓣評分 8.0；又如 頭號嫌疑人 搜證互動劇憑借“3 結局+1 隱形彩蛋”，收獲高達 8.5 分的豆瓣評分，超過 100%的用戶平均觀看完成比（死忠粉二刷三刷劇情），在微博上涌現出超過 133.6 萬個相關話題討論，共贏得 3.5 億話題閱讀量；龍嶺迷窟之最后的搬山 8 智能交互視頻白皮書 道人互動劇是首個國民級 IP 改編產品，憑借“6 結局+3 隱藏彩蛋”，喜提單集 8000 萬次播放量，創造動作模擬、QTE（Quick Tim

12、e Event，快速反應事件）、分支劇情等新玩法，獲得 8.2分的豆瓣好評?！耙曈X互聯網”大潮來臨，科影融合開啟數字經濟新大陸。據 CNNIC 數據顯示，中國 94%的網民都是視頻用戶，8.5 億人組成的“視覺互聯網”大市場，形成視頻科技與商業創新的沃土。2020年疫情突然襲來，互聯網廣告、直播帶貨、在線上課、云旅行、影視游戲帶來了海量的新需求，互動視頻積極擁抱人工智能、增強現實開拓新機遇，以下舉例說明智能互動視頻的新場景。2.1 場景一：AI 加速互動影視后期制作 互動視頻挑戰一：互動劇制作人力成本形成挑戰。經過大量視頻素材拍攝，互動影視劇進入后期制作階段，剪輯師根據劇本邏輯，粗剪視頻素材形

13、成 A 拷貝(A copy)后，制作人員再遵循分鏡和時間軸，手工地將互動點配置到相應的視頻片段中。后續按照審批意見會有多次素材改動替換，每次都需要人工去檢查、更新互動時刻點配置是否發生改變，整個過程非常耗時耗力。9 智能交互視頻白皮書 圖 后期制作互動時刻點從傳統剪輯軟件中選取 智能互動視覺解決方案一：AI 帶來高效率的自動化后期調整。通過機器學習識別視頻畫面，判斷互動時刻點是否發生變化，從而定位到變化后的互動時刻點，實現自動更新互動配置，制作人員只需對更新版復核即可。AI 算法輔助后期制作，能大幅提高制作效率，加快制作進程，特別是在送審到上映期間，后期修改時間極為有限，讓人工智能自動修剪、配

14、置互動點，為影片上映節省數天準備時間。2.2 場景二：互動視頻色彩風格統一 10 智能交互視頻白皮書 圖 鬼吹燈之最后的搬山道人 互動視頻挑戰二：跨團隊合作帶來風格統一需求。每部影視作品都有自己的色彩風格，導演善于運用色彩烘托主題、渲染氣氛，保持影視作品整體色調統一，應用與故事內容相匹配的色彩方案，有助增強用戶的觀影體驗和對故事表達的情感認同。在做互動 UI 設計時，制作人員同樣需保持互動 UI 的設計風格與視頻素材風格一致，避免風格差異降低觀影體驗，但是依靠“肉眼+人工”方式手動調整 UI 風格，耗時長、效率低。圖 商湯“視頻風格化”算法效果 11 智能交互視頻白皮書 智能互動視頻解決方案二

15、：AI 一鍵統一風格。依托生成對抗網絡(GAN)技術，AI 解耦素材視頻的風格和幾何信息，替換視頻素材生成對應的風格遷移，實現“一鍵”UI 風格自動生成，變手動為自動，大幅提高互動 UI 設計效率，且 AI 技術比肉眼判斷精度更高，形成絲滑柔順的統一觀影體驗。2.3 場景三：智能識別視頻劇情廣告位 互動視頻挑戰三：是在廣告中插播電視劇，還是在電視劇中插播廣告，這是一個體驗問題。視頻平臺依靠廣告生存發展，除了強制觀看的視頻前插廣告（劇情開始前）、中插廣告（劇情中間）之外，能否在“正片”情節內容中找到更適合的潛在廣告位，增強用戶與商品品牌的情感共鳴，成為 AI 廣告的新機遇。圖 智能識別“劇情廣告

16、位”12 智能交互視頻白皮書 智能互動視頻解決方案三：正片共情時，智能廣告按需融入。通過 AI 算法快速、自動識別所有視頻素材內，可植入的廣告位置，例如餐桌桌面、冰箱等，并采用 AR 增強現實技術，在被識別出的流媒體廣告位上，實時精準添加 AR 廣告特效，形成與正片視頻畫面無縫融合，與貼片和插播廣告截然不同，既避免對用戶觀影的直接干擾，又增加了廣告與劇情的互動趣味性，而且還能節省后期處理工作量，“AI 找地”（識別視頻廣告位）+“AR 軟廣”（實時添加特效），是符合“劇情+用戶+廣告”三位一體的個性化推薦方案，有助于通過劇情引發觀眾共情，從而提高廣告轉化效率。2.4 場景四：AI 讓商品廣告融

17、入劇情 互動視頻挑戰四：生硬的廣告植入，是令觀眾“跳戲”的體驗槽點。在觀看影視節目時，每當聽到演員生硬植入的“帶貨廣告”都令人忍不住吐槽，雖然滿足了廣告主露出商品的目的，卻讓用戶的觀影體驗大打折扣，尤其是頻繁植入廣告，甚至會使觀眾對商品產生厭煩情緒，違背廣告主初衷，并降低了影視內容的整體品質。圖 潛移默化的品牌透出 智能互動視頻解決方案四：理想的廣告是與劇情巧妙融合，是一種潛意識中的軟營銷。即讓商品品牌表現更加自然，又讓品牌商品為劇情敘事服務，回歸故事邏輯，從而避免廣告與故事的本末倒置。利用智能視頻畫面分析技術，自動檢測、識別視頻中的廣告指定商品，實時匹配商品核心 13 智能交互視頻白皮書 信

18、息、購買入口（鏈接），有興趣的觀眾同屏交互、瀏覽評價、一鍵下單（購買）。一方面減少了廣告信息對觀影過程的干擾，另一方面，因劇情的代入感能夠顯著提升商品廣告的轉化率。2.5 場景五：AR 讓教學視頻“因你而動”互動視頻挑戰五：因材施教是高效的學習方法，而在線教育在擴大教學規模的同時，如何進行個性化教學卻一直是個無法回避的問題。網劇的受眾是年輕女性，電視劇的受眾是年長女性，游戲受眾是年輕男性，而互動視頻劇的受眾范圍較廣，其中針對 9-16 歲的青少年，教育是互動視頻的重要載體之一。從傳統教育行業來看，線下教學的差異性優勢是較強的師生互動性，面對面的課堂教學即幫助老師深入了解學生的個體問題，又能激發

19、學習主動性不高的學生參與度，提高主動學習程度。與此相對，在線教育提供了隨時隨地視頻學習的便捷性，以及名師資源的低成本共享覆蓋，但由于缺乏直接有效的師生互動，對很多被動性學習的學生來說，較難達到符合預期的教學效果。圖 AR 視頻交互教學 智能互動視頻解決方案五：在線視頻素材中設置趣味性的 AR 交互點，是一種不斷激發學生在線學習興趣的獎勵探索機制。依靠 AR 特效，能讓畫面變化少的在線課程變得惟妙惟肖、生動有趣，更能將腦洞大開的場景充分展示。例如，商湯 SenseAR 引擎提供多種手勢識別能力，能基于老師的不同手勢增加趣味橫生的貼紙動畫效果，在教小朋友學習“apple”英文單詞時，視頻中會出現一

20、個可交互的“虛擬蘋果”（AR 特效）；又比如，通過智能視頻實例分割技術，在教學視頻中植入巴黎埃菲爾鐵塔，讓學生身臨其境體驗歷史上的法國地標建筑，增強“視聽沉浸一體化”的感官認知；此外，通過對人體 3D 建模，設計出孩子們癡迷的超級英雄卡通形象，與學生在線呈現二次元互動，讓每個孩子心中的動漫英雄成為個性化學習榜樣。智能互動視頻具有因材施教、寓教于樂的媒介特點，是目前最好的教育載體。14 智能交互視頻白皮書 2.6 場景六：AI 助交互體育走入百姓家 互動視頻挑戰六：遠程運動教練，如何走入尋常百姓家？由于體育課程涉及到運動、動作類教學，相比文化課，實現線上教學難度更大，缺少面對面教學糾偏，無法指導

21、不標準動作，疫情期就限制了孩子們的體育鍛煉效果。圖 AR 體育課老師 智能互動視頻解決方案六：視頻交互運動，AR 教練糾正動作。體育老師、運動教練通過“3D 人體實時追蹤”技術，查看學生運動姿勢（人體骨架關鍵點變化感知），判斷動作是否標準，并及時給與有針對性的運動改進建議。運動分析系統后臺自動記錄學生運動數據，作為課后輔助教學的數據支持。過去“3D 人體實時追蹤”技術最先應用在體感游戲上，如 OPPO R17 Pro 手機的體感游戲搭載商湯“3D 人體骨架檢測算法”，跟隨玩家體態實現視頻交互游戲的沉浸式體驗。2.7 場景七：AR 實現視頻交互“時空旅行”互動視頻挑戰七：歷史經典場景難再現。新技

22、術讓你穿越時空？以往在歷史課本上的抽象故事與場景，正在依靠 5G、超高清、AR/VR、人工智能等技術走到我們身邊，新一代沉浸式體驗型文旅消費場景，成為智能文旅的創新發展方向。讓 VR/AR 與互動視頻文旅節目相結合，全方位調動參與者走入故事情境中，為游客、學生帶來“眼見為實”的交互體驗，可觸摸的歷史文物、能反饋的名人景觀，穿越時空近在眼前。15 智能交互視頻白皮書 圖 AR 演奏湖北出土文物“曾侯乙編鐘”智能互動視頻解決方案七：還原歷史，參與歷史故事，帶給每一位游客難忘體驗。在歷史文旅視頻中設置互動點選項與特效，不同選項觸發不同 AR 算法與特效，實時渲染出不同故事景象，譬如觀看紫禁城的日出日

23、落、帝都的四季更迭，攜用戶穿越時空，身臨其境行走在歷史長河中。AI+AR 賦予文旅更多“新玩法”，例如，商湯 AR 助力湖北博物館推出增強現實版古樂器演奏3D 曾侯乙編鐘，用手敲擊屏幕上的編鐘，復現 2000 年前的繞梁之音、宮廷之樂，讓文物藏品在虛擬世界中“復活”，重振中華上下五千年的文化自信。2.8 場景八：視頻電商隨需換衣與秒切換景 互動視頻挑戰八：視頻帶貨，網紅模特換衣拍片提升營銷成本。2019 年數據顯示，中國一年制造 456 億件衣服，超過一半的中小品牌靠電商渠道的短視頻、直播營銷，而在制作電商推廣視頻中，商家雇傭的模特每天要換幾十套上新服裝，為避免消費者審美疲勞，輾轉多個優美的拍

24、攝取景地，錄制時間長，人力成本高。16 智能交互視頻白皮書 圖 模特虛擬換衣、換景 智能互動視頻解決方案八：模特建模、背景分割，隨需換衣、換景，大幅降低成本。依托 AI+AR算法，通過對模特人體建模、關鍵點檢測跟蹤，實現跟隨模特動作的實時視頻虛擬換衣效果，同時基于“人像-背景”智能視頻分割技術，能瞬間將模特視頻背景做新舊替換、人景重新融合，因此每個取景地只需拍一次，即可無限次復用在新衣服的視頻中，無需頻繁換場，節省商家、攝制組大量的人力物力成本，顯著縮短服裝視頻的生產時間。2.9 場景九：AR 試妝無色差 互動視頻挑戰九：線上化妝品營銷，長期面臨消費者體驗問題。線下購買美妝產品，先試妝環節再消

25、費，然而線上購物，用戶很難借助商品的圖文信息進行個人膚色搭配判斷，較難跳過體驗直接產生訂單轉化。17 智能交互視頻白皮書 圖 在線智能試妝 智能互動視頻解決方案九：結合膚色采集、光線優化的 AR 試妝，補上了化妝品電商的短板?；谌四樈?、面部追蹤等 AI 技術，AR 虛擬試妝應用已在各大電商平臺普及，包括口紅、眉毛、睫毛等 AR 真人美妝效果，消費者選品時就像照鏡子，一鍵換妝，幫助消費者快速、便捷“云逛街”。2.10 場景十：AI 視頻自動去抖 互動視頻挑戰十：大眾無云臺如何防抖，成為手機拍攝視頻的軟肋。很多 UGC 朋友在拍攝互動視頻過程中，由于沒有云臺、滑軌等專業設備，拍出的視頻畫面經常

26、抖動，影響整體觀賞效果。目前，傳統去抖軟件所用算法易受場景變換影響，在有前景干擾，暗光夜景，單一背景等條件下表現存在或多或少的效果失真；另外，傳統算法針對不同場景剪裁幅度相對固定，無法根據場景進行自適應剪裁。18 智能交互視頻白皮書 圖 AI 防抖應用 智能互動視頻解決方案十：智能去抖，隨心拍攝。Premiere、AfterEffects 等傳統視頻去抖軟件，專業門檻很高，后期防抖加工需要專業人士操作。智能視頻去抖算法與傳統去抖軟件的區別在于，基于深度學習技術，自動完成視頻后期防抖動處理，適配調整視頻語義信息、運動信息，融合到抖動幀中達到穩像效果。2.11 場景十一：AR 美顏塑形讓視頻播主更

27、美麗 互動視頻挑戰十一：視頻直播、短視頻中，顏值就是流量的催化劑，但傳統視頻處理耗費成本較高。UGC 制作互動短視頻時，UP 主需要對視頻中人物進行后期處理，對視頻畫面中的人物進行逐幀調整，比如膚色調白、瘦身瘦臉等細致工作，以達到更好的視頻觀賞效果，速度慢、效率低，耗時長。圖 直播 AR 瘦身 19 智能交互視頻白皮書 智能互動視頻解決方案十一：人無完人，用 AR 特效讓 UP 主在視頻中更美麗。通過 AR 算法對視頻中人物實現實時自動美顏、微整形、身體塑型等美化特效，取代了大量人工后期工作。比如，商湯 SenseAR 的微整形應用自動檢測人臉關鍵點，通過自渲染引擎，對 UP 主五官進行精細化

28、調整，更顯精致妝容；另一方面，商湯 SenseAR 人體塑型應用，不僅支持全身“一鍵”塑型，還能對身材部位（腿、腰、胸等）進行局部調整，將身材隨心所欲“改造”成自己喜歡的比例，大長腿、小蠻腰唾手可得。2.12 場景十二：智能剪輯實現個性版愛豆節目 互動視頻挑戰十二：綜藝節目是大眾喜聞樂見的互動視頻主題，而粉絲們則更喜愛聚焦關注團體組合中自己愛豆的個性化視頻。流媒體平臺經常推出精彩的偶像養成類選秀節目，從創造 101、創造營 2020、青春有你不勝枚舉，每一位選手都在選秀中力爭吸引更多粉絲，而粉絲們則在所有視頻中尋找并關注自己支持的選手?；佑耙暤膫鹘y后期處理中，通過人肉搜索的方式，將同一選手的

29、視頻手工剪輯合成到一起形成單一選手的視頻集錦，因素材庫資源龐雜，剪輯環節非常耗時。圖 商湯視頻搜索剪輯系統，智能剪輯肖戰視頻片段 智能互動視頻解決方案十二：自動搜索、剪輯、生成愛豆版節目，粉絲迎來個性化互動綜藝的“新視角”?；谏疃葘W習算法訓練，在大量節目視頻素材中追蹤人臉特征，搜索指定明星，辨別視頻質量生成明星選手的精彩視頻集錦。在綜藝節目的互動選項中，粉絲能夠選擇從頭到尾“只看”自己愛豆的視頻節目，你關注的才是精華節目。20 智能交互視頻白皮書 圖 鼓手豎屏畫面 不僅在綜藝點播節目，基于 AI 視頻分析技術，直播也能成為粉絲定制化節目。譬如音樂節活動直播，樂隊主唱一般會是直播畫面的焦點人物

30、，而偏舞臺后方的鼓手，側方的貝斯手等樂隊成員的鏡頭往往較少，通過 AI 分析跟蹤人臉和人體，并裁剪畫面，粉絲也可以在手機上豎屏欣賞不同成員的 Live 畫面，仿佛親臨現場感受到 live 的生命力，讓舞臺上每一位表演者都能夠大放異彩。2.13 場景十三：AI 手語主持人讓聾啞人“聽*見”新聞 互動視頻挑戰十四：互聯網帶給正常人便捷的體驗，但是否給失能人士造成了阻礙呢？全國 7200萬聽障人士中，有 2700 萬人需要通過手語進行日常溝通，然而，受限于手語翻譯人才有限，極少有新聞頻道、流媒體平臺為視頻配置手語翻譯，使得聾啞人群體無法直接理解新聞信息，形成一座“新數字鴻溝”。21 智能交互視頻白皮

31、書 圖 商湯 SenseAR 虛擬主持人 智能互動視頻解決方案十四：AI 為真實主持人建模，3D 虛擬主播技術讓聾啞人認知世界的“天塹變通途”。AI 理解語義，將文字語言實時“翻譯”成手語，通過 3D 合成虛擬手語主播技術雙語（語音+手語）播報新聞，融合手勢互動設計體系，實現聾啞人參與到新聞交流中。2.14 場景十四：智能互動視頻走入客廳 圖 新華社交互紀錄片她的故事，“觸”處動人 互動視頻挑戰十四：智能手機的 APP 天然適合觸屏交互，而居家用戶的電視機如何交互，成為社會普及的一個入口挑戰。兩會期間，新華社客戶端推出首部新聞互動微紀錄片 她的故事，“觸”22 智能交互視頻白皮書 處動人，講述

32、了基層全國人大代表傈僳族姑娘李金蓮，作為一名法律工作者，同時也是云南人大代表的履職故事。該片設置多個“劇情”分支選項，用戶通過點擊觸發新劇情?；有侣劯淖兞藝烂C的單向報道形式，更加注重百姓的參與感，從觀眾變成“導播”，增強沉浸感，提升傳播效率。目前互動新聞通過新聞客戶端 APP 播放，年輕觀眾為主，觸摸屏幕與內容交互，而對于無法觸摸的電視新聞，急需創新性互動玩法，讓互動新聞、紀錄片等視頻節目走入更多的家庭的客廳。圖 智能 AR 交互電視 智能互動視頻解決方案十四：視覺互動電視，成徹底擺脫遙控器。在“大屏”（相對于手機）電視上觀看新聞時，通過手勢進行內容交互更為自然。只需在電視端裝載 AR 算法

33、攝像頭，通過實時識別檢測用戶的十幾種手勢，隔空觸發控制命令。例如，法治新聞講述案例向觀眾普及法律常識，如案例設置互動點，用戶用“點贊”或“不贊同”的手勢與節目互動，讓電視像手機一樣變成“民意入口”，收集社會大數據對法治案例的教育效果與反思。三、新發展：視覺互聯網的“產業變量”視覺互聯網的“新基建”拉開帷幕。2020 年視覺互聯網迎來了“互動視頻”、“豎屏劇”、“VR劇”、“8K 直播”、“虛擬偶像”等新機遇，其中不乏古董局中局之佛頭起源、隱形守護者、他的微笑等爆款產品問世，廣電電視臺、視頻網站、短視頻平臺依靠強大的品牌節目、流量明星、領先科技紛紛探索互動視頻產品，首批探索者以新銳內容制作團隊、

34、影視科技團 23 智能交互視頻白皮書 隊為主，推陳出新的智能互動視頻內容推動“云網屏”影視媒介產業鏈升級重構，按照麥克盧漢的預言，每一代新媒介都因不斷擴展人類的感知能力而燃起“星星之火”。圖 互動視頻端到端系統架構（圖表來源：5G 高新視頻互動視頻技術白皮書）3.1 趨勢一：影視互動化，互動智能化 互動劇的核心在于敘事，而有代入感的交互制作，需要“智能流水線”（自動編排）、“觀眾感知入口”（用戶交互檢測），更多人工智能、增強現實、5G、物聯網、網絡游戲等新興技術群將成為創新驅動力。3.2 趨勢二：互動劇開發工具“平臺化”在線互動劇開發平臺成為 PUGV 的“創新工具箱”，賦能影視制作、互動設計

35、、技術研發的全鏈條生產流程，共享豐富的素材庫、發布庫，通過模版化操作，降低互動劇的制作門檻和成本，幫助更多的影視從業者、UP 主擁有自己的“互動劇生產線”，第一時間從平臺上享受到領先全球的科技紅利，挖掘出大量內容包、內容碎片的隱藏價值。3.3 趨勢三：觀眾成為“數字孿生”主角，掌控故事關鍵決定 24 智能交互視頻白皮書 智能互動視頻，其中“互動”主要體現在讓觀眾掌控關鍵劇情的決定（而非游戲中的單一角色扮演），故事的結果因你的選擇而不同；另一方面，“智能”體現在觀眾的一舉一動都能與“史詩性情節”或“知識性情節”的故事行為產生恰如其分的影響，以“用戶為中心”的互聯網思維正在潛移默化地改變影視制作邏

36、輯，與用戶博弈的故事角色也會因 AI 感知而提供個性化敘事反饋。3.4 趨勢四：AI 為互動敘事成本“減負”雖然互動視頻很火爆，但在很多當前的互動影視劇中，一些人物的下線和情節點的缺失更多時候是出于預算的考慮，而 AI、AR 技術能夠采用機器視覺等領先技術，替換人物、背景、道具，甚至用虛擬數字人表演，這都為交互影視的創作者、小型影視公司（或 MCN）提供了巨大的發揮空間，以更高效、可負擔的技術投入加速智能互動視頻產業的創作發展。3.5 趨勢五：AR 技術打破“次元壁”，提升廣告價值 不論是將觀眾“卡通化身”(Avatar)融入互動視頻，還是將互動故事映射到你的房間（AR 眼鏡）中開展，或將你以

37、第一人稱視角投影到“故事世界”中（VR 眼鏡），智能互動視頻都在打破“次元壁”，形成參與度極高的混合情景，讓玩家（觀眾升級版）有一種既熟悉又陌生的感覺；另一方面，“一劇多刷”的用戶粘性帶來了新的商業價值空間，多個分支劇情上都能由 AI 恰到好處地植入多個品牌的 AR 廣告，廣告位呈倍增長，而且是因劇情和用戶喜好而定的個性化廣告，甚至因為故事共鳴，帶來更高的用戶購買客單價與轉化率。3.6 趨勢六：個性化敘事，成就自我，夢想成真 當你扮演的角色靠你的英明決策扭轉乾坤，拯救了地球（或解救了公主），用戶都會獲得一種符合影視劇世界觀的身份認同、自我提高的感覺，智能互動視頻的故事走向具有強個性化，滿足每一

38、個人實現偉大成就的心理。3.7 趨勢七：智能硬件，加速大眾互動媒介發展 智能手機已經在全球普及，而智能電視（AR 識別功能）、智能音箱（帶屏版）、AR 眼鏡、車載交互屏即將到來，“智慧屏”走入千家萬戶，“小眾互動視頻”向“大眾互動視頻”快速升級，單向敘事的視頻時代逐步消亡。3.8 趨勢八：兒童與青少年漸成“互動原生代”25 智能交互視頻白皮書 在潘達斯奈基之前，Netflix 就面向兒童群體成功發布穿靴子的貓、彈力超人阿姆斯特朗兩部互動兒童劇，而兒童不像成年人存在傳統視頻的思維定勢，很自然就能使自己代入故事主角，化身為一只愛冒險的勇敢貓咪。3.9 趨勢九：AI 編劇洞察市場 讓 AI 瀏覽全網

39、的影視劇并收集人類用戶數據，形成模型后，AI 算法能夠評估某一段劇情、主題、人物的受歡迎程度，例如跌宕起伏的劇情、逆襲成長的女性角色，能夠提升互動劇的吸引力，給出更富有感情影響的劇本改編建議，甚至 AI 助手能夠預測在不同地區的觀眾點擊率、觀看時長、付費意愿。另一方面，AI 編劇、AI 編曲、AI 作詞、AI 剪輯師、AI 歌手，會逐步形成一條“AIGV”（AI Generated Video）產業鏈，成為互動視頻創作的加速器。3.10 趨勢十：智能縮略“重復劇情”每一位“玩”過互動視頻劇的朋友們，最頭疼的就是返回決策點重復看相同的劇情，而如果 AI能記錄并縮略已看過的視頻，觀眾將會因持續不斷

40、的新劇情而興趣倍增，重度用戶甚至會“刷遍”每一個結局?；ヂ摼W讓視頻觸達全球大眾，千人一面的故事；人工智能個性化互動敘事，千人千面我的故事我做主！26 智能交互視頻白皮書 指導委員會?楊 帆 商湯科技聯合創始人、副總裁?欒 青 商湯科技增強現實感視頻與平臺總監?楊 琳 商湯科技移動智能事業部總監?王 玨 商湯科技視頻大數據事業部總經理?王貴珠 商湯科技視頻大數據事業部副總監 作者 田豐 商湯科技 智能產業研究院院長 鹍鵬 互影科技 創始人兼 CEO 楊燕 商湯科技 智能產業研究院主任 曾筑娟 互影科技 創始人兼 COO 27 智能交互視頻白皮書 特別鳴謝 劉 杰 互影科技首席科學家 杜 歡 互影科技技術副總裁 李寧寧 互影科技產品總監 卞 野 互影科技資深制作人 劉一楠 互影科技資深互動設計師 洪子藍 商湯科技智能產業研究院助理研究員 劉 駿 商湯科技智能產業研究院助理研究員 方 芳 商湯科技互娛商務副總監 袁 慧 商湯科技移動智能事業群工程師 李啟銘 商湯科技移動智能事業部產品經理 嚴 瓊 商湯科技移動智能事業部產品經理 田濟源 商湯科技移動智能事業部產品經理 江訢華 商湯科技視頻大數據事業部產品經理 28 智能交互視頻白皮書 關注“商湯智能產業研究院”微信公眾號 獲取更多智能產業前沿洞察