《虛擬現實內容制作中心:虛擬增強現實內容制作白皮書2020年(72頁).pdf》由會員分享,可在線閱讀,更多相關《虛擬現實內容制作中心:虛擬增強現實內容制作白皮書2020年(72頁).pdf(72頁珍藏版)》請在三個皮匠報告上搜索。
1、虛擬虛擬/增強現實內容制作增強現實內容制作白白 皮皮 書書(20202020 年年)虛擬現實內容制作中心虛擬現實內容制作中心青島星鯊虛擬現實技術研究院青島星鯊虛擬現實技術研究院20202020 年年 4 4 月月版權聲明版權聲明本白皮書版權屬于虛擬現實內容制作中心與青島星鯊虛擬本白皮書版權屬于虛擬現實內容制作中心與青島星鯊虛擬現實技術研究院現實技術研究院,并受法律保護并受法律保護。轉載轉載、摘編或利用摘編或利用其他其他方式使方式使用本白皮書文字或者觀點的,應注明用本白皮書文字或者觀點的,應注明“來源來源:虛擬現實內容制作虛擬現實內容制作中心中心”。違反上述聲明者,本中心將追究其相關法律責任。違
2、反上述聲明者,本中心將追究其相關法律責任。致致 謝謝本白皮書由虛擬現實內容制作中心與青島星鯊虛擬現實技術研究院聯合撰寫發布。在編寫過程中,有關內容得到了工業和信息化部電子信息司的指導,以及中國電子技術標準化研究院、西北工業大學虛擬現實技術聯合研究中心、北航歌爾虛擬現實研究院、號百控股、北京七鑫易維科技有限公司的專業支持,在此特作感謝。目目 錄錄前言.1一、研究背景.11.時代背景.12.社會經濟發展背景.13.產業與標準背景.24.研究目標及意義.3虛擬/增強現實概述.3二、虛擬/增強現實的歷史及概念.31.虛擬/增強現實地起源與歷史.32.虛擬現實的概念.63.增強現實的概念.7三、虛擬/增
3、強現實的特征.8虛擬/增強現實內容制作發展現狀及趨勢.9四、虛擬/增強現實內容制作關鍵技術.91.核心引擎.92.開發工具.133.模型構建.14五、虛擬/增強現實內容制作平臺工具.201.開發平臺.202.建模工具.243.網絡傳輸協議.274.VR/AR 硬件通信協議.28六、虛擬/增強現實內容制作產業現狀與趨勢.291.內容制作產業現狀.292.內容制作產業趨勢.34虛擬/增強現實內容制作標準化建議.35七、技術標準.351.開發平臺.352.開發工具.353.模型制作.364.交互設計.415.渲染優化.436.通信機制.447.全景視頻.448.VR/AR 接口.44虛擬/增強現實行
4、業應用現狀及趨勢.45八、應用領域.451.教育.452.醫療.473.軍事.494.航天.515.工業制造.536.應急仿真.557.智慧城市仿真.568.能源仿真.589.文化旅游.5910.影音媒體.6011.娛樂游戲.6112.體育競技.6413.創意營銷.66虛擬/增強現實內容制作白皮書(2020)1前言前言一、一、研究背景研究背景1.1.時代背景時代背景從農耕時代到工業時代再到信息時代從農耕時代到工業時代再到信息時代,技術的不斷進步帶動了生技術的不斷進步帶動了生產力的提高,并不斷推動人類社會向更高層次發展。產力的提高,并不斷推動人類社會向更高層次發展。今天,互聯網、云計算、虛擬現實
5、、大數據、人工智能等新技術,正以改變一切的力量,在全球范圍掀起一場影響人類所有層面的深刻變革,新技術正在重構產業結構,提升產業效益,推動人類社會向數字化和智能制造時代邁進。未來,知識和智慧將會取代資本和資源,成為驅動經濟社會發展的關鍵力量。作為戰略性前沿技術之一的虛擬現實技術,隨著硬件成本降低,市場需求量不斷擴充,但在其制作標準和技巧上沒有形成技術標準,所以制作內容參差不齊,迫切需要從產業流程和發展角度深入,形成標準,從而帶動規?;l展。2.2.社會經濟發展背景社會經濟發展背景在宏觀經濟發展過程中在宏觀經濟發展過程中,科學技術是第一生產力在經濟發展的事科學技術是第一生產力在經濟發展的事實中是不
6、可否認的實中是不可否認的,技術對經濟增長和經濟發展的貢獻相對于資本和技術對經濟增長和經濟發展的貢獻相對于資本和勞動來說是最大的勞動來說是最大的。據相關數據顯示,進入 20 世紀 90 年代以后,虛擬/增強現實技術在娛樂、教育、藝術、軍事、航空、醫學、機器人等方面的應用比例均有大幅度提高,此外,在可視化計算、智能制造等方面也占有較為重要的比重,如今“AR/VR+產業”的運作模式更是融入了社會的各個行業,5G 時代的到來也將為虛擬/增強現實注入了新的活力,其背后巨大的市場商業價值正在日漸凸顯。虛擬/增強現實內容制作白皮書(2020)23.3.產業與標準背景產業與標準背景中國是全球虛擬中國是全球虛擬
7、/增強現實產業創新創業最活躍、市場接受度最增強現實產業創新創業最活躍、市場接受度最高高、發展潛力最大的地區之一發展潛力最大的地區之一。工業和信息化部 2019 年 1 月公布 關于加快推進虛擬現實產業發展的指導意見中提出,2025 年我國虛擬現實產業整體實力要進入全球前列。從需求端考慮,近些年來虛擬/增強現實概念不斷發展,民眾對虛擬/增強現實的了解程度不斷增強。據 IDC 研究報告,預計中國虛擬/增強現實消費支出在 2019 年和 2020年的增長率都高于 100%。從行業規???,虛擬/增強現實有望迎來發展高峰。根據艾瑞咨詢的數據,2018 年中國虛擬/增強現實市場規模為 230.4 億元,預
8、計 2021 年將達 790.2 億元。5G 時代所有用戶都需要快速的互聯網連接來呈現高質量的 VR 內容,VR 有可能成為智能手機、電視以外的第三塊屏幕。虛擬現實和 5G 等前沿技術不斷融合創新發展,進一步促進了虛擬現實的應用落地,催生了新的業態和服務。虛擬現實相關傳感、交互、建模、呈現技術正在走向成熟。雖然中國 VR 產業前景廣闊,但仍存在諸多問題。從用戶的角度來看,目前 VR 內容和應用還不夠豐富,處在較為初級的階段;從生態的角度來看,目前缺乏標準化體系。而關鍵技術不足、內容與服務教育缺乏、創新支撐體系不健全、利用生態不完善等問題,都需要圍繞技術、標準、產品、應用服務等產業鏈關鍵節點加強
9、產業聯動,大廠商、第三方研究機構、開發者各方應深入分析挖掘虛擬現實產業的直接與間接價值,增強消費者體驗,探索開放合作模式,促進產業全方位體系化發展。虛擬/增強現實內容制作白皮書(2020)34.4.研究目標及意義研究目標及意義如今虛擬/增強現實已經廣泛地應用于城市規劃、室內設計、工城市規劃、室內設計、工業仿真業仿真、旅游教學旅游教學、水利電力水利電力、地質災害等地質災害等多個領域,并在不斷地拓展當中。隨著應用市場不斷擴大,應用內容的制作越來越豐富多樣。面對已日趨豐富的虛擬/增強現實應用內容,建立規范合理的行業標準已迫在眉睫。通過標準的制定,可以為虛擬/增強現實的內容制作提供規范,在建立虛擬/增
10、強現實內容產業發展基礎的同時也對虛擬/增強現實技術及其產業發展起引導作用,對我國快速搶占虛擬/增強現實行業的制高點具有重要意義。虛擬虛擬/增強現實概述增強現實概述二、二、虛擬虛擬/增強現實的歷史及概念增強現實的歷史及概念1.1.虛擬虛擬/增強現實增強現實地起源地起源與歷史與歷史1935年出版發行了最早虛擬現實概念的科幻小說 Fictitious。1950 年,莫頓海里格(Morton Heilig)創作了“體驗劇院”,該劇院可以有效地涵蓋所有感官,從而將觀眾吸引到屏幕上的活動中。在 1962 年制造了自己的視覺原型,稱為“傳感器”,并在其中展示了五種短片,同時具有多種感官(視覺、聲音、氣味和觸
11、覺),并將其稱為“Telesphere Mask”(已于 1960 年獲得專利)。專利申請將設備描述為“個人使用的伸縮電視設備給觀眾以完全的真實感,即移動可能是彩色的三維圖像,并具有 100的周邊視覺,雙耳聲音,氣味和微風?!碧摂M/增強現實內容制作白皮書(2020)41968 年,伊凡薩瑟蘭(Ivan Sutherland)在包括鮑勃斯普勞爾(Bob Sproull)在內的學生的幫助下,創造了被廣泛認為是首個用于沉浸式仿真應用的頭戴式顯示系統。無論從用戶界面還是視覺逼真角度來看,都是原始的,而且用戶佩戴的 HMD 太重,以至于必須將其懸掛在天花板上;組成虛擬環境的圖形是簡單的線框模型師,該設備
12、的外觀啟發了名字“達摩克利斯之劍(The Sword of Damocles)”。1977 年至 1984 年,戴維埃姆(David Em)成為第一位在 NASA噴氣推進實驗室(JPL)產生可導航虛擬世界的工程師。1978 年,麻省理工學院創建了 Aspen 電影漫游地圖,這是首個虛擬旅游的雛形,用戶可以在其中以三種方式(視覺夏季,視覺冬季和模型結構)中的一種在 Aspen 的街道上漫步。1979 年,埃里克霍利特(Eric Howlett)開發了大視野,超視角的光學系統,組合后的系統創建的立體圖像具有足夠寬的視場,以營造令人信服的空間感。該系統的用戶對場景中的深度(視野)感和相應的真實感印象
13、深刻。最初的LEEP系統于1985年為NASA的Ames研究中心進行了重新設計,以安裝其第一個虛擬現實設備,即 ScottFisher 的 VIEW(虛擬交互式環境工作站)。LEEP 系統為大多數現代虛擬現實頭戴式顯示器提供了基礎。到 20 世紀 80 年代,“虛擬現實”一詞已由該領域的現代先驅之一 Jaron Lanier 推廣。Lanier 于 1985 年成立了 VPL Research 公司。VPLResearch 開發了幾種 VR 設備,例如 DataGlove、EyePhone 和AudioSphere。虛擬/增強現實內容制作白皮書(2020)51988 年,Autodesk 公司
14、開發了第一個在低成本個人計算機上實現 VR 的項目。項目負責人埃里克古利森(Eric Gullichsen)于1990年離開公司,創立了Sense Corporation,并開發了WorldToolKit虛擬現實軟件 SDK。該軟件在 PC 上提供了第一張帶有紋理映射的實時圖形,并在整個行業和學術界得到了廣泛地應用。在 20 世紀 90 年代,消費類頭戴式顯示器首次廣泛商業發布。1991 年,世嘉宣布推出用于街機游戲和 Mega Drive 控制臺的 Sega VR頭戴式顯示器。立體聲頭戴式顯示器和慣性傳感器中使用了 LCD 屏幕,從而使系統能夠跟蹤用戶的頭部并對其做出反應。同年,Virtua
15、lity推出并繼續成為首個在多個國家/地區發布的大規模生產的網絡化多人 VR 娛樂系統,配備了頭戴式顯示器和外置式手套,從而提供了首批“沉浸式”VR 體驗設備。1991 年,電子可視化實驗室的 Carolina Cruz-Neira,DanielJ.Sandin 和 Thomas A.DeFanti 創建了首個立方米沉浸式房間,即洞穴自動虛擬環境(CAVE)。有別于 HDM 數字頭盔的另一種可視化呈現,由多臺投影組成,結合位置追蹤和 VR 軟件,是一種大型多人虛擬現實系統。到 1994 年,世嘉在世嘉世界娛樂場所發布了世嘉 VR-1 運動模擬器。能夠以立體 3D 方式跟蹤頭部運動并以 3D 多
16、邊形圖形為特色。同年,蘋果發布了 QuickTime VR,盡管使用了“VR”一詞,但無法表示虛擬現實,而是顯示了 360 張攝影全景圖。在 2001 年,SAS Cube(SAS3)成為由 Z-A Production、巴可投虛擬/增強現實內容制作白皮書(2020)6影和 Clart三家公司聯合開發的首套基于 PC 的立方米房間。后升級換代,SAS Cube 催生了 Virtools VRPack 虛擬現實開發軟件。從 2010 年開始,虛擬現實系統中的 HDM 數字頭盔開始了跨越式爆炸式的增長,先后發布了 Oculus Rift、Htc VIVE、Valve SteamSight、Play
17、Station VR、Cardboard、Razer OSVR 等。到 2016 年,至少有 230 家公司開發 VR 相關產品。亞馬遜,蘋果,Facebook,谷歌,微軟,索尼和三星都有專門的 AR 和 VR 組。動態雙目追蹤在該年發布的大多數頭戴式顯示器中很常見。整體的發展趨勢從分辨率和幀率更高,操作更簡便角度發展。2.2.虛擬現實的概念虛擬現實的概念虛擬現實技術簡稱為虛擬現實技術簡稱為 VRVR 技術技術,是一種采用是一種采用 3D3D 交互邏輯的成像技交互邏輯的成像技術類別術類別。虛擬現實技術是仿真技術的一個重要方向,是仿真技術與計算機圖形學人機接口技術、多媒體技術、傳感技術、網絡技術
18、等多種技術的集合,是一門富有挑戰性的交叉技術前沿學科和研究領域。虛擬現實技術顧名思義,是將使用者帶人預設完成的虛擬空間,通過虛擬空間體驗實現在視覺的圖像剌激,從而達到三維成像技術應用的目的。虛擬現實技術(VR)主要包括模擬環境、感知、自然技能和傳感設備等方面。模擬環境是由計算機生成的、實時動態的三維立體逼真圖像。感知是指理想的 VR 應該具有一切人所具有的感知。除計算機圖形技術所生成的視覺感知外,還有聽覺、觸覺、力覺、運動等感知,甚至還包括嗅覺和味覺等,也稱為多感知。自然技能是指人的頭部轉動,眼睛、手勢或其他人體行為動作,由計算機來處理與參與者的動虛擬/增強現實內容制作白皮書(2020)7作相
19、適應的數據,并對用戶的輸入作出實時響應。虛擬現實(VR)也是一種模擬地體驗,可以與現實世界相似或完全不同。虛擬現實的應用可以包括娛樂(即游戲)和教育目的(即醫學或軍事訓練)。其他不同類型的 VR 風格技術包括增強現實和混合現實。當前,標準的虛擬現實系統使用虛擬現實頭戴式顯示器或多投影環境來生成逼真的圖像,聲音和其他感覺,以模擬用戶在虛擬環境中的物理存在。使用虛擬現實設備的人能夠環顧人造世界,在人造世界中四處移動,并與虛擬特征或物品互動。這種效果通常是由 VR 頭戴式受話器產生的,包括頭戴式顯示器和在眼前的小屏幕,但也可以通過具有多個大屏幕的經過特殊設計的房間來創建。虛擬現實通常包含聽覺和視頻反
20、饋,但也可以通過觸覺技術允許其他類型的感覺和力反饋。3.3.增強現實的概念增強現實的概念增強現實(增強現實(AugmentedAugmented RealityReality,簡稱,簡稱 ARAR),也有對應,也有對應 VRVR 虛擬現虛擬現實實一詞的翻譯稱為實擬虛境或擴張現實一詞的翻譯稱為實擬虛境或擴張現實,是指透過攝影機影像的位置是指透過攝影機影像的位置及角度精算并加上圖像分析技術及角度精算并加上圖像分析技術,讓屏幕上的虛擬世界能夠與現實世讓屏幕上的虛擬世界能夠與現實世界場景進行結合與交互的技術。界場景進行結合與交互的技術。這個詞語最早被前波音公司研究員Tom Caudell 在 1990
21、 年所使用。當前對于增強現實有兩種通用的定義。一是北卡大學教授羅納德阿祖瑪(Ronald Azuma)于 1997 年提出的,認為增強現實包括三個方面的內容:將虛擬物與現實結合、即時交互、三維。而另一種定義是 1994 年保羅米爾格拉姆(Paul虛擬/增強現實內容制作白皮書(2020)8Milgram)和岸野文郎(Fumio Kishino)提出的現實-虛擬連續統(Milgrams Reality-Virtuality Continuum)。將真實環境和虛擬環境分別作為連續系統的兩端,位于兩者之間的被稱為“混合實境”。其中靠近真實環境的是增強現實(Augmented Reality),靠近虛擬
22、環境的則是擴增虛境。增強現實技術,是一種將真實世界信息和虛擬世界信息“無縫”集成的新技術,是把原本在現實世界的一定時間與空間范圍內很難體驗到的實體信息(視覺信息,聲音,味道,觸覺等),通過電腦等科學技術,模擬仿真后再疊加,將虛擬的信息應用到真實世界,被人類感官所感知,從而達到超越現實的感官體驗。真實的環境和虛擬的物體實時地疊加到了同一個畫面或空間同時存在。增強現實技術與虛擬現實技術相比主要優勢在于由外部空間進行視覺強化,從而達到更好的三維立體成像效果。虛擬現實需要通過對虛擬空間的設置現實虛擬圖像的呈現,而增強現實技術則利用實現空間將圖像信息進行重疊,使視網膜成像出現一定的視距差,以此形成圖像處
23、理循環,為三維圖像的呈現提供有效空間。增強現實技術應用主要集中在輔助技術研發方面,由于其無法創設相關的虛擬環境,所以并不作為主要的綜合成像技術,僅作為一種輔助成像手段進行圖像數據解析,繼而提高圖像呈現真實性。三、三、虛擬虛擬/增強現實的特征增強現實的特征虛擬現實及增強現實技術是多維度成像技術,技術應用特點主要包括環境侵人性強及交互性等多個方面,運用圖像三維立體呈現,實虛擬/增強現實內容制作白皮書(2020)9現對數據環境的模擬,以此提高圖像真實感。兩種技術在實際實踐方面存在一定的共通性,增強現實是由虛擬現實發展起來的,兩種技術可以說同根同源,均涵蓋了計算機視覺、圖形學、圖像處理、多傳感器技術、
24、顯示技術、人機交互技術等領域,二者有很多相似點和相關性:首先,都需要計算機生成相應的虛擬信息;其次,都需要使用者使用頭盔或類似顯示設備,這樣才能將計算機產生的虛擬信息呈現在使用者眼前;再次,使用者都需要通過相應設備與計算機產生的虛擬信息進行實時互動交互。虛擬虛擬/增強現實內容制作發展現狀及趨勢增強現實內容制作發展現狀及趨勢四、四、虛擬虛擬/增強現實內容制作關鍵技術增強現實內容制作關鍵技術1.1.核心引擎核心引擎“引擎”,顧名思義是通過動力對某類現象進行指數級的驅動,而達到的目標。對“虛擬現實引擎”來說,通過引擎對各種數據通過引擎對各種數據,如如3D3D 數據、材質紋理數據、音視頻數據、文本數據
25、、動畫(作)數據數據、材質紋理數據、音視頻數據、文本數據、動畫(作)數據進行算法驅動進行算法驅動,實現在虛擬世界中呈現物理世界的各種關系,并通過實時數據仿真還原,以達到提供效率、改變產業結構的目的。從 2D 引擎到 3D 引擎,從單機到網絡,核心引擎經歷過歷史的演變,發展到如今的各種引擎,其目標和核心就是畫質更高、運行更流暢、操作更簡單、兼容性更強。數據集成數據集成由于虛擬/增強現實引擎都需要通過導入各種數據資源來進行整虛擬/增強現實內容制作白皮書(2020)10合操作,這類數據資源包含從3DS Max、Revit、SketchUp Pro、Cinema4D、Rhino、SolidWorks、
26、Catia 和其他各種 DCC、CAD,和 BIM 格式進行高保真轉換,這就要求數據集成功能的兼容性和多樣性。隨著新的DCC、CAD、和 BIM 軟件的發布,對數據高保真的兼容是未來發展趨勢之一。場景構建場景構建虛擬虛擬/增強現實引擎一般都包含引擎編輯器,是一套集成增強現實引擎一般都包含引擎編輯器,是一套集成式式的的開開發發環境環境,可用于在 Linux、MacOS、Windows 上創作內容。借助對多用戶編輯的支持,美術師、設計師和開發人員可以安全而可靠地同時對同一個虛擬/增強現實引擎項目進行更改,而在 VR 模式下運行完整編輯器的功能意味著體驗者可以在所見即所得的環境中構建 VR 應用。引
27、擎為了加速開發流程和效果,一般會內置地形和地貌工具、植被工具、草地工具,通過這些工具可以高效完成場景的構建和優化,同時創建網格碰撞,自動 LOD(細節水平)生成,消除隱藏表面和不必要細節的模型和特征等等,在最大限度上,快速高效完成場景構建。動畫模塊動畫模塊動畫模塊反映出在虛擬/增強現實內容中,動態效果的呈現,是數字內容核心功能之一。分為角色動畫、實時數據、動畫分鏡三個核心基本模塊,在之前的引擎中,對角色動畫和實時數據兼容性比較弱,經常會有丟幀情況出現,同時數據龐大,無法真正讓動作流暢,達到25-30 幀/秒,而現在隨著硬件的升級和軟件的強大,開發出狀態機、混合空間、正向和逆向運動學、物理驅動的
28、布娃娃效果動畫,以及同虛擬/增強現實內容制作白皮書(2020)11步預覽動畫功能。目前隨著移動終端的處理能力強大,通過移動終端內置跟蹤系統進行面部或全身動作捕捉,將大大提升動作制作的效率和效果。渲染、光照、材質渲染、光照、材質虛擬/增強現實技術其核心就是讓虛擬環境真實性強,而渲染、光照、材質就是將虛擬環境“穿”上外衣,讓其更真實,這就需要超強實時渲染器、精細光照、材質編輯器、著色模型、實時光柵化和光線追蹤,以及后期處理的同步并行處理。在 5-10 年前的虛擬/增強現實引擎,在渲染器上和材質上還達不到這些功能,更多是做一個普通的材質附在虛擬場景表面,沒有凹凸感、沒有反射光、沒有動態水或海效果,環
29、境中沒有太陽光等環境效果。而現在主流的引擎都能支持這些模塊,真實性越來越強、實現越來越簡單。動力學模擬動力學模擬動力學模擬是對虛擬世界中的各種事件加入動力學的總稱,讓虛擬世界看起來更加真實,比如粒子系統、物理和破壞系統、毛發系統、布料系統等。通過粒子系統,可以創建電影級品質的 VFX 特效,表現火焰、煙霧、塵土和流水等效果,通過力學疊加,還能讓各種特效動起來,比如火焰、煙霧會受風的影響而飄閃;通過布料系統,可以為角色添加動態布料的效果;通過破壞系統,能為虛擬世界疊加斷裂、破碎和爆破效果,結合 VFX 特效讓一切變得更加真實。腳本代碼腳本代碼虛擬/增強現實引擎另一個特性是系統具有交互性,而交互性
30、是虛擬/增強現實內容制作白皮書(2020)12通過編程的方式把交互體驗給還原,這就需要引擎有穩健的代碼框架和各種函數庫腳本做調用。5-10 年前的虛擬/增強現實引擎更多的是通過 C+代碼編寫交互程序,這種方式對開發者要求極其高,很難讓更多的開發者參與到虛擬現實行業中。而目前的引擎分為三個方向,一個方向為不用代碼編寫就能實現交互功能,稱之為“模塊”,通過模塊之間的組合、連接、運算,達到最終的交互效果;另一個方向為用簡單的通用的程序語言,比如 C#或 Java,掌握這兩類語言的人群大很多,比如做網站開發、做數據庫開發的工程師;最后一個方向為通用性語言無法實現的交互功能,則需要引入 C+語言來開發,
31、從一定角度來看這也是虛擬/增強現實內容制作工種的細分,來完善制作內容體系和標準化的建設。平臺支持平臺支持使用虛擬/增強現實引擎,可以在各種臺式機、主機和移動平臺上交付內容,包括使用 Windows、MacOS 和 Linux 系統的 PC、PlayStation4、Xbox One 和任天堂 Switch,以及 iOS 和 Android 移動設備,這就滿足了一套引擎可輸出發布到任何一個系統平臺上的要求。第三方資源第三方資源虛擬/增強現實應用需要大量的模型素材、材質素材、紋理素材、聲音素材、動畫素材等。而目前國內基本上沒有高質量的各種素材庫,所以基本上沒有現成素材可以用,導致內容開發周期拉長,
32、成本上升,不可控因素增多。而在國外相對比較成熟,有多個平臺形成規?;奶摂M/增強現實內容制作白皮書(2020)13高質量的素材庫,由于有了這些素材庫,與虛擬/增強現實引擎相結合,為內容開發企業在制作階段提高效率、降低成本。2.2.開發工具開發工具從開發功能角度去看,可以分為平面設計類工具、建模類工具、動畫工具、音視頻工具、交互工具。平面設計工具平面設計工具平面設計類工具的主要作用在于處理 UI 及相關材質的 2D 內容,涉及的軟件特別多,包括 AdobeAdobe 系列系列的、CoreCore 系列系列的,這些工具在10 多年前,都是獨立的個體,功能也不完善,隨著領域的融合,很多獨立軟件都被
33、Adobe 所收購,形成 Adobe 自有產品體系。建模工具(含動畫工具)建模工具(含動畫工具)建模工具主要作用將物理實體進行3D數字化重現,構建3D物件。目前主流的建模工具包含建模、材質、光照、動畫等模塊。根據行業不同,形成不同領域的建模工具,比如游戲、動畫類的采用 Autodesk系列產品;制造生產行業的采用 3DS 達索系列化產品;廣告類采用C4D 或 Blender 產品,整體趨向于專業化的分類和功能的完善。音視頻工具音視頻工具音視頻工具主要作用是將部分元素通過音視頻剪輯制作片子用于虛擬/增強現實內容中的成片頭動畫或穿插動畫或配音解說。根據系統架構(Windows 系統、MAC 蘋果系
34、統)劃分,工具主要分為是 Adobe系列、Edius 廣播級視頻編輯軟件、Final Cut 蘋果系列視頻編輯軟件。虛擬/增強現實內容制作白皮書(2020)14交互工具交互工具交互工具類似于虛擬/增強現實引擎,是虛擬/增強現實內容制作的核心。而目前這類軟件都是國外產品,在國內沒有真正有核心競爭力和自主知識產權的交互工具。3.3.模型構建模型構建模型構建是指通過建模類工具,完成 3D 模型的建模、材質、動畫、渲染等若干工序的集成。其核心為高效、靈活的工具集組合,可以在更短的時間內創建更好的三維內容。三維建模三維建模三維建模分為多邊形建模、曲線和曲面建模(三維建模分為多邊形建模、曲線和曲面建模(N
35、URBSNURBS 建模建模)、映、映射射 UVUV、雕刻建模四種建模方式。、雕刻建模四種建模方式。多邊形由基于頂點、邊和面的幾何體組成。多邊形對于構建許多類型的 3D 模型很有用,并廣泛用于電影、交互式視頻游戲和 Internet 中的動畫效果的 3D 內容開發。曲線和曲面建模(NURBS 建模)是指非均勻有理 B 樣條線(NURBS)提供了一種基于幾何基本體和繪制曲線的 3D 建??蚣?,主要用于建立曲面較多的模型結構。雕刻建??梢缘窨烫摂M 3D 曲面,像在黏土或其他建模材質上雕刻真正的 3D 對象,不是使用黏土,而是使用多邊形構建虛擬 3D 曲面,這種建模方式多用于有一定美術繪畫基礎的設計
36、師,以雕刻的模式進行 3D 建模。建模方式的多樣性從根本上解決了不同專業背景的人可以根據自身的能力來選擇建模方式,從 5-10 年的建模軟件發展來看,功能越來越多,操作也越來越簡便。虛擬/增強現實內容制作白皮書(2020)15紋理和效果紋理和效果紋理和效果主要指通過表面材質賦予 3D 模型外觀,讓模型從視覺角度感覺更加真實。這種模式在行業初期都有這類功能,但比較局限,基本使用一般材質紋理或是雙面材質紋理,相對而言比較粗糙,隨著技術的發展和升級,當下的材質包括物理材質、DirectX Shader、Inkn Paint(卡通材質)、雙面材質、合成材質、殼材質、多維材質、混合材質等等,材質和紋理越
37、分越細,表現效果越來越真實。三維動畫和動力學三維動畫和動力學三維動畫技術主要包含關鍵幀動畫、受驅動關鍵幀動畫、非線性動畫、路徑動畫、動作捕捉動畫、分層動畫、動力學動畫、表達式。在 5-10 年之前動畫技術都是單一存在的,并且一些功能的使用及其復雜,沒有一定的動作理論水平根本無法正確操作。隨著硬件的更新,伴隨而來的動畫功能越來越強大,多種動畫技術的融合不斷提升動畫制作的效率和效果。三維渲染三維渲染渲染作為 3D 動畫最后一個工作,即輸出成片。這就需要大量 CPU資源去支撐整個渲染過程,渲染最早的做法是將渲染做成 3D 建模動畫軟件內置模塊,這樣有利于軟件內容的控制,但整個過程需要大量的 CPU
38、資源去支撐,極其不穩定和不高效。隨著第三方渲染插件的出現,將大大提升了渲染質量和渲染效率,但對 CPU 的依賴性有增無減。目前主流的做法是將渲染器獨立出來,作為一款獨立軟件運行,在制作流程上與之前的一致;同時為了提高渲染效率,傳統 3D 建模動畫虛擬/增強現實內容制作白皮書(2020)16軟件與渲染器都增加分布式渲染模式,可通過局域網和廣域網進行分布式渲染,大大提高渲染效率。紋理映射紋理映射紋理映射是圖形學中的重要內容,作用在于為了獲得更多的細節,一張或多張紋理映射將會應用到物體表面。物體表面上每一點的紋理像素都能在紋理映射中找到,會遵循光照模式以某種方式與光照結合在一起。一般來說紋理映射分為
39、標準紋理映射、投影紋理映射、立方體紋理映射;通過以上幾種方式將圖像和物體表面結合起來,可以在建模、存儲空間和速度方面節省很多資源。腳本及交互設計腳本及交互設計所有的虛擬/增強現實引擎中的應用所使用的編程語言,有C/C#/C+、匯編、JAVA 等幾種。C/C#/C+語言C/C#/C+語言是一種中級語言。這種類型的語言對內存的直接操作是其威力所在,可以最大限度地發揮硬件潛力,成為開發者首選。匯編語言匯編語言匯編語言由于其近于機器語言,難于掌握,不利于書寫虛擬/增強現實引擎中的可視化應用。匯編語言比 C 要快 210 倍左右,主要在程序的某些部分用到嵌入式匯編來提高運行速度。JAVAJAVA 語言語
40、言JAVA 由于是一種非編譯性語言,其安全性、分布性和多線程等特性使其越來越得到開發者的認可,并用于網絡互動程序開發。虛擬/增強現實內容制作白皮書(2020)17隨著新硬件新產品 XBOX ONE、PlayStation 4 和任天堂 Switch,以及 iOS 和 Android 移動設備不斷創新,編程語言的通用性越來越明顯,要求腳本語言在進行交互設計時,能發布到各種平臺上,減少在發布到不同平臺時代碼的轉換或是不兼容。渲染優化渲染優化渲染優化這個概念主要指對于在渲染優化這個概念主要指對于在 CPUCPU 上運行的虛擬上運行的虛擬/增強現實應增強現實應用程序用程序,渲染通常是主要的性能瓶頸渲染
41、通常是主要的性能瓶頸,針對不同的模塊需要采用多種針對不同的模塊需要采用多種優化方式來進行優化,保證渲染效果的質量和高效。優化方式來進行優化,保證渲染效果的質量和高效。而在 10 年以前,由于受到 CPU 和 GPU 發展的限制,對于渲染優化這個概念是不能真正實施,只能通過在制作技巧和方法上進行簡單處理,比如在材質紋理嚴格控制尺寸、在模型的三角面數上嚴格控制模型數量、在光照上嚴格要求只能使用一般材質(不能使用復合材質或多通道材質等)。但隨著 GPU 和 CPU 的提升,DirectX 最新版本為12,可以支持多種渲染優化方式,包含多線程計算、邊緣優化、抗鋸齒等等,在硬件提升的同時,制作技巧和規范
42、不斷放大和優化,材質紋理最高都可支持 4K,模型采用 LOD 的優化方式(并可動態調節)等等。網絡傳輸機制網絡傳輸機制通信協議是虛擬/增強現實內容開發中,不可缺少的功能模塊,根據不同的通信需求,分為內部通信和外部通信,同時針對外部通信又會區分強網絡通信和弱網絡通信??v觀通信機制的發展,伴隨著5G 的商用化,在通信協議的標準化上正向高速、低延遲率、低功耗虛擬/增強現實內容制作白皮書(2020)18方向發展,以匹配 5G 的發展。內部通信內部通信內部通信指的是一般性的觸發動作,在進行的交互操作,保證多個內部通信機制的順暢傳遞。強網絡通信強網絡通信通常說的強聯網其實就是用 Socket(套接字)連接
43、,也叫強連接,長連接。以 Tcp 協議和 Udp 協議為主?;镜?socket 通信服務器端主要需要確定端口,同時綁定端口進行監聽,一旦有從客戶端發過來的連接請求就建立連接并收發消息;Socket 通信具有實時性、長連接的特點。弱網絡通信弱網絡通信弱聯網是弱聯網是 HTTPHTTP 協議協議(超文本傳輸協議超文本傳輸協議),是互聯網上應用最為廣是互聯網上應用最為廣泛的一種網絡協議。泛的一種網絡協議。通信協議為 HTTP 協議和 HTTPS 協議等?;诰W址連接,瀏覽器的地址欄里輸入的網站地址叫做 URL(UniformResource Locator,統一資源定位符)。每個網頁也都有一個 I
44、nternet地址。當操作者在瀏覽器的地址框中輸入一個 URL 或是單擊一個超級鏈接時,URL 就確定了要瀏覽的地址。瀏覽器通過超文本傳輸協議(HTTP),將萬維網服務器上站點的網頁代碼提取出來,獲取到了相應的資源。全景視頻全景視頻隨著計算機技術的飛速發展,多媒體所包含的種類也越來越多,所能表現的效果也越來越多,而一些比較傳統的表現方式也越來越無虛擬/增強現實內容制作白皮書(2020)19法滿足大部分客戶對于展示方式的要求。在傳統的表現方式中,展示的手段無非是靜態的平面圖片和動態的視頻,也有進行三維全景進行展示的。靜態圖片只能提供場景的某一角度圖像,即使是廣角鏡頭,也不能有效全面地對場景進行表
45、現;而動態視頻雖然可以讓用戶對場景有全面地了解,可圖像視角依然有限,觀看方式取決于拍攝者的拍攝方式,并不自由。三維建模的方式可以解決靜態圖片和動態視頻都存在的問題,但是代價很高,真實性也并不總是令人滿意。VR/ARVR/AR 接口接口虛擬/增強現實技術核心價值之一就是交互性,而交互性如何體現,最簡單地理解就是“人”作為輸出主體,進行內容交互及控制,在 50 多年的發展歷程來看,目前還未真正達到這種效果,一般都是借助一些其輔助配件進行交互,而這些其他物件包括數據手套、追蹤系統等不同品牌、不同標準的 VR 輸入設備,這些設備如何與虛擬/增強現實內容結合互動,VRPN 和 Trackd 誕生了。目前
46、 VRPN 可支持的 VR 硬件系統包含:3rdTech HiBall-3000、A.R.T 光學追蹤系統、ARToolkit VRPN 追蹤系統、Ascension 鳥群跟蹤系統、Haptics 力反饋系統、InerSense 慣性追蹤系統、微軟 Kinect全身追蹤、Viewpoint 眼球追蹤系統、5DT 數據手套、zSpace 沉浸式交互硬件系統等等,幾乎兼容市面上所有虛擬現實硬件產品。虛擬/增強現實內容制作白皮書(2020)20五、五、虛擬虛擬/增強現實內容制作平臺工具增強現實內容制作平臺工具1.1.開發平臺開發平臺Unity3DUnity3D 游戲交互開發工具游戲交互開發工具Uni
47、ty3D 是由美國 Unity Technologies 開發的一個讓玩家輕松創建諸如三維視頻游戲、建筑可視化、實時三維動畫等類型互動內容的多平臺的綜合型游戲開發工具,是一個全面整合的專業游戲引擎。Unity 類似于 Director,Blender game engine,Virtools 或 TorqueGame Builder 等利用交互的圖型化開發環境為首要方式的軟件。其編輯器可運行在 Windows、Linux(目前僅支持 Ubuntu 和 Centos 發行版)、MacOS X 下,可發布游戲至 Windows、Mac、Wii、iPhone、WebGL(需要 HTML5)、Wind
48、ows phone 8 和 Android 平臺。也可以利用 Unityweb player 插件發布網頁游戲,支持 Mac 和 Windows 的網頁瀏覽。網頁播放器也被 Mac 所支持。Unity3D 目標群體重視移動端平臺和中小型團隊項目的開發,對編程要求相對較低,有 C#編程基礎,就能操作 Unity3D 平臺進行開發。Unity3D 能快速發布到 iOS/安卓/Linux/Windows/Mac/WebGL 等跨平臺系統之上。UnrealUnreal 游戲交互開發工具游戲交互開發工具Unreal 是 UNREAL ENGINE(虛幻引擎)的簡寫,由美國 Epic 公司開發,是目前世界
49、知名授權最廣的游戲引擎之一,占有全球商用游戲引擎 80%的市場份額?!癠nreal Engine 4”3D 引擎采用了目前最新的即時光跡追蹤、HDR 光照技術、虛擬位移等新技術,而且能夠每秒虛擬/增強現實內容制作白皮書(2020)21鐘實時運算兩億個多邊形運算,效能是傳統“Unreal Engine”的 100倍,而通過 NVIDIA 的 GeForce GTX1080 顯卡與“Unreal Engine 4”3D 引擎的搭配,可以實時運算出電影 CG 等級的畫面,效能極高。Unreal Engine4 是基于虛幻競技場游戲研發而成的新一代基于Shader 技術的游戲引擎,具有真實感強、開放性
50、強的特點,擁有 C+基礎的工程師更容易做出頂尖效果的游戲,更適合開放世界,大型項目。FrostbiteFrostbite 游戲交互開發工具游戲交互開發工具寒霜引擎(Frostbite Engine),是瑞典 DICE 游戲工作室為著名電子游戲產品戰地(Battlefield)系列設計的一款 3D 游戲引擎。該引擎從 2006 年起開始研發,第一款使用寒霜引擎的游戲在 2008 年問世。寒霜引擎已支持 Nintendo Switch。寒霜引擎主要包含四大功能優勢:大型地圖、破壞效果、HDR 聲效、操作簡便。主要特色是可以運作龐大而又有著豐富細節的游戲地圖,同時可以利用較低的系統資源渲染地面、建筑
51、、雜物的全破壞效果。使用寒霜引擎可以輕松地運行大規模的、所有物體都可被破壞的游戲。CryengineCryengine 游戲交互開發工具游戲交互開發工具Cryengine3 是德國的 CRYTEK 公司出品一款對應最新技術DirectX 11 的游戲引擎。采用了和 KILLZONE2 一樣的延遲渲染(Deferred Shading)技術,在延遲著色的場景渲染中,像素的渲染被放在最后進行,隨后在通過多個 buffer 同時輸出。CE3 的圖形虛擬/增強現實內容制作白皮書(2020)22引擎,采用實時光效引擎和物理引擎,有很強的視覺效果,主要包含在一下幾個方面實時動態光照(Real-time D
52、ynamic Illumination)、延遲光照(Deferred Lighting)、動態軟陰影(dynamic softshadows)。VEGAVEGA 視景仿真開發工具視景仿真開發工具VegVega a是由加拿是由加拿大大PresagiPresagis s公司開發的一款視景建模與仿真工具,公司開發的一款視景建模與仿真工具,向客戶提供了一整套的視景仿真解決方案。向客戶提供了一整套的視景仿真解決方案。作為高性能的 VR 開發平臺,Vega 提供了兩種系統設計模式。一是使用 Vega 的 Iynx 圖形用戶界面配置系統,該法只適用于簡單地對交互性要求不高的小系統;二是運用 Vega 提供的
53、 API 函數(C 語言)進行程序開發。VegaPrime 源代碼單一,在重新編譯后可以應用于任何地方、任何所支持的操作環境中,Lynx Prime 配置工具極大地增強了VegaPrime 應用的快速創建、修改和配置。另外其卓越的效率和可擴展性也是其主要優勢。EONEON 視景仿真開發工具視景仿真開發工具EON 引擎是美國 EON Reality 公司針對高端制造業市場開發的一款能夠將產品生命周期管理(PLM)數據變為實時真實圖像、高級物理引擎以及逼真人體動作的編輯工具。EON引擎能為交互式產品圖冊、銷售解決方案以及智能支持模擬器的研發工作開創了全新標準。包括下列高級模塊:實時視覺效果模塊、物
54、理學和行為模塊、EON RPC 模塊、EON 工作室、EON Raptor。適用于美工技術、虛擬影像、動畫繪制、3D 產品設計、工業設計、CAD 設計、物理學和行為研究等諸多領虛擬/增強現實內容制作白皮書(2020)23域。UNIGINEUNIGINE 交互開發工具交互開發工具UNIGINE 引擎是一款應用于虛擬仿真、虛擬現實、視覺化領域的實時 3D 引擎,由俄羅斯著名實時 3D 引擎公司 UNIGINE Corporation開發。區別于游戲引擎,UNIGINE 的定位是尖端的、嚴肅的、專業的應用開發工具,在特大場景塑造和畫面渲染表現方面尤為突出,彰顯強大的市場競爭力。因此,UNIGINE
55、可勝任航空航天、軍事、海事、教育科研、城市規劃、室內設計、工業制造等行業的虛擬技術實現,搭建逼真震撼的虛擬內容場景、設置實時的模擬交互,對演練實訓、研究培訓、宣傳體驗都有著頗為顯著的實用效果。OpenSceneGraphOpenSceneGraph 視景仿真開發工具視景仿真開發工具OpenSceneGraph 是一款開源的虛擬現實仿真引擎平臺,最早由唐伯恩斯作為項目開發的一個平臺,后由羅伯特奧斯菲爾德發起成立開源共享平臺,是一個可移植的、高層圖形工具箱中,為戰斗機仿真、游戲、虛擬現實或科學可視化等高性能圖形應用而設計。提供了基于 OpenGL 的面向對象的框架,使開發者不需要實現、優化低層次圖
56、形功能調用,并提供了很多附加的功能模塊來加速圖形應用開發。OSG 通過動態加載插件的技術,廣泛支持目前流行的 2D、3D 數據格式,包括 OpenFlight(.flt),TerraPage(.txp(多線程支持),LightWave(.lwo),Alias Wavefront(.obj),Carbon GraphicsGEO(.geo),3D Studio MAX(.3ds),Peformer(.pfb),QuakeCharacter Models(.md2),Direct X(.x),以及 Inventor Ascii虛擬/增強現實內容制作白皮書(2020)242.0(.),VRML 1.
57、0(.wrl),Designer Workshop(.dw),AC3D(.ac;.rgb,.gif,.jpg,.png,.tiff,.pic,.bmp,.dds,.tga和qucktime)。另外還可通過 freetype 插件支持一整套高品質、反走樣字體(英文)。OSG 內含 LADBM 模塊,加載大地形速度較快,幀速率高,在運行過程中占用計算機資源少。另外,OSG 是自由軟件,公開源碼,完全免費。用戶可自由修改,來進一步完善功能。2.2.建模工具建模工具AutodeskAutodesk 3DS3DS MAXMAX常簡稱為 3ds Max 或 3DMax,是 Discreet 公司開發的(后
58、被Autodesk 公司合并)基于 PC 系統的三維動畫渲染和制作軟件。其前身是基于 DOS 操作系統的 3D Studio 系列軟件。在 Windows NT 出現以 前,工 業 級 的 CG 制 作 被 SGI 圖 形 工 作 站 所 壟 斷。3D Studio Max+Windows NT 組合的出現一下子降低了 CG 制作的門檻,首先開始運用在電腦游戲中的動畫制作,后更進一步開始參與影視片的特效制作,例如 X 戰警,最后的武士等。在 Discreet 3Ds max 7后,正式更名為 Autodesk 3ds Max 最新版本是 3ds Max 2020。3ds Max 用于設計可視化
59、、游戲和動畫的三維建模和渲染軟件,使用專業品質的三維模型進行全方位的藝術控制,可以創造宏偉的游戲世界,布置精彩絕倫的場景以實現設計可視化,并打造身臨其境的虛擬現實(VR)體驗。使用 3ds Max 工具組合來塑造和定義環境、對象和角色細節。對任何人員、位置或事物建模;3ds Max 可與大多數主要渲染器結合使用以創建高端場景和精彩絕倫的視覺效果以實虛擬/增強現實內容制作白皮書(2020)25現設計可視化等。從界面體驗交互式渲染,以便在工作時獲得精確、詳細的預覽。BlenderBlenderBlender 是一款開源的跨平臺全能三維動畫制作軟件,提供從建模、動畫、材質、渲染、到音頻處理、視頻剪輯
60、等一系列動畫短片制作解決方案。Blender 擁有方便在不同工作下使用的多種用戶界面,內置綠屏摳像、攝像機反向跟蹤、遮罩處理、后期結點合成等高級影視解決方案。同時還內置有卡通描邊(FreeStyle)和基于 GPU 技術Cycles 渲染器。以 Python 為內建腳本,支持多種第三方渲染器。Blender 為全世界的媒體工作者和藝術家而設計,可以被用來進行 3D可視化,同時也可以創作廣播和電影級品質的視頻,另外內置的實時3D 游戲引擎,讓制作獨立回放的 3D 互動內容成為可能。有了 Blender后,喜歡 3D 繪圖的玩家們不用花大錢,也可以制作出自己喜愛的 3D模型了。不僅支持各種多邊形建
61、模,也能做出動畫。CinemaCinema 4D4D外文名 CINEMA 4D,研發公司為德國 Maxon Computer,特點為極高的運算速度和強大的渲染插件,使用在電影毀滅戰士 阿凡達中,獲得貿易展中最佳產品的稱號,前身為 FastRay;主要用于影視、電影、游戲、廣告領域的動畫制作。主要特性為:1 1、文件轉換優勢、文件轉換優勢從其他三維軟件導入進來的項目文件都可以直接使用,而不會擔虛擬/增強現實內容制作白皮書(2020)26心會不會有破面、文件損失等問題。2 2、迄今為止最強大的系統之一、迄今為止最強大的系統之一C4D 的毛發系統,便于控制,可以快速的造型,并且可以渲染出各種所需效果
62、。3 3、高級渲染模塊、高級渲染模塊CINEMA 4D 擁有快速的渲染速度,可以在最短的時間內創造出最具質感和真實感的作品。4 4、BodyPaintBodyPaint 3D3D三維紋理繪畫使用這個模塊可以直接在三維模型上進行繪畫,有多種筆觸支持壓感和圖層功能,功能強大。5 5、MoGraphMoGraph 系統系統屬于一種變形組合模塊,將類似矩陣式的制圖模式變的極為簡單有效而且極為方便,通過一個單一的物體,經過算法的排列和組合,并且配合各種效應器,達到單調的簡單圖形視覺創意化。6 6、C4DC4D 的預制庫的預制庫C4D 擁有豐富而強大的預置庫,可以從預置中找到模型、貼圖、材質、照明、環境、
63、動力學、甚至是攝像機鏡頭預設,大大提高了工作效率。7 7、C4DC4D 無縫與后期軟件無縫與后期軟件 AfterAfter EffectsEffects 銜接銜接CatiaCatiaCatia 是法國達索公司的產品開發旗艦解決方案。作為 PLM 協同解決方案的一個重要組成部分,可以通過建模幫助制造廠商設計客戶虛擬/增強現實內容制作白皮書(2020)27未來的產品,并支持從項目前階段、具體的設計、分析、模擬、組裝到維護在內的全部工業設計流程。模塊化的 Catia 系列產品提供產品的風格和外形設計、機械設計、設備與系統工程、管理數字樣機、機械加工、分析和模擬。Catia 產品基于開放式可擴展的 V
64、5 架構。通過使企業能夠重用產品設計知識,縮短開發周期,Catia 解決方案加快企業對市場的需求的反應。自 1999 年以來,市場上廣泛采用數字樣機流程,從而使之成為世界上最常用的產品開發系統。Catia 系列產品在八大領域里提供 3D 設計和模擬解決方案:汽車、航空航天、船舶制造、廠房設計(主要是鋼構廠房)、建筑、電力與電子、消費品和通用機械制造。3.3.網絡傳輸協議網絡傳輸協議TCPTCP 協議協議TCP(Transmission Control Protocol,傳輸控制協議)是面向連接的協議,即在收發數據錢,都需要與對面建立可靠的鏈接,TCP的三次握手以及 TCP 的四次揮手。UDPU
65、DP 協議協議UDP(User Datagram Protocol)用戶數據報協議,非連接的協議,傳輸數據之前源端和終端不建立連接,當需要傳送時就簡單地去抓取來自應用程序的數據,并盡可能快地把數據扔到網絡上。在發送端,UDP 傳送數據的速度僅僅是受應用程序生成數據的速度、計算機的能力和傳輸帶寬的限制;在接收端,UDP 把每個消息段放在隊列中,虛擬/增強現實內容制作白皮書(2020)28應用程序每次從隊列中讀一個消息段。相比 TCP 就是無須建立鏈接,結構簡單,無法保證正確性,容易丟包。HTTPHTTP 協議協議Http(超文本傳輸協議)是用于傳輸諸如 HTML 的超媒體文檔的應用層協議。該協議
66、被設計用于 Web 瀏覽器和萬維網服務器之間的通信,也可以用于其他目的。HTTP 遵循經典的客戶端-服務端模型,客戶端打開一個連接以發出請求,然后等待收到服務器端響應。HTTP是無狀態協議,意味著服務器不會在兩個請求之間保留任何數據(狀態)。4.VR/AR4.VR/AR 硬件通信協議硬件通信協議VRPNVRPN虛擬現實外圍網絡(VRPN)是苦中的一組類和一組服務器,這些類被設計為在應用程序和一組虛擬設備中使用的物理設備(等)之間實現網絡透明接口。虛擬現實(VR)系統。這個想法是在每個 VR 工作站上擁有一臺 PC 或其他主機來控制外圍設備、按鈕設備、觸覺設備、模擬輸入、聲音等。VRPN 使用適
67、當的服務等級為共享此鏈接的每種設備提供應用程序和所有設備之間的連接。該應用程序仍然不知道網絡拓撲。VRPN 還提供了一個抽象層,使統一基類的所有設備看起來都相同。例如,所有跟蹤設備看起來都屬于 VRPN_Tracker 類型。這僅意味著所有都生成相同類型的報告。同時,可能需要訪問某種跟蹤設備的特定功能(例如,告訴某種類型的多久生成一次報告)的應用程序虛擬/增強現實內容制作白皮書(2020)29可以派生與此類通信的類。如果將此專用類與不了解如何設置其更新速率的一起使用,則該將忽略專用命令。當前系統類型為模擬,按鈕,撥號,ForceDevice,聲音,文本,和這些中的每一個都為特定類型的設備抽象出
68、一組語義。每種類型的設備都有一個或多個服務器,還有一個客戶端類,用于從設備讀取值并控制其操作。VRPN 客戶端(應用程序端)庫已在 SGI/Irix,PC/Win32,PC/Cygwin(未積極維護),HP700/Hpux,Sparc/Solaris,PC/Linux,Mac/OSX,Ipaq/Linux,和 Zaurus/Linux(有關在 Linux/WinCE 手持設備上運行的信息,請參見 VRPN PDA 頁面)。服務器端庫在 SGI/Irix,PC/Win32 和 PC/Linux 下編譯。異地用戶已經為 IBM/AIX 進行了編譯。六、六、虛擬虛擬/增強現實內容制作產業現狀與趨勢增
69、強現實內容制作產業現狀與趨勢1.1.內容制作產業現狀內容制作產業現狀相對于虛擬/增強現實產業,內容制作產業起步較早,相對成熟的就是游戲內容制作。內容制作產業可以分為工具平臺、制作流程及標準、分發平臺三部分,后兩塊相對比較成熟,而前期工具平臺則比較弱,以至于到目前,國內還沒有形成商業化體系化的工具平臺。但國內的應用的豐富層度較高,涉及游戲、教育、健身、體育、醫學、制造。根據國外研究機構 Emarketer 發布的報告指出,在所有應用領域關注度最高,并產生投資效果的排名分別是游戲、教育、建筑制造、醫療健康、電影電視、零售業、制造業、體育,這其中不乏國內公司的身影。虛擬/增強現實內容制作白皮書(20
70、20)30從國內大環境中看,主要體現在政策驅動、產業結構調整、產業規模等幾方面表現。政策驅動政策驅動虛擬、增強現實(VR/AR)是現今世界高度關注的熱點,國內外企業的行業巨頭紛紛進入該領域,發展日新月異,消費級的 VR 產品競相發布,VR 行業的競爭也日趨激烈,但與國外行業巨頭相比,國內企業無論是在技術、積累和規模上都存在一定差距。而 VR/AR 技術又是新一代人工智能領域的重要組成部分,是新型顯示技術、人機交互技術和互聯網技術等多種前沿技術的綜合性技術,是新一代信息技術的集大成者,被列入強化實施創新驅動發展的國家戰略。國家為此出臺了一系列的支持扶持政策,主要有:國家創新驅動發展戰略綱要、國家
71、中長期科學和技術發展規劃綱要 20062020 年)、“十三五”國家科技創新規劃和“十三五”現代服務業科技創新專項規劃,國務院印發了新一代人工智能發展規劃均明確指出要研究開發 VR/AR 融合創新技術,結合新時期國家戰略和經濟社會發展需求,加快推進現代服務業發展。近日,工業和信息化部為貫徹落實 國務院辦公廳關于加快應急產業發展的意見和國家突發事件應急體系建設“十三五”“規劃等要求,印發應急產業培訓與發展行動計劃(2017 一 2019 年)鼓勵將 VR/AR 用于災害救援等應急產業;科技部,發改委等六部委聯合印發的“十三五”健康產業科技創新專項規劃明確提出:重點開發 VR 康復系統,加快 VR
72、/AR 智能醫療技術突破;科技部提出:推進 VR/AR/全息技術與影視媒體/文化演藝虛擬/增強現實內容制作白皮書(2020)31的深度融合;工業和信息化部、民政部等五部門印發關于促進老年用品產業發展的指導意見明確提出:針對老年人功能障礙康復和健康管理需求,加快人工智能、腦科學、虛擬現實、可穿戴等新技術在康復訓練及健康促進輔具中的集成應用;工業和信息化部、國家廣播電視總局、中央廣播電視總臺印發超高清視頻產業發展行動計劃(20192022 年)推動重點產品產業化如虛擬現實(增強現實)設備等產品普及;科技部等六部門印發關于促進文化和科技深度融合的指導意見加強文化創作、生產、傳播和消費等環節中的關鍵技
73、術研究,開展文化資源分類與標識、數字化采集與管理、多媒體內容知識化加工處理、VR/AR 虛擬制作、基于數據智能的自適配生產、智能創作等文化生產技術研發;北京市 2016 年發布關于促進中關村虛擬現實產業創新發展的若干措施 中強調要做到虛擬現實產學研用協同創新,支持各創新主體聯合建設共性技術平臺;上海市 2016 年發布的科技創新“十三五”規劃中提到要在人工智能、虛擬現實與增強現實等領域開展技術攻關;上海市 2017 年發布的關于創新驅動發展鞏固提升實體經濟能級的若干意見 中強調需大力推動大數據、人工智能、虛擬現實、增強現實、微機電系統、衛星導航、增材制造等加快發展;江西省 2019 年 6 月
74、發布的虛擬現實產業發展規劃(2019-2023 年)的通知中強調加強頂層設計和區域協作,統籌規劃產業鏈各環節發展戰略,整合資源推進產業特色化集群發展,構建完善 VR 產業體系;江西省 2019 年 10 月發布的進一步加快虛擬現實產業發展的若干政策措施 中說明培育和發展虛擬現實領域的眾創虛擬/增強現實內容制作白皮書(2020)32空間、孵化器、加速器等,推動虛擬現實領域創新、創業、創投、創客聯動,線上與線下、孵化與投資相結合;青島市 2019 年底發布的嶗山區虛擬現實產業發展三年行動計劃 20202022中強調需制定虛擬現實重點領域緊缺人才清單,設立“VR 伯樂獎”,實施人才差異化招引策略;青
75、島市嶗山區 2017 年促進虛擬現實產業發展實施細則(試行)中提到適時成立虛擬現實天使創投基金、協同創新基金、產業投資基金,形成多元化的資金投入機制。產業結構調整產業結構調整VR/AR 集成了新一代信息技術,是綜合性的技術體系,從 20 世紀初到現在,國內經歷過智能基礎設施建設和數字內容不斷升級創新的階段,當下很多產業在大環境下需要進行結構性融合的調整,對虛擬/增強現實數字內容等各種高新、熱點技術產生井噴式爆發增長。制造業需要增強在研發設計、檢測維護、操作培訓、流程管理、營銷展示等環節的應用,提升制造企業輔助設計能力和制造服務化水平。推進虛擬現實技術與制造業數據采集與分析系統的融合,實現生產現
76、場數據的可視化管理,提高制造執行、過程控制的精確化程度,推動協同制造、遠程協作等新型制造模式發展。構建工業大數據、工業互聯網和虛擬現實相結合的智能服務平臺,提升制造業融合創新能力。面向汽車、鋼鐵、高端裝備制造等重點行業,推進虛擬現實技術在數字化車間和智能車間的應用。在文化、旅游和文物保護等領域,豐富融合虛擬現實體驗的內容供應,推動現有數字內容向虛擬現實內容的移植,滿足人民群眾文化虛擬/增強現實內容制作白皮書(2020)33消費升級需求。發展虛擬現實影視作品和直播內容,鼓勵視頻平臺打造虛擬現實專區,提供虛擬現實視頻點播、演唱會、體育賽事、新聞事件直播等服務。打造虛擬電影院、虛擬音樂廳,提供多感官
77、體驗模式,提升用戶體驗。建設虛擬現實主題樂園、虛擬現實行業體驗館等,創新文化傳播方式。推動虛擬現實在文物古跡復原、文物和藝術品展示、雕塑和立體繪畫等文化藝術領域應用,創新藝術創作和表現形式。加快虛擬現實技術在醫療教學訓練與模擬演練、手術規劃與導航等環節的應用,推動提高醫療服務智能化水平。推動虛擬現實技術在心理輔導、康復護理等環節的應用,探索虛擬現實技術對現有診療手段的補充完善,發展虛擬現實居家養老、在線診療、虛擬探視服務,提高遠程醫療水平。推進虛擬現實技術在高等教育、職業教育等領域和物理、化學、生物、地理等實驗性、演示性課程中的應用,構建虛擬教室、虛擬實驗室等教育教學環境,發展虛擬備課、虛擬授
78、課、虛擬考試等教育教學新方法,促進以學習者為中心的個性化學習,推動教、學模式轉型。打造虛擬實訓基地,持續豐富培訓內容,提高專業技能訓練水平,滿足各領域專業技術人才培訓需求。促進虛擬現實教育資源開發,實現規?;痉稇?,推動科普、培訓、教學、科研的融合發展。產業規模產業規模根據艾瑞產業報告分析,中國將成長為全球主要的虛擬現實(VR)市場,預計 2021 年中國 VR 市場規模將達到 790.2 億元;預計 2021年,VR 頭戴設備的市場規模為 297.5 億元,VR 內容市場(包括用戶虛擬/增強現實內容制作白皮書(2020)34直接消費、廣告營銷和企業級應用)的規模為 386.4 億元。從報告
79、可以得出,虛擬/增強現實內容產業將占整個市場一半的營收規模容量,對于內容制作企業來說,將是一場不容錯過的發展機遇。對于內容產業來說將會發布一系列針對不用行業的應用,而新應用的誕生,也會大大顛覆現有的內容體系。2.2.內容制作產業趨勢內容制作產業趨勢制作軟件制作軟件從制作軟件上來看,大部分的技術人員來自游戲行業,對于制作一般性建模軟件、動畫軟件都屬于常用工具,但對于建筑、工業、制造行業,因為其行業的有專業化的軟件,比如 Catia,Pro/E 等,這種軟件模型的優化需要專業技術人才。國內建立專業化的工具軟件還有很長的一段路要走,但軟件是核心,必須建立起來。制作標準制作標準內容的對象決定采用什么制
80、作標準,對于每個最終使用方,要針對其需求進行內容制作。對于每個行業都有其自身的行業標準,而對于虛擬現實內容制作工程師來說,特別要對工業化的模型和數據進行專門經驗和技術積累。人才結構人才結構目前的人才結構比較單一,但隨著行業需求和應用的深入,一定會需要專業化的行業虛擬現實內容制作人才與之相匹配。應用范圍應用范圍據統計,目前在國內主體應用的聚焦點在教育,而其他領域的應虛擬/增強現實內容制作白皮書(2020)35用有,但偏向于展示和培訓,沒有真正從提供行業痛點角度形成產品化、規?;膭蓊^。虛擬虛擬/增強現實內容制作標準化建議增強現實內容制作標準化建議七、七、技術標準技術標準1.1.開發平臺開發平臺虛
81、擬/增強現實開發平臺的功能應支持:制作虛擬/增強現實內容時所發揮的作用、效能,具體功能要求包括:渲染、驅動、管理數字化虛擬場景、管理各種虛擬/增強現實設備、執行各種語音、語言編寫程序等能力;對增強現實開發平臺而言,還需要具有真實場景的實時 3D 重構及與虛擬場景的融合功能,從而形成最終的可視場景。2.2.開發工具開發工具UIUI 設計工具設計工具UI 設計工具的功能應支持:處理以像素所構成的數字圖像,使用其眾多的編修與繪圖工具,可以有效地進行圖片編輯工作;繪制矢量圖形;高效且精確地創建動態圖形和視覺效果;快速、高效的創建原型,同時支持多人協作設計和版本控制管理等。模型制作工具模型制作工具模型制
82、作工具的功能應支持:幾何模型制作工具應具備產生高度近似實際物體的一切功能;運動模型制作工具應具備產生高度近似實際物體運動的一切功能;物理模型制作工具應具備產生高度近似實際物體物理特性的一切功能;行為模型制作工具應具備產生高度近似實虛擬/增強現實內容制作白皮書(2020)36際物體行為過程的一切功能;聲音模型制作工具應具備產生高度近似實際物體聲音的一切功能;模型管理工具應具備產生高度近似人在感受客觀世界時的感受等。交互工具交互工具交互工具的功能應支持:可以創建諸如三維視頻游戲、建筑可視化、實時三維動畫等類型互動內容的多平臺開發;可以設計雙手抓取并操作物體等交互形式。具備先進的動作控制技術,能夠在
83、“所見即所得”的環境中進行創作等。3.3.模型制作模型制作制作人員制作人員完成日期完成日期序號序號類型類型詳細內容詳細內容檢驗檢驗結果結果1.場景單位尺寸是否為米,建筑位置是否正確2.模型比例是否正確3.模型結構是否清晰(屋頂、立面、底商、入口、臺階等)4.模型命名是否符合規范5.模型精度是否符合既定級別標準6.模型坐標系是否歸零虛擬/增強現實內容制作白皮書(2020)37模型部分7.模型是否共面、反面或漏面8.場景內模型是否有空物體存在9.帶通道的模型是否獨立出來10.模型導出前模型是否塌陷且合并頂點11.LOD 模型級別是否為既定級別標準12.LOD 模型命名是否規范13.道路橋梁模型段數
84、是否合理14.模型烘焙前 UV 是否正確15.地形結構是否完整(小品、路燈、花池、園林等)16.材質貼圖材質貼圖類型是否符合規范17.貼圖命名是否符合規范18.貼圖格式是否為 DDS19.貼圖尺寸是否符合規范20.紋理比例是否合理21.貼圖坐標是否正確22.材質貼圖通道是否正確虛擬/增強現實內容制作白皮書(2020)3823.LOD 貼圖命名是否規范24.材質貼圖是否重名25.模型之間紋理交接是否正確26.除需用雙面材質表現的物質外其他物體不能用雙面材質27.地形紋理貼圖是否符合現狀28.效果部分光影關系是否統一29.整體關系是否一致30.色彩關系是否協調31.景觀、小品擺放位置是否合理32.
85、樹種是否與現狀符合33.人物、汽車擺放位置是否合理34.一級建筑是否為清晰紋理(基本紋理+LightingMap)35.導出部分模型導出前是否轉成 EditPoly 方式36.模型導出后是否進行優化處理37.需要加特效的模型是否進行特效處理虛擬/增強現實內容制作白皮書(2020)3938.文件管理項目文件夾是否按規范建立39.模型制作中的過程文件是否按照規范進行備份模型驗收標準模型驗收標準紋理壓縮紋理壓縮格式格式GPUGPU支持支持描述描述圖片要求圖片要求PVRTCRGBA/RGBPowerVRiOS 平臺都支持,支持每個像素2 位或者 4 位的紋理,包含或者不包含 alpha 通道都可以;P
86、VRTC 2-bpp 把一個 84 的像素單元組壓成一個 64 位的數據塊,壓縮效果比較差;PVRTC4-bpp 把一個 44 的像素單元組壓成一個 64 位的數據塊。游戲中使用 4 未壓縮更多。尺寸為2的N次冪,并且寬高相同。虛擬/增強現實內容制作白皮書(2020)40ETC1RGB4Bit支持OpneglES2.0 的GPUOpenGL ES2.0 版本支持,移動GPU 均支持的一個格式,遺憾的是不支持 Alpha 通道。ETC1把一個 4x4 的像素單元組壓成一個 64 位的數據塊。游戲開發中采用最多的格式,不過麻煩的是需要對 Alpha 通道進行單獨存儲。尺寸為2的N次冪,長寬可不同E
87、TC2ARGB/RGB4bit支持OpneglES3.0 的GPUOpenGL ES 3.0 以上才支持,補全了 ETC1 不支持 Alpha 通道,支持更高質量的壓縮。尺寸為 4 的倍數ASTCRGBA/RGBiOS(A8以上)從 IOS9(A8 架構)Apple 手機開始支持 ASTC 壓縮格式,相對于 PVRTC2/4 而言,ASTC(4X4)的壓縮比會增加到0.25,不過顯示效果也會好很多,而且不需要把圖片設置為正方形。長寬可不同直接解決內存直接解決內存、帶寬問題和緩存問題的一個解決方案是固定速率帶寬問題和緩存問題的一個解決方案是固定速率虛擬/增強現實內容制作白皮書(2020)41紋理
88、壓縮(紋理壓縮(Fixed-rateTextureFixed-rateTexture CompressionCompression)。通過硬件解碼壓縮紋理。通過硬件解碼壓縮紋理,紋理可以需要更少的紋理內存紋理可以需要更少的紋理內存,從而增加有效的高速緩存大小從而增加有效的高速緩存大小。至少至少這樣的紋理使用起來更高效,因為在訪問時消耗更少的內存帶寬。這樣的紋理使用起來更高效,因為在訪問時消耗更少的內存帶寬。4.4.交互設計交互設計動作捕捉動作捕捉動作捕捉(Motion Capture),是指記錄并處理人或其他物體動作的技術。通過記錄動作,并將動作數據賦予到數字模型上,產生二維或三維的角色動畫效
89、果。動作捕捉根據技術原理的不同分為慣性動作捕捉、光學動作捕捉、電磁動作捕捉。動作捕捉系統一般應滿足像素、幀率、通信接口的基本要求,同時滿足*.RAW、*.BVH、*.FBX 數據輸出。肌電模擬肌電模擬肌電模擬,是指通過肌電傳感器檢測人體表面肌電信號(sEMG),從而反應人體肌肉和神經的活動情況,通過獲取和處理再將這些數據傳遞到數字人或虛擬人身上進行其他方面的應用。應達到的主要技術參數包含傳感器數量不少于 16 個、肌肉信號通道數不少于 16 個、加速度傳感器、A/D 轉換精度 16 位、ANT 通信、分辨率 16 比特、傳感器延遲小于 500s。觸覺反饋觸覺反饋觸覺反饋(Haptic),也稱為
90、運動感覺通信或 3D 觸摸,是指可以通過向用戶施加力,振動或運動來創造觸摸體驗的任何技術。這些技虛擬/增強現實內容制作白皮書(2020)42術可用于在計算機模擬中創建虛擬對象,控制虛擬對象以及增強對機器和設備的遠程控制(遠程機器人)。觸覺設備應達到包含觸覺傳感器、無線、檢測等功能,通過該觸覺傳感器測量用戶在界面上施加的力的數據轉換并傳輸到虛擬工作中。語音交互語音交互語音交互是指通過人類發出的指令聲音與計算機之間產生交互性,這類技術對于文字及語音的識別率要求較高,通過接收指令后,根據一定的判斷讓虛擬世界的人進行理解和判斷并返回訊息給自然界的人類,這是一種多回路技術模式。方向追蹤方向追蹤方向追蹤是
91、指通過傳感器獲取物理世界中需要被追蹤物體或人的 X、Y、Z 軸坐標信息,并將坐標信息反饋給計算機的一個單向傳輸過程。方向追蹤應滿足 X、Y、Z 三個軸向的坐標信息和物理世界與虛擬世界的比例單位等信息。傳感設備傳感設備傳感器能夠幫助人們與多維的 VR 信息環境進行自然地交互。智能感應環、溫度傳感器、光敏傳感器、壓力傳感器、視覺傳感器等,傳感器是物理世界與虛擬世界通信的橋梁,把各種數據實時的、精確的反饋到數字空間中,才能使虛擬現實應用更加真實可信。手勢跟蹤手勢跟蹤手勢跟蹤是指跟蹤人類手勢、識別其表示和轉換為語義上有意義的命令的整個過程。手勢跟蹤可以將用于設備控制的手勢識別為輸入虛擬/增強現實內容制
92、作白皮書(2020)43并且通過將命令映射為輸出的系統。手勢跟蹤可分為接觸式和非接觸式,接觸式手勢追蹤系統基于使用多個傳感器的數據手套、加速度計、多種觸控屏等技術,如 5DT 的數據手套、CyberGlove 的數據手套、非接觸式手勢跟蹤系統基于使用光學傳感、雷達探測等技術,如微軟的 Kinect、英特爾的 Realsense 等。眼球追蹤眼球追蹤眼球追蹤是指測量注視點或眼睛相對于頭部的運動的過程。眼球追蹤結構包含四部分內容,即光學系統、瞳孔中心坐標提取系統、視景與瞳孔坐標疊加系統、圖像與數據的記錄與分析系統。達到圖像自然真實、快速延遲小,兩個重要指標。視點定位視點定位視點定位是指采集視角初始
93、化的位置,并隨著視角變化而數據更新過程的定位技術,與眼球追蹤有著很多交叉重疊,主要包含平移、旋轉、傾斜三個基本矩陣,分別有視角位置(eyeX、eyeY、eyeZ)、視角朝向位置(centerX、centerY、centerZ)、人頭頂指的方向(upX、upY、upZ),同時應滿足物理世界與虛擬世界的世界坐標系原點單位統一。5.5.渲染優化渲染優化結構應包括:環境、光源、燈光、材質、直接照明、間接照明、全局光照、陰影、反射、折射、局部光強、間接光強、視角方向、光柵化、陰影貼圖、光線投射法、光線跟蹤、渲染濾鏡、光照效果、鏡頭光暈等。虛擬/增強現實內容制作白皮書(2020)44質量應達到:速度為一幀
94、畫面渲染過程所用的時間,不應小于25FPS。方法應包含:掃描線渲染、光線追蹤渲染、輻射度渲染、GPU 渲染、圖像渲染等。6.6.通信機制通信機制傳輸速度傳輸速度15Mbit/s960Mbit/s,因硬件設備及帶寬影響,會有偏差。時延時延嚴格控制在 10ms 以內,減少眩暈感及動態加載 3D 數據需求。7.7.全景視頻全景視頻圖像素材圖像素材應達到分辨率為2K(2048*1080)、4K(4096*2160)、8K(7680*4320)的素材內容,含*.jpg、*.png 等圖片格式和*.mp4(編碼 H.264 或H.265)、*.mov(編碼 ProRes 或 H.264 或 H.265)等
95、視頻格式。圖像輸出圖像輸出應以國際標準中所有實際使用的圖像格式為圖像的存儲與輸出格式,輸出幀率不小于 25 FPS。8.VR/AR8.VR/AR 接口接口接口機制功能應包括:通過易用和可擴展的接口訪問各種 VR 外圍設備;設備的網絡透明接口;來往設備之間的消息的時間標記;處于不同機器中的客戶端與服務器進行時鐘同步;同一時間可與設備建立多個鏈接;與失效遠程服務器重新自動建立鏈接;對交互會話進行虛擬/增強現實內容制作白皮書(2020)45存儲和重放。虛擬虛擬/增強現實行業應用現狀及趨勢增強現實行業應用現狀及趨勢八、八、應用領域應用領域一種技術的創新其本質就在于應用,應用場景的多元化和拓展性決定著技
96、術未來發展的空間和容量,首先需要明確什么場景或是應用值得采用虛擬現實開發值,其次開發成本的多少決定可復制可推廣的容量。潛在的娛樂價值是顯而易見的,沉浸式電影和視頻游戲就是很好的例子;娛樂業是一個價值數十億美元的行業,消費者總是熱衷于新穎性。虛擬現實還具有許多其他更有價值的應用程序。在現實中做某事太危險,太昂貴或不可逆轉的事情,虛擬現實就是可以幫助其產生應用場景。從見習戰斗機飛行員到醫療應用見習外科醫生,虛擬現實能夠承擔虛擬風險,從而獲得現實世界的經驗。隨著虛擬現實技術成本的下降,虛擬現實應用程序開發也變得越來越主流,例如教育或生產力應用程序。虛擬現實以及增強現實可以從根本上改變與數字技術對接的
97、方式,繼續保持技術人性化的趨勢。1.1.教育教育教育是在教學環境中采用虛擬現實的一個核心重點領域。這樣做的好處是,可使大量學生可以在三維環境中相互交流。能夠以易于訪問的方式向學生展示復雜的數據,既有趣又易于學習。另外,學生可以與該環境中的對象進行交互,以發現有關更多信息。虛擬現實天文學。例如,天文學的學生可以通過與太陽系內物體虛擬/增強現實內容制作白皮書(2020)46的物理接觸來了解太陽系及其工作方式??梢砸苿有行?,看到恒星周圍并跟蹤彗星的進程。這也是體驗者能夠了解抽象概念在三維環境中的工作方式,從而更易于理解和保留。這對于具有特定學習風格的學生很有用,例如創意人士或發現使用符號,顏色和紋理
98、更容易學習的人。一種理想的學習場景是醫學,虛擬現實可以用于開發手術模擬或學生可以探索的人體三維圖像。技術源于生活,又應用于生活和工作。因此,有必要將虛擬現實作為多種技術形式之一實施,以教育未來的技術精英。教育已經從書本,鉛筆和鋼筆轉移到了使用交互式技術來幫助傳授知識和理解上。NearpoNearpod d一家美國科技公司研發的一款虛擬現實與教育結合的產品,是一種加強型幻燈片的多媒體應用程序,讓教師通過預先建立課程的文本、圖像和視頻的模板來創建演示文稿。學生們使用 Nearpod觀看演示文稿,參與課堂檢測,教師能利用特殊的老師版本的應用程序來實時掌握學生的學習進度。到現在已經有超過兩百萬名世界各
99、地的學生使用過 Nearpod。LifeliqeLifeliqe 是美國公司研發的為全球首個數字化基礎教育(K-12)科學課程視覺發布產品,產品使用互動 3D 模型,并引入新一代科學標準及通用核心。學生、教師及自主學習學員可訪問逾 1300 個優質(即用型 3D&增強現實)模型及教學計劃,學習、創建并分享個人內容。Lifeliqe 的目標是激發學員的重大靈感,點燃終生學習的激情。虛擬/增強現實內容制作白皮書(2020)472.2.醫療醫療手術場景模擬手術場景模擬在外科手術中,可以利用各種影像數據,建立出模擬的環境,進行手術計劃的制定,制定好計劃之后進行重復的手術模擬演練,通過這種方式開展手術的
100、教學。這樣非常有利于提高醫生們的手術水平,又可以對經驗不足的年輕醫生們進行培養,以面對真實手術環境時隨機應變的能力,在很大程度上降低了手術過程中因為經驗不足、預備不夠等原因造成的不必要的失誤發生率。同時,如果將整個模擬環境手術操作過程錄制為影像資料,也方便醫學生對該手術的學習,進行教學實踐的模擬訓練,增強自身的手術能力。遠程干預遠程干預遠程干預能夠使在手術室中的外科醫生與遠程的專家實時的交互并對病人會診,使在某一領域具有豐富經驗的專家不受空間距離的限制。目前,存在的主要難題是網絡數據的傳輸延遲,傳輸延遲會導致操作不能連貫進行,解決這一問題比較好的方法是采用專用的網絡通道、高性能的 GPU 進行
101、控制。在虛擬現實手術會議系統中,能夠實現對器官和腫瘤的模擬,通過頭部定位的現實裝置進行查看,癌癥模型進行手術的過程中,遠程的專家能夠對病人器官的真實視頻圖像進行實時的交互。臨床診斷臨床診斷在臨床診斷方面,可以利用三維重構技術,建立部分虛擬內鏡的模型,使醫生的視角在病人體內甚至毛細血管中自由轉換,這種動態虛擬/增強現實內容制作白皮書(2020)48的虛擬現實對臨床診斷具有珍貴的價值。還可以將人體軀干模型重建,其中的虛擬器官能夠模擬真實器官的彎曲、伸長以及切割時產生的邊緣收縮現象。為診斷提供了良好的實驗環境。同時,還可以建立虛擬耳窺鏡模塊,以虛擬現實的形式顯示耳的剖面結構,通過 CT 和 MRI圖
102、像數據重建耳的內表面,模擬傳統內鏡對內耳的檢查過程,并針對其功能進一步地深入研究。VividVivid VisionVision 公司公司發表了一種基于 VR 的治療弱視的方法,這種新的弱視療法主要是對弱視的眼睛的增加視覺刺激,同時減少主要眼睛的刺激。然后通過 VR 頭顯實現,通過設備自然地向每只眼睛顯示單獨的圖像。療程以沉浸式 VR 游戲的形式完成的,玩家在弱視視野下能看到重要的游戲線索,導致大腦會很看重來自該眼睛的信息。成人弱視眼皮層中的弱視眼門可塑性的抑制性,而且認為與視頻游戲相關的能動效應在中樞神經系統的神經元可塑性中也起到至關重要的作用。在 2019 年的研究中,兒童的視力改善特別明
103、顯。在 LogMar 評分(LogMAR 0.0 相當于 20/20 視力;越低代表視力越佳)中,11 歲以下的兒童視力從平均值 0.23 提升至平均值 0.06。這意味著完成研究的兒童的弱視眼已經接近于 20/20 的視力水平。迄今為止,VividVision 的 VR 系統已經部署到全球 300 多家驗光和眼科診所,而且這個數字正增加。PsiousVRPsiousVR 公司公司位于西班牙巴塞羅那,開發了一款治療心理疾病的 VR 平臺,VR 應用場景包含焦慮癥(恐懼癥、恐慌、創傷后應激障礙)治療、壓力管理、抑郁和注意力問題(比如多動癥、自閉癥和精虛擬/增強現實內容制作白皮書(2020)49神
104、障礙等)的治療等場景??捎糜卺t院和心理診所,并且支持跨平臺,包括:智能手機、VR 頭顯和生物反饋傳感器。其特點是,醫生可以在電腦屏幕中看到病人在 VR 中看到的實時畫面、病人監控數據、自動生成的報告,還能夠控制病人看到的內容。虛擬現實內容制作中心聯合國內心理醫院及醫學高校,開發搭建新冠肺炎疫情心理干預與治療線上平臺,采用虛擬現實 VR 技術還原治療場景,進行心理疏導與放松。通過虛擬現實技術營造的沉浸式交互環境,可增強心理治療的真實感和安全性,使治療更安全可控;利用虛擬現實技術進行心理治療對真實物理世界和心理世界進行拓展,使治療更經濟高效;虛擬現實心理治療技術可補充和輔助傳統心理治療技術,有效提
105、高心理治療的效率;借用虛擬現實技術進行心理干預和治療,輕癥患者可實現在家操作,免去了去心理醫院治療的尷尬情緒與心理負擔。3.3.軍事軍事飛行模擬飛行模擬空軍是使用虛擬現實產生巨大影響的服務的另一個分支。同樣,用于培訓目的,在受控的環境中教授復雜的技能和技術。飛行模擬器是最知名的例子,被用來訓練部隊各個部門的飛行員并取得巨大成功。用于教授飛行技巧,如何應對緊急情況以及與地面控制人員進行溝通。飛行模擬器使用的軟件類型不同,但結構相同。采用封閉式單元的形式,安裝在液壓升降機或電子系統上。該單元能夠傾斜,移動或扭曲以復制飛機的動作。該單元還包含力反饋,并對學員飛行員采取的行虛擬/增強現實內容制作白皮書
106、(2020)50動做出反應。例如,飛行員將移動操縱桿以使模擬器能夠改變方向。當飛行員這樣操作時,模擬器通過操縱桿提供力反饋,這使飛行員能夠感覺到模擬器模仿了真實飛機的動作。飛行員根據該反饋調整動作。該模擬器將包含一系列監視器,這些監視器顯示虛擬景觀的圖像,例如戰場場景。這些圖像的呈現方式與從現實世界的飛機窗口觀看時完全相同,這需要受訓飛行員做出相應的反應。模擬器被設置為與真實飛機相匹配。配件、設備面板和其他元件與真實飛機上的位置完全相同。戰場模擬戰場模擬什么是虛擬現實戰斗模擬?這是一種虛擬環境,用于培訓新兵掌握有效運行所必需的技能和技巧。虛擬現實戰斗模擬被陸軍,海軍和空軍使用,并且被證明是對其
107、訓練武器庫的極其有用的補充。戰斗模擬采用 3D 環境的形式,新兵可以四處走動并與之互動。戴上虛擬現實眼鏡或帶有跟蹤系統的頭戴式顯示器(HMD)。這顯示了虛擬環境中的一系列圖像,這些圖像隨著新兵移動頭部而移動。這給人以深度感,并增加了真實感。新兵將穿戴帶有跟蹤系統的防彈衣:此頭盔和頭戴式頭戴式顯示器都有助于繪制人體運動圖,然后將其傳輸回一系列計算機控制臺,該數據影響環境中的事件。典型的模擬將包含系列場景,例如,在新兵必須應對的敵對位置時遭到攻擊。該系統將顯示天氣狀況的變化,這只會增加真實感。目的是向一群新兵傳授一起工作的重要性。服從命令并遵循這封信的指示。使用模擬武器或“VR 槍”為新兵提供設計
108、目標,這些武器的外虛擬/增強現實內容制作白皮書(2020)51觀和行為與真實武器一樣。由美軍 TMA 投資,MilitaryMilitary SimulationSimulation 公司公司合作研制的大規模虛擬現實戰斗仿真系統。這種模擬使用游戲技術來訓練士兵在阿富汗行動中的戰術,武器處理和指揮能力。3D 戰斗環境的范圍從頭戴式顯示器(HMD)和跑步機系統到 CAVE 完全沉浸式虛擬現實設置。FAACFAAC 公司公司是專業化提供各種模擬仿真平臺的高科技公司,分為陸軍駕駛模擬器、中型戰術車輛替換訓練系統、模擬火炮實訓系統等等,都是采用虛擬現實技術進行數據與模擬以及可視化仿真。虛擬現實內容制作中
109、心為展示我國強大的軍事力量、豐富的軍事裝備、領先的軍事科技水平,以普及科技文化、軍事文化為出發點,以加強群眾思想教育、道德教育、社會主義核心價值觀為內核,以英雄榜樣為導向,以虛擬現實等技術為手段開發國防科普教育科技館、VR 實戰體驗館等。4.4.航天航天衛星在軌運動的可視交互仿真衛星在軌運動的可視交互仿真在軌衛星的姿態顯示與姿態控制在人造衛星的發射、測控和應用衛星的研究中是十分重要的。印度印度 ISROISRO 衛星中心衛星中心控制系統研究所開發了一組十分簡潔的衛星姿態顯示模型及仿真軟件。該仿真模型的輸入信息為偏航誤差、滾動誤差和俯仰誤差,仿真輸出為動態顯示在計算機屏幕上兩個不同視窗中的三維計
110、算機動畫在軌衛星姿態變換圖形。該仿真軟件采用多視角繪圖和雙倍緩沖技術不但 確保衛星姿態顯示的視連續性、較強的動態感,還有效克服由于隱表面消去處而虛擬/增強現實內容制作白皮書(2020)52導致表面細節信息的損失,增加仿真圖形顯示的真實感。多星管的分布交互仿真多星管的分布交互仿真分布交互仿真分布交互仿真(DISDIS)是指采用計算機網絡技術將分布在不同地點的多個仿真主體連接起來,通過不同節點之間信息的交換和協調,實現多主體在同一環境下進行仿真。近來,航天技術迅速發展的情況下,單機系統往往難以滿足航天工程中提出的一些技術復雜、涉及面廣、精確度要求高的仿真任務,由多機系統組成的分布交互仿真技術在航天
111、仿真中日益受到人們的重視。美國 Wright-Pat terso n 空軍基地空軍技術研究所在 1990 代初期成功地開發一套用于衛星軌道建模與近地空間環境仿真系統(SM),SM 在網絡界面下工作時遵從DIS2.0 協議,并支持分布式交互仿真??臻g飛船任務的虛擬現實仿真空間飛船任務的虛擬現實仿真系統工程仿真 SES 在 Kennedy 空間中心 1984 年進行的兩次在軌空間飛船修復任務(代號:STS 41-B,STS 41-C)準備期間及 SlarMax 修復任務中都發揮重要作用。特別是,在 STS 41-C 期間,當飛船對接試驗失敗之后,捕捉衛星計劃的開發完全得益于 SES 的仿真支持。9
112、0 代初,Hubble 望遠鏡的成功修復也在很大程度上得益于虛擬現實仿真技術支持。在任務準備期間,飛船指揮官 Joh Murato re 提出開發一套專用的虛擬環境來對飛行小組成員進行訓練,提供關于Hubble 望遠鏡幾何結構及計劃修復各個有關步驟的精確知識。荷蘭TNO-TEL的訓練與仿真研究所在圍繞空間站及宇航員在站進軌道的修復等方面進仿真演練系統的開發研究,采用 Pro 視覺硬件、VRS 軟件、虛擬/增強現實內容制作白皮書(2020)53顯示頭盔和 Polbeumus 電磁感應等設備和軟件進行運動跟蹤。5.5.工業制造工業制造在需求分析階段的應用在需求分析階段的應用在工業設計的需求分析過程
113、中,通過使用虛擬現實技術中的 Web頁面開展市場調查,能夠提高被調查對象的興趣,最終得到的調查信息也更具全面性與準確性。對于調查者來說,也就能夠更加準確地把握市場需求的實際情況。此外,通過使用 Web 的虛擬設計環境能夠向用戶更好地展現產品的特征與功能,用戶也可以及時進行信息的反饋,從而也就能夠得到更加多樣化的需求信息,促使產品的合理性得到進一步提高。在概念設計中的應用在概念設計中的應用在進行概念設計的過程中,通過多樣的虛擬環境,能夠讓用戶親自參與到模型修改過程中,或者通過觸摸屏來選擇產品的造型、風格、顏色等多方面的內容,并形成更加逼真的三維模型。設計者可以在獲得的用戶產品體驗的基礎上,通過和
114、專家意見的有效結合來修改產品的對應內容。在詳細設計中的應用在詳細設計中的應用根據工業發展中的技術應用需求,有效地把相關的技術應用控制與工業設計中的詳細設計結合起來,可以更有效地發揮出整體設計的實踐效果,整體設計應用的實踐性也可以隨之得到進一步提高。例如,在工業設計技術的應用過程中,及時根據虛擬現實技術的應用來開展裝配設計技術、人機交互應用的實踐分析,在詳細設計階段完成的設虛擬/增強現實內容制作白皮書(2020)54計越詳細,越貼近實際,在樣機制作及測試階段出現問題的幾率就越小,從而提升產品研發效率。在虛擬制造中的應用在虛擬制造中的應用虛擬制造系統給產品的模擬制造創造了良好的技術條件,使用計算機
115、模擬產品的設計、開發以及制造過程,不會導致資源與能源的浪費。此外,通過虛擬制造環境,能夠及時找出制造過程中可能產生的問題,從而也就能夠保證在進行產品生產以前就可以消除潛在的隱患。在產品評價中的應用在產品評價中的應用目前,虛擬現實技術作為工業設計方案的評價及評審的全新手段,對現代設計評審的高效開展起著至關重要的作用。特別是針對重工行業,由于其產品體量較大,樣機開發周期較長,傳統的設計評審方式通常是采用二維效果圖評審或等比例模型評審,這種方式的弊端在于,二維效果或縮小版模型,很難直觀感受到設計輸出物的實際效果,而對設計的驗證需要等到樣機制作完成,如果實物評審后再進行設計更改,中間需要耗費大量的時間
116、、物料和人力成本。并且,虛擬現實技術還廣泛應用于汽車及工程機械駕駛室內飾的評審,可以通過虛擬模型感知內飾的舒適度、操控性等??傊?,虛擬現實技術在產品評價中的應用,可以及早地發現產品存在的問題,解決問題,防患于未然。法國法國 ESIESI 集團集團為用戶提供的虛擬現實解決方案和工程虛擬樣機仿真分析協同決策平臺ICIIDO,通過使用這些平臺,可以用于和虛擬制造與維護相關的應用,包括裝配與拆卸的可行性分析;裝配的方法與途徑的檢測和記錄;人機工效分析等等,大大提升設計效率。虛擬/增強現實內容制作白皮書(2020)55雷諾汽車采用法國達索集團 3DEXPERIENCE 技術平臺,為企業在汽車前期設計和中
117、期虛擬樣機驗證提供幫助,大大降低設計周期和驗證產生的成本。第一拖拉機股份有限公司開發“新型輪式拖拉機智能制造新模式應用項目加工裝配實景仿真可視化系統”,該系統采用法國TechVIZ 數字樣機評審軟件,滿足在產品工程設計下的不同 CAD 軟件協同和評審提供全新的數字化解決方案。6.6.應急仿真應急仿真專業救援人員培訓專業救援人員培訓利用 VR 技術對特種災害場景仿真再造和先進裝備儀器的模擬訓練,主要用于應急救援培訓及演練,增強救援人員的救援技能,提高救援時的救援效率。北京消防局和清華大學聯合開發了 2008 年北京奧運場所數字化滅火救援動態預案與虛擬仿真訓練系統,用于消防戰術和消防指戰員心理素質
118、訓練。大眾體驗人員科普大眾體驗人員科普通過 VR 技術模擬常見災害場景,主要用于常見災害體驗及逃生技能培訓,將防災意識及防災訓練貫穿于日常,防患于未然。特殊作業人員培訓特殊作業人員培訓將 VR 技術應用于礦產、核化工、電力等的特殊工種的安全培訓。通過高度仿真的三維動畫展示和虛擬交互操作使培訓人員在學習時有置身于真實環境的感覺,有效地增強了學習效果,從而達到提高安全意識、減少安全事故的目的。虛擬/增強現實內容制作白皮書(2020)56MinesMines RescueRescue 公司公司的紐卡斯爾中心采用目前領先的實景虛擬現實(VR)設備,該尖端 VR 平臺的構成基于由圓頂、曲面屏幕和 360
119、度 3D 影院。360 度影院旨在提供絕佳礦山環境影像,讓受訓人員充分融入環境,從而極大程度提高培訓效果。在礦場內實際遇到危險之前,受訓人員可以在安全、受控制的環境中體驗真實的危險并采取應對措施。它可以通過極高品質的培訓,從而挽救生命。7.7.智慧城市仿真智慧城市仿真智慧交通智慧交通當前微觀仿真技術應用比較多的領域是城市地理信息系統,基于細節層次顯示技術和視景分塊調度技術,結合虛擬現實技術,通過對圖形數據和屬性數據庫的共同管理、分析及操作。實現數據可視化,也可使用基于圖形和基于圖像的建模技術對建筑物和其他一些復雜的模型如樹木等進行重建,再利用有理函數模型表示遙感影像與地面之間的構象關系,使用紋
120、理映射技術,構建具有高度真實感的平面或者三維景觀圖?;蛘邔⒊鞘斜砻鎺缀螌ο蠼涍^模型化后,都以數字的形式存儲在計算機中,采用紋理和貼圖技術、LOD 模型、動態多分辨率的紋理與影像優化技術,進行微觀仿真。智慧農業智慧農業利用虛擬現實技術模擬植物在三維空間中的生長發育過程,能夠精確地反映現實植物的形態結構。虛擬植物技術可以在電腦屏幕上設計農作物,然后再進行實際培育或用基因工程技術繁殖出真實的農作物,使農作物新品種具有虛擬植物的理想性狀。虛擬/增強現實內容制作白皮書(2020)57城市農業是充分合理地利用城市空間和優越條件來發展農業的一種探索。利用虛擬農業技術可以模擬環境、生態、科技、生產、觀賞為一體
121、的城市農業綜合發展模式,便于決策、實施。智慧建筑智慧建筑BIM+虛擬現實通過 BIM 技術與虛擬現實技術集成應用,完成虛擬場景構建、虛擬施工過程模擬以及交互式場景漫游,以確保工程在各個階段良好的可控性,同時保持與各專業之間緊密地聯系及反饋機制;利用 BIM+激光掃描進行驗收,通過與原始設計模型進行比對,得出偏差分析報告,從而起到高效、精確地對現場施工情況校對的效果。在 BIM 建模的基礎之上,采用虛擬現實軟件進行逼真的模擬體驗,設計人員可在三維場景中對模型進行任意的漫游供業主查看,人機交互,這樣很多不易察覺的設計缺陷能夠輕易地被發現,減少由于事先規劃不周全而造成無可挽回的損失和遺憾,大大提高項
122、目的評估質量。智慧市政智慧市政智慧市政地下管網虛擬現實系統為施工部門和管理部門提供地下管網準確的走向和埋深等有關信息,通過進行各種分析,為領導部門進行管網規劃、管網改造等提供輔助決策功能。地下管線虛擬現實系統,一是可以實現傳統手工處理方式向現代化信息管理轉型,以保證數據的實時更新、有效管理,避免重復收集數據信息;二是可為市政建設提供規劃、設計、決策服務;三是可為應對突發事件提供支撐。中國地質測繪局是專門勘測國家豐富地形的政府機構。為農業、林業、水利資源、環境、城市規劃、交通和國防等行業提供幫助防災虛擬/增強現實內容制作白皮書(2020)58減災的服務和地圖測繪。開發布置成 2x2 的融合型向下
123、投射陣列并產生高質量 3D 立體衛生圖像,提供了 8m px 的分辨率和令人驚異的中國地形圖。建筑在地面顯示畫面上方的樓廳天橋提供了從任何角度鳥瞰整個區域的可能。紅外發射器完全覆蓋了整個區域,用戶可以進行3D 立體操作,得到視覺數據的完全沉浸顯示。這種高細節的數據顯示是此局非常有價值的資產。8.8.能源仿真能源仿真能源的開采和開發涉及很多模塊,很多行業,常常需要對大量數據進行分析管理,并且由于職業的特殊性,對員工的業務素質也有很高要求。運用三維虛擬技術不但能夠實現龐大數據的有效管理,還能夠創建一個具有高度沉浸感的三維虛擬環境,滿足企業對石油礦井、電力、天然氣等高要求、高難度職位的培訓要求,有效
124、提高員工的培訓效率,提升員工的業務素質。IersIerse e工作室工作室為世界石油和天然氣領導者之一的殼牌公司開發了VR 安全培訓系統。培訓系統模擬各種情況下的突發狀態,比如由于燃油箱溢出而引起了大火,員工的任務是將這種情況下地風險降至最低。員工通過 VR 設備和 VR 培訓內容軟件,來進行安全可重復的模擬實訓;在培訓期間,安全專家會觀察員工的行為并評估他們的表現。在現實生活中,使用此類方案非常昂貴,耗時且危險。而采用 VR 可以對緊急情況進行建模,沒有任何風險并且成本更低。Sketchbox 提供 VR 技術用于地震數據可視化解決方案,通過模擬和大數據分析,允許選擇一個更好更安全的鉆井位置
125、。在正式執行虛擬/增強現實內容制作白皮書(2020)59實際操作之前用 VR 進行測試鉆井站點,可以節省大量資金和縮短開發周期。9.9.文化旅游文化旅游虛擬旅游虛擬旅游應用計算機技術實現場景的三維模擬,借助一定的技術手段使操作者感受目的地場景。坐在電腦椅上就能身臨其境地游覽全世界的風景名勝,還能拍照留念這就是時下在眾多白領中開始風行的“虛擬旅游”,通過閱讀和互動體驗的虛擬游戲方式實現線上旅行,并且為線下旅行提供指導。旅游宣傳旅游宣傳旅游網站、旅行社網站通過虛擬旅游視景系統地建立,可以對現有旅游景觀進行虛擬旅游,對于旅游消費者,可以全景式的了解風景區概貌,以及更直觀地了解各景點地形地貌以及旅游線
126、路。同時借助Intenet,既宣傳了旅游資源又方便了消費者,從而起到預先宣傳、擴大影響力和吸引游客的作用。通過虛擬 3 維景區建立及網絡發布對旅游區進行科學的模擬和演示,將景區從 2 維“抽象”到 3 維影像,加速游客對風景區的認識過程。刺激旅游動機,引導旅游客流,實現旅游增效。景區保護景區保護將虛擬現實技術引入到景區保護領域中來,首先是著眼于一些經典熱門的景區的保護。虛擬現實可以緩解這些景區經濟效益與遺產保護的矛盾。由于有人數限制,很多景區可以制作數字化的參觀方式,虛擬/增強現實內容制作白皮書(2020)60可以避開游客對景區的傷害。導游實訓導游實訓由虛擬現實技術打造的虛擬現實平臺可以將客戶
127、提供的旅游景點 虛擬數據全部集成到播放平臺,利用虛擬現實培訓平臺,導游人員、旅游管理人員不用花費大量時間、精力,就可以通過旅游實訓系統平臺隨意瀏覽旅游景點,通過文字、圖片、影片介紹,學習景區、景點、景觀的歷史、文化知識,為日后社會實踐做好準備。旅游規劃旅游規劃借助虛擬現實技術對于要創建的景點進行系統建模,生成相應的虛擬現實系統,然后通過人機界面進入該虛擬場景。通過規劃人員的親身觀察和體驗,以判斷各種規劃方案的優劣,檢驗規劃方案的實施效果,并可以反復修改和輔助最終方案的制訂施行??梢詼p少設計缺陷,提高規劃質量和進度,加快開發周期。虛擬現實內容制作中心為弘揚中國博大精深的文化底蘊,傳播中國特色社會
128、主義文化價值觀,堅定中國特色社會主義文化自信;讓世界加深對中國傳統文化的熱愛、對中國現代文化的理解、對文化交流的共同探索,開發制作中華民族文化系列片,系列片將選取河北作為開篇之作,通過 VR 技術再現還原“泥河灣文化遺址”等五處世界文化及自然遺產,讓已經消失的文化再一次重現。10.10.影音媒體影音媒體電影電視電影電視虛擬現實已經出現在一些影視節目中。通常用于說明被困在機器虛擬/增強現實內容制作白皮書(2020)61(或本例中的網絡空間)中的概念,或作為一種高級技術的形式。受VR 啟發的電影示例包括:割草機男人黑客帝國(1982 年版)、異次元黑客還有一些電視節目,例如利用虛擬現實技術的神秘博
129、士,紅矮星和星際迷航:下一代的精選劇集。一個例子是在星際迷航中看到的護壁板,使人們可以體驗任意想象的空間。音樂音樂虛擬現實音樂這項技術已成為實驗性聲音顯示和聲音裝置的一部分。虛擬現實樂器的另一種用途是人們可以與這些樂器進行交互,作為一種新型的表演或創作新的作品。書籍書籍虛擬現實書籍,虛擬現實一直是許多虛構故事的主旋律,例如威廉吉布森(William Gibson)的神經巫師和蒙娜麗莎(MonaLisa)Overdrive以及奧森斯科特卡德(Orson Scott Card)的Enders Game。美術美術虛擬現實藝術,有些藝術家使用虛擬現實來探索某些想法或概念。創建了一個三維環境,作為與觀眾
130、交流的一種形式。一個例子是肯尼思里納爾多(Kenneth Rinaldo)的工作,使用機器人技術和增強現實技術來探索與人類技術邊界有關的想法。11.11.娛樂游戲娛樂游戲影視影視5G 時代使長視頻 VR 內容成為可能,技術的進步讓 VR 影視內容虛擬/增強現實內容制作白皮書(2020)62將進一步得到普及,在保證基礎用戶體驗地同時,視頻時長的增加和交互模式的創新為沉浸式影視體驗增添新的可能性,未來影視行業在提高內容質量的基礎上,科技的變革讓影院的觀賞模式和運作模式也將會產生變化。當前,虛擬現實技術在影視制作中的應用,主要是通過構建出可與影視場景交互的虛幻三維空間場景,結合對觀眾的頭、眼、手等部
131、位動作捕捉,及時調整影像呈現內容,繼而形成人景互動的獨特體驗。直播直播傳統方式的視頻直播中,觀眾往往不能全方位了解直播對象周圍環境狀況,無法切身感受現場氛圍,而 VR 直播將活動現場還原到虛擬空間中,其優勢在于:1、身臨其境,借助 VR 頭顯,觀眾可以身臨其境的在現場觀看比賽,增加觀眾觀看節目的趣味性;2、自由選擇位置和角度,時刻關注自己感興趣的場景;3、互動性強,VR 直播的現場氛圍要遠遠高于普通顯示屏觀看,在這種現場氣氛的烘托下,觀眾的情緒極易被充分調動,增加觀看愉悅感。游戲游戲與傳統游戲相比,VR 游戲會帶來強烈的臨場感,玩家將不被局限于平面,而是身臨其境地體驗游戲場景,此外 VR/AR
132、 游戲通過體感操作,實現玩家與游戲角色感官同步,讓游戲更有樂趣。目前 VR/AR游戲地體驗受制于實時渲染的時延太長導致玩家眩暈,5G 網絡更高的網絡傳輸速率、更低的時延以及更大的帶寬,有望提高 VR/AR 游戲地體驗感。虛擬/增強現實內容制作白皮書(2020)63明星明星明星的經濟價值在于其粉絲的數量,也稱之為粉絲經濟,對于大部分粉絲來說,是永遠都沒有機會見到自己的偶像,5G+VR/AR 的技術發展可以使明星形象數字化,以虛擬偶像的形象出現在任何地方,粉絲可以與自己的偶像合影、互動,明星數字 IP 的開發與應用也將成為一種趨勢,拉動明星經濟的快速增長。動漫動漫利用虛擬現實技術把動漫中的場景建成
133、虛擬三維場景,5G 的低延時特性可以讓動漫迷隨時隨地化身為自己喜歡的人物進入這個虛擬場景體驗動漫劇情成為可能,增加動漫迷的興趣點與黏合度,對于動漫 IP 的打造以及動漫產業的發展有著顯著的促進作用。索尼娛樂所出品的 VR 游戲怪物大逃亡、遙遠星際、生化危機 7獲得眾多好評,游戲內容制作的效果和游戲性都獲得市場一致認可,與硬件游戲設備 PS4 和 VR 套裝銷售,讓硬件和游戲內容完美融合。ForceForce FieldField 是典型的 VR 游戲開發商,目前已經完成 8 款游戲的開發,每款游戲都獲得市場的認可,比較有名的包含虛擬現實射擊游戲Landfall(Rift 平臺)和Term1al
134、(Gear VR 平臺)。VR 主題公園 The VOID 與 Lucasfilm(盧卡斯電影公司)、VFX 和動畫工作室 Industrial Light&Magic 的 VR 娛樂部門 ILMxLAB 聯合打造一系列以迪士尼和漫威為主題的 VR 娛樂設施,首先推出的是無敵破壞王VR 主題項目,配合無敵破壞王:大鬧互聯網電影。虛擬/增強現實內容制作白皮書(2020)6412.12.體育競技體育競技虛擬現實被用作許多運動(例如高爾夫,田徑運動,滑雪,騎自行車等)的訓練輔助工具。虛擬現實被用作測量運動成績和分析技術的輔助工具,旨在幫助實現這兩項目標。用于服裝/設備設計中,并且是改善觀眾體驗的驅動
135、力的一部分。體育運動輔助訓練體育運動輔助訓練運動員使用這項技術來微調其性能的某些方面,例如,希望改善揮桿的高爾夫球手或希望在個人追求中更快走的田徑自行車手。三維系統可以查明運動員性能的各個方面,這些方面需要改變,例如其生物力學或技術。體育運動制造業體育運動制造業另一種流行的用途是運動制造業:虛擬現實被用于運動服裝和裝備的設計,例如跑步鞋設計。創新是該行業的關鍵因素,因為在體育成就方面的門檻越來越高。運動員們一直在尋找獲得優勢的方法,這意味著更快,更強壯,更強的耐力等。運動員們一直在不斷突破自己的身體極限,從而推動運動服裝和裝備行業的發展。這個行業必須跟上不斷追求運動完美的步伐,并使用最新技術來
136、做到這一點。體育賽事交互與體驗體育賽事交互與體驗虛擬現實還被用于改善觀眾對體育賽事地體驗。一些系統允許觀眾在體育場或其他運動場所中穿行,這有助于觀眾購買賽事門票。然后是帶有體育主題的虛擬現實游戲,可讓玩家參與比賽。一個虛擬/增強現實內容制作白皮書(2020)65示例是交互式足球游戲,將這場比賽投射到現實世界的表面上。IcarosIcaros 推出的 VR 運動器械能夠提供多維的運動,可達到不同的運動效果。該產品為人們提供全面的肌肉鍛煉:頸部、胸部、肩部、腹肌、肱四頭肌等,此外還能幫助訓練平衡、注意力和反應。目前,該運動器材配套的 VR 游戲有滑雪、水下游泳、太空飛行等,專為健身和娛樂設計。由于
137、 VR 游戲具有高沉浸感,用戶會覺得自己在特定場景里,極具趣味性。目前,Icaros 公司已經開始向第三方開發者提供 SDK,未來會有更豐富的 VR 游戲以供選擇。VirZOOMVirZOOM 開發了賽車、牛仔、劃船等七款 VSports 體育競賽產品,同時產品可以在家里通過互聯網方式來競技,甚至還通過直播方式來吸引競賽觀看者,把體育競技產品與社交融合。StriVRStriVR 是專注于虛擬現實的培訓系統開發,并把該系統運用到運動員日常訓練中的一家初創公司。STRIVR Labs 已經覆蓋 20 多個專業方面,學校的學生已經職業運動員使用該公司的應用軟件已經超過 5 萬人次,使用的時間已經超過
138、上千小時,使用者可以利用 StriVR系統的數據來分析自己的運動訓練。StriVR 系統甚至可以幫助球隊在調整決策。北京體育大學為了備戰 2012 年倫敦奧運會現代五項跑射聯項等項目,開發了一套“現代五項跑射聯項虛擬訓練系統”。該套模擬訓練系統支持各種虛擬環境的構建、各種突發狀況的模擬,在有限的空間內,讓運動員能夠針對各種情況進行訓練,以達到適應比賽環境及突發事件的效果。通過使用該系統給受訓運動員以真實的感官體驗,虛擬/增強現實內容制作白皮書(2020)66提高運動員真實比賽場地的適應能力及抗壓能力。13.13.創意營銷創意營銷虛擬現實營銷是指將虛擬現實技術應用于營銷活動,在不同的營銷情境下,
139、通過改善產品、企業、品牌等的信息呈現,改善顧客與企業的互動和交流,提升顧客獲得的實用價值與體驗價值,企業則可獲得銷售額、市場份額、顧客權益和品牌權益等方面的增長,即實現了企業與顧客價值的共同創造。虛擬現實+商業營銷是利用虛擬現實技術,使消費者獲得逼真的感官體驗,充分調動消費者的感性基因,從而影響其消費決策。虛擬現實+商業營銷分為線上和線下兩種方式,線上營銷是電商 2.0 版,VR/AR 電商通過三維建模技術與 VR/AR 設備以及交互體驗,可以帶給消費者更好的消費體驗,線下營銷則是在產品的實體店或是展示活動現場利用 VR/AR 設備給消費者帶來有趣的互動體驗,增加消費者的興趣與購買欲。在廣告營
140、銷領域,虛擬現實技術的風格主要有影視廣告、動畫、互動媒體等,例如,對于依賴互聯網技術發展的電子商務,商家通過虛擬現實(VR)技術直觀展示產品,減少繁瑣介紹,降低“物品與實物不符”的概率。電商巨頭淘寶于 2016 年 4 月推出“BUY+”的虛擬現實應用程序,“BUY+”利用了三維動作捕捉技術捕捉消費者在購物過程中的動作,與之實現互動。同年 9 月,京東商城發布名為“VR購物星系”APP,主要功能是“模擬化妝”以及 VR 全景店鋪。在該款APP 中,客服人員甚至可以“入鏡”,指導消費者購物,優化購物體驗。虛擬/增強現實內容制作白皮書(2020)67虛擬現實內容制作中心地址:北京市裕曦路綠地啟航國際地址:北京市裕曦路綠地啟航國際 4 4 號樓號樓網址:網址: