21世紀經濟報道記者白楊 北京報道
隨著過去兩年線上演唱會越來越受到關注,人們也越發期待,更沉浸的VR演唱會的到來。
但是,當下VR產業發展仍然面臨諸多瓶頸,以現有技術做一場VR演唱會究竟能達到什麼樣的效果,這個尚無答案的問題,字節跳動旗下的PICO正試圖作答。
1月3日,PICO宣佈《李玟『千禧之境』全虛擬VR演唱會》將於1月7日上線PICO視頻。
據介紹,這是國內首場明星6DoF全虛擬VR演唱會,也是PICO首次嘗試集6DoF體驗、全虛擬場景和實時動捕技術於一體的VR視頻內容。
在線下看片會現場,記者提前觀看了這場VR演唱會的部分內容。
演唱會中,女歌手李玟以其Avatar虛擬形象出演,而用戶可以在場景中360度自由移動。
另外演唱會也加入了一些互動環節,除了可以發彈幕外,用戶在看演唱會的同時也能體驗到換裝、收集螢火蟲、玩音樂遊戲等交互內容。
整體而言,PICO打造的這場VR演唱會,實現了許多突破,讓人們能夠切身感受到VR演唱會的沉浸魅力,但同時,通過這樣一場實踐,PICO也看到了很多行業瓶頸,而這些,將是VR行業接下來亟待解決的關鍵問題。
突破
PICO視頻內容制作經理艾文在接受記者采訪時表示,整個演唱會的籌備階段歷時半年左右,時間相對較久,是因為這是PICO第一次做6DoF的全虛擬VR演唱會,所以在美術執行以及前期的內容策劃上,都消耗了很多時間。
從演唱會的角度,整個制作過程大致分為策劃、美術執行、產品研發三個階段。
第一個階段,相比與傳統演唱會所需要的平面腳本,PICO創作團隊需要為這場VR演唱會打造360度的全景腳本,包括空間的前後左右、天上地下有什麼、演員如何走位,周圍環境有什麼變化等等。
策劃完成後,就是美術執行階段。
這裡要分為兩塊,一個是線下與李玟的合作,需要錄音、練舞、動作捕捉,另外是線上制作,從李玟的虛擬形象到場景,每一幀都由美術從無到有畫出來,然後做模型、場景等。
在把所有美術資產都制作完成後,就進入了產品研發階段。
相對而言,這個階段的工作也是PICO團隊最擅長的,但是在制作過程中,因為所有的虛擬場景和模型特效都是由VR一體機渲染,所以創作團隊需要在VR一體機的性能與效果之間完成平衡和取舍。
從技術角度,6DoF是這次演唱會的一大特色。
艾文表示,6DoF和3DoF,不是非常高深的技術,隻是一個標準,大家日常看到的平面視頻就是3DoF,而6DoF通過前後左右的移動,可以看到對應內容不同的角度,而不僅僅是一個平面。
因此,6DoF意味著更高的自由度,這次VR演唱會中,借助PICO全新自研的6DoF光學定位系統,便完全摒棄了傳統的舞臺表演及固定觀看區,用戶可以自由移動和無限靠近場景及藝人。
除此之外,PICO在演唱會中還應用了寬頻馬達和空間音頻等技術。
其中,寬頻馬達可模擬場景中不同物體交互帶來的不同頻率的震動感,比如收集場景的螢火蟲,寬頻馬達會有輕微的震動反饋,當列車進入不穩定的顛簸狀態時,寬頻馬達會有更激烈的震動反饋,在進行音遊互動時,還能結合音樂節奏進行反饋。
而空間音頻則為用戶打造了更有方位感也更真實的聲音感受。
比如在演唱會中,隨著用戶轉向不同的方向,聲音的聲道也隨之變化,另外距離舞臺的遠近,也會帶來聲音的變化。
瓶頸
但是,在演唱會的整個制作過程中,PICO團隊也遇到了一些挑戰。
首先從演唱會的表演者來說,觀眾最希望看到的還是明星真人的呈現,但現在采取虛擬人的方式,是因為行業現有技術還很難做到。
PICO視頻虛擬業務產品經理陳晨稱,如果把李玟的真人用數字化模型的辦法去做渲染,對硬件性能要求很高,這也是目前行業硬件技術的瓶頸,有待攻克。
另外,行業也有一個做法是把真人用攝像的技術立體摳出來,類似於光場視頻,這樣也能達到6DoF效果,但目前,這個技術尚在攻堅,可能不久的將來就能嘗試這種虛實結合的效果。
而在觀眾方面,此次演唱會支持的是約20人的同房間人數。
至於為什麼不能容納更多觀眾,陳晨表示,如果都用PICO一體機去渲染的話,它的算力也有限。
當分了更多的算力給李玟、給場景、給特效,就意味著把更少的算力留給了用戶形象。
所以,目前理論上也能夠放很多用戶來營造類似於線下的氛圍感,但是這樣會壓榨其他內容的性能,所以隻能做一個權衡。
在制作過程中,PICO團隊原先設計了很多很漂亮的特效,但是到最後實際落地時,卻發現高估了對性能的預期,不得不砍掉很多效果,同時也換了制作方式。
『我們在制作過程中,發現PICO的機器性能要求是真的很高,以手機的發展來做類比,現在就像2018年左右的中端手機的性能,而這場演唱會光場景就8個、時裝有4套、每一首歌的特效有幾百種,所以對於美術團隊來說,硬件性能是限制比較大的地方』,艾文說道。
另外,這次演唱會不是實時的直播,而是以視頻的形式呈現。
但不做直播,不是技術門檻達不到,而是為了追求更好的效果。
『在演唱會過程中,李玟換了四套衣服,這四套服裝整體的設計和效果是完全不一樣的,同時,李玟的走位和舞蹈也非常多。
如果我們做直播,可能會出現一些不好的體驗,比如很多的穿模問題』,艾文表示。
因此,PICO如果要做演唱會直播,則意味著服裝設計、現場互動和舞蹈設計,都不能像現在這樣復雜,但這樣也犧牲掉了用戶的觀看體驗。
所以最終,PICO團隊選擇優先保障演唱會呈現效果。
不過,拋開演唱會這種對視覺效果要求較高的場景,PICO也會嘗試去做6DoF實時的直播。
據艾文透露,PICO即將上線一個小型的6DoF直播內容。
去年,從王晰、鄭鈞、汪峰到A-SOUL,PICO已推出多場VR演唱會,而今年的第一場演唱會,PICO就進行了較大的升級,一方面這是PICO對自身技術儲備的檢驗,另一方面,這也可以看作是PICO構建的核心競爭力。
對VR行業來說,目前整個社會的認知度仍然處於早期,而通過優質內容帶動更多用戶來體驗VR,也是當下VR產業教育市場的重要手段。