本文原載：微信公眾『臨菲信息技術港』

內容是維持元宇宙的基本組成部分。

我們可以通過組織好的故事和用戶創建的事件來提供沉浸式體驗。

內容中的故事的真實性、沉浸式體驗和概念的完整性都很重要。

有兩種創造內容的方法，一種是范式轉換法，一種是重新利用現有內容的方法。

而用戶的動作、人物和化身的角色也會影響行為建模。

有研究人員使用CNN和GANs處理虛擬三維場景中的全景圖像和視頻來生成和探索VR內容。

雖然生成的句子和圖像變得比以前更自然，但含義相似的句子模式卻會重復出現，評價也很膚淺。

另外，句子越長，整體內容構成的集中性和一致性就越差。

此時，有一種可以以保持場景的凝聚力並豐富故事的細節的結構化方法《如：圖網絡》被提了出來。

多模態內容呈現

在元宇宙中，用戶會通過化身創建大量的多媒體內容《如圖片和視頻》以及文本。

以這種方式產生的多媒體數據比簡單的對話更能表達用戶的想法和經歷。

為了有效地處理多模態內容，有一種對齊的方法可以將不同模態類型的數據進行轉換，還有一種方式是通過將不同模式類型的數據整合到一個表示方式來進行表達。

這樣，多模態內容通過增加其他模態的數據信息來補充單模態的信息不足，從而達到豐富內容的目的。

同時，通過得到這些跨模態的特征，模式內和模式間的語義關系也得到了利用。

代理角色建模

元宇宙的角色在給用戶帶來沉浸感方面發揮著重要作用，它賦予每個角色在元宇宙中的個性。

特別是實現具有多角色的人物是很有必要的。

對於元宇宙中的多個代理實際是需要有不同的角色，就像每個人都有自己的個性一樣，多個代理可以在同一時間以不同的方式進行互動。

其實，對於一個每次都有類似對話的角色，很難給用戶一種沉浸感。

元宇宙需要一個能夠表達各種多模態《如手勢和面部表情》以及對話《如Persona chat》的角色模型。

元宇宙用戶會創造大量的用戶數據，這樣學習所需的數據就相對較大，為了以避免冷啟動問題和各種NPC《非玩家角色》角色的稀缺性，實體增強和角色生成仍然是一個重要的問題。

特別是在收集到足夠的數據之前，不均衡的用戶生成數據《如對話歷史和個人經驗》都會偏向於某個特定的主題。

這裡所說的實體是一個唯一可識別的單位《例如，一個著名的地名和人名》，並與其他實體相關。

基於實體的擴展是一種通過增加實體的數量來豐富用戶角色的方法。

增加實體數量的方法有很多，包括生成模型、強化學習、聯合推理、本體，以及使用聯運的多實體擴展方法。

而在創建元宇宙 NPC時，需要采用新的方法來表達反映世界觀特征的角色和情感。

此時，考慮到每種模式的稀缺性，需要一個數據群來創建一個均衡的角色用於各種場景的。

在構建對話模型時，代理根據正確答案的訓練數據而不是對話人的人格來做出反應。

這種單調性想維持長時間的對話很困難，所以一些研究者提議通過引入角色概念來維持一個一致的可接受的對話模式。

後來誕生了一個共情對話系統，可使對話系統維持更長時間和更人性化的對話。

但對話數據依舊不足以創建大型的角色表征。

不過，後來Personal Dialog出現了，它是一個基於CGANs的大型多輪對話數據集，包含不同說話人的不同特征《如年齡、性別、地點、興趣標簽》，還提出了以角色為重點的文本故事創作。

由於本節關於場景與故事情節介紹篇幅過長，先已分割成兩部分闡述。

請關注下一期《元宇宙《4-2》：內容《場景與故事情節》》