本文原載：微信公眾『臨菲信息技術港』

《接4-1後續》

多模態實體鏈接和擴展

在通過轉換各種數據的模式來定義人物和實體時，通過實體之間的內容聯系去重新定義和擴展是很有必要的。

在表達元宇宙中不同事件和人物的成長過程時，因果關系對於理解事件並將其與故事聯系起來非常重要。

所謂實體連接主要是根據實體之間的相似性和相關內容的概率分佈來鏈接相關實體的過程。

通過結構學習連接實體的方法包括鏈接預測、非線性關系、聯合推理和關系分類法。

其中，圖模型就是通過實體之間的關系來顯示它們之間的關系，而這些實體就是有些有實際信息的單位。

關於圖模型和圖卷積網絡的研究現在越來越多。

研究人員通過對場景圖中物體實例之間的相互依賴關系進行明確建模，這樣連接關系就會得到改善。

還通過對全局背景和幾何佈局來進行編碼提高關系推理的性能。

一些研究使用的推理方法包括變異推理、各種模式、本體、情感和知識。

場景生成

與其在元宇宙中羅列事件，不如根據事件和主題之間的因果關系找到隱藏的關系，並在此基礎上構建一個場景線。

與基於文本的場景線不同，元宇宙更加復雜，因為它必須在多模態體現的環境中進行配置。

每個實體和關系都用來組織事件，而事件必須有機地結合起來，形成場景線。

場景線構建了整體結構，並作為連接每個事件的索引。

它不僅僅是一個事件的列表，更是每個事件中的實體和關系的長期依賴。

為了組成場景線，就有必要使用圖模型來將由實體組成的事件和它們的關系連接起來。

根據事件在情景進展中的重要性，將其分為主要事件和子事件。

場景構建方法包括連續序列、分層結構和基於注意力《通過關注值得注意的內容》的方法。

另外，當場景圖中的用戶行為數據可以在化身的一生中被積累，而且這些數據被擴展為生命記錄的概念。

用主題建模提取關鍵的場景主題，用生成語言模型總結個性化的多模態用戶數據。

舉個例子， Yu and Riedl等人引入了一個戲劇經理，他使用情節和事件最佳順序來個性化用戶故事；Bolanos等人通過時間切分、總結和檢索重要信息來描述故事的視覺生活記錄；Li等人提出了StoryGAN，這是一個故事-圖像序列生成模型，通過為每個句子生成一個圖像序列，將故事依次可視化。

場景中的人

場景的擴展主要通過添加實體和添加關系連接來實現。

豐富的故事情節正是來自場景線的擴展。

事件實體之間的聯系是由他們之前的關系形成的並在一個場景中被鏈接起來。

實體擴展方法包括翻譯嵌入、關注。

在處理場景圖中的人口問題時，模式轉換《如文本到視頻和視頻到文本的轉換》常被用於多模態整合。

然後再以分層的方式將句子節點與圖像配對後，通過事件匯總調整事件的長度。

每個事件都被總結為具有多模態語言模型的代表性圖像。

這樣生成的多模式場景圖更方便可用於擴展或折疊事件中。

場景評估

在一個基於事件的擴展場景中，隨著場景的延長，事件之間會出現不一致的情況，因此，定期驗證場景在概念上是否有沖突是非常必要的。

這要通過實例化場景圖，分層放大和收縮來驗證每個事件是否是有機聯系的，是否存在矛盾之處。

場景驗證分為基於語法的合成方法和使用人為定義的度量直接驗證可視化圖的方法。

其中，人為定義的驗證標準分為結構性方法和基於搜索的方法。

結構性方法評估情景平衡的整體構成，而基於搜索的方法通過用戶查詢查找具體事實，以確保情景的形成沒有矛盾。

本部分元宇宙的內容介紹已完結，請關注下一期《元宇宙《5》：交互方式》。