開發人員通過 ChatGPT 生成 AR 應用 ChatARKit。

自 12 月初以來,人們就一直在探索 OpenAI 的 ChatGPT 神經網絡的深度。

近日,一位開發人員讓這款對話 AI 吐出了有效的 AR 代碼。

OpenAI 的 ChatGPT 對話 AI 針對生成文本和回答問題進行了優化。

但從 12 月初開始的初步測試很快表明,該系統不僅僅是幾個措辭整齊的句子,還能回答編程代碼。

開發人員通過 ChatGPT 生成 AR 應用 ChatARKit。

由 ChatGPT 生成的 AR 應用 ChatARKit

開發人員 Bart Trzynadlowski 想知道他是否可以使用 ChatGPT 開發一個 AR 應用程序,該應用程序僅使用語音命令即可自動將數字 3D 對象放置在環境中。

他還使用 AI 模型《OpenAI 的Whipser》識別語音命令,然後將它們作為 AI 提示帶入 ChatARKit 應用程序的 JavaScript 環境。

因此,ChatGPT 從 Sketchfab 中選擇與語音命令匹配的 3D 對象,並根據提示將它們放置在桌面或地板上。

如果提示它,ChatGPT 甚至會縮放和旋轉 3D 模型,AI 系統自行為此生成代碼。

根據 Trzynadlowski 的說法,這些是一些工作示例提示:

在最近的平面上放置一個立方體。

將一個旋轉的立方體放在地板上。

把一輛跑車放在桌子上並旋轉90度。

把一輛校車放在最近的平面上,讓它沿著平面來回行駛。

Trzynadlowski表示,ChatGPT 不能可靠地工作。

對於相同的命令,AI 模型會生成非常不同的輸出,並在應用程序中放置不正確的 JavaScript 代碼行。

有時,ChatGPT 會將對象描述轉換為代碼標識符,這意味著無法再從 Sketchfab 檢索 3D 模型。

Trzynadlowski 將他的 ChatGPT AR 應用程序作為 Github 上的開源免費提供。

使用自然語言在 VR 中生成 3D 對象

對於 VR,開發人員 Jasmine Roberts 最近展示了 OpenAI 新的 3D AI Point-E 的實現,與圖像 AI DALL-E 2 一樣,它可以僅基於文本輸入生成內容。

然而,Point-E 生成的不是圖像,而是代表 3D 模型的 3D 點雲。

每次生成,Point-E 在單個 Nvidia V100 GPU 上隻需要大約一到兩分鐘。

Roberts的演示是實時運行的。

Point-E 是 OpenAI 在文本到 3D 合成方面的進一步工作的起點。

谷歌與 Dreamfusion 或英偉達與 Magic3D 最近也推出了文本轉 3D 系統,這可能在未來 3D 內容的進一步傳播中發揮重要作用 ,這也是元宇宙理論的基本假設。

分類 AR