Meta探索基於HoloLens 2 + ChatGPT-3的AI生成式AR情景信息助理。

映維網Nweon2023年04月20日》對於追求減肥或學習一門新語言等高水平目標《復雜的長期目標》,人們可能不知道從何入手。

另外,每個追求高水平目標的人士可能會根據自己的背景而采取不同的方式。

在另一方面,Meta正在積極探索AR眼鏡,並設想了這樣一個未來:支持全天候穿戴的AR設備將如同今天的智能手機一樣無處不在。

這樣的AR設備可以捕獲關於用戶及其情景的信息,並使用所述信息向用戶推薦相關行動及其目標選擇。

所以在名為《Using Generative AI to Produce Situated Action Recommendations in Augmented Reality for High-level Goals》的研究中,Meta利用微軟HoloLens2,並探索了一種使用諸如大型語言模型LLM這樣的生成式人工智能模型來推薦相關行動,並將建議置於正確的情景之中。

需要注意的是,這隻是初始研究,而團隊表示會在未來的論文中發表進一步的研究過程和發現。

Meta探索基於HoloLens 2 + ChatGPT-3的AI生成式AR情景信息助理。

如上圖所示,團隊針對本次研究設計了一個技術原型,以探索使用生成式AI在AR中為高水平目標提供行動建議。

例如,當瑜伽墊出現在用戶視場時,生成式AI可以提供關於如何進行瑜伽練習和指導的建議,從而幫助用戶更好地完成目標。

所述原型在Unity中實現,並由微軟HoloLens 2運行。

目前,它通過使用Vuforia引擎檢測基準標記來追蹤模擬公寓空間中的對象。

原型提出的建議顯示在相關對象附近的場景中。

每個建議都有一個行動名稱《例如『使用瑜伽墊做瑜伽』》和一個行動支持的用戶目標列表《例如『改善健身』、『改善心理健康』》。

在當前原型中,建議是使用GPT-3預先生成,並手動添加到原型使用的JSON配置數據庫中。

研究人員在一個模擬工作室公寓裡進行了一項用戶研究,並希望解決以下研究問題:

《1》人們如何體驗人工智能生成的情景相關行動建議?這種體驗與個人目前為追求目標而尋求和接受建議和動力的方法相比如何?《2》 與其他來源《例如密切的社會關系、領域專家》的建議相比,用戶如何看待人工智能生成的建議?《3》 如何在AR中更好地提供人工智能生成的情境行動建議。

本次研究共有39名參與者,包括25名女性和14名男性,年齡在19至73歲之間。

所有參與者都認為研究中的建議來自生成人工智能。

但對於研究問題《2》,團隊希望了解如果參與者認為建議來自朋友/家人或專家,他們會如何體驗這些建議。

所以,我們實現了一個受試者之間的設計:對於14名參與者,人工智能生成的推薦標記為由參與者的朋友/家人撰寫《例如用他們朋友或家人的名字之一標記》;對於其他13名參與者,建議標記為專家撰寫的《例如持照心理健康顧問佈朗醫生》。

盡管所有參與者都知道建議是人工智能生成的,但研究人員要求他們想象建議是由家人或者專家提供。

對於剩下的12名參與者,推薦沒有標註作者姓名,參與者純粹認為推薦是由人工智能生成。

三組參與者的組成十分平衡,在信任智能推薦的程度、之前使用AR的經驗、以及他們的年齡和性別等方面都是如此。

在研究開始時,參與者填寫了一份簡短的調查,並從七個目標中選擇三個目標,包括改善健身、改善心理健康、與朋友聯系、學習一門新語言和學習一項新技能等等。

所述目標要麼是他們積極追求的,要麼是他們真正關心的。

然後,參與者就他們選擇的目標進行了簡短的采訪。

在此之後,每個參與者完成實驗,使用原型在公寓裡走動,查看建議,並選擇接受三個建議。

對於每一項試驗,原型都顯示了他們三個選定目標中兩個目標的不同組合的建議。

活動結束後,參與者接受了最後一次調查,以討論使用原型的經歷。

最後的調查有三個洞察:

洞察1:用戶重視被動的情境行動建議《隻需付出很少的努力》,因為用戶渴望高度的便利和節省時間。

參與者認為所述建議是被動的,他們不需要像通常向專家或朋友尋求建議時主動發問。

另外,參與者提到這可以為他們節省時間。

洞察2:盡管用戶對人工智能生成的建議持懷疑態度,但他們重視人工智能的潛力。

大多數參與者提到,在心理健康和健身等關鍵領域,他們更信任專家和他們密切的社會關系。

另外,參與者覺得來自朋友和家人的建議對他們來說比人工智能生成建議更個性化。

然而,參與者重視人工智能的潛力,從而幫助他們發現更具創造性的行動。

有參與者提到,他們會考慮根據密切的社會關系或專家的意見來過濾人工智能生成的建議。

洞察3:用戶認為對非熟悉目標的行動建議有用,但更有可能采用熟悉的行動。

參與者傾向於接受他們熟悉的行動,或者他們預期的不需要付出很大努力或摩擦的行動。

原因包括熟悉的行動隻需花費較少的精力和時間,並且用戶已經知道所述行動對他們有效。

相關論文:Using Generative AI to Produce Situated Action Recommendations in Augmented Reality for High-level Goals

初步研究表明,參與者重視這種類型的建議,但團隊指出,未來需要探索如何改善人工智能生成的情境行動建議體驗。

例如,以通過更多關於預期努力、時間承諾和如何執行行動的細節來提供建議。

研究人員計劃進一步探索哪些其他信息和交付方式可以幫助用戶從人工智能生成建議中受益更多,以及計劃探索用戶如何與底層模型本身進行交互,以便對其進行定制,從而產生更好的輸出。

分類 AR