微軟AR/VR專利分享虛擬鍵盤智能附接的解決方案。

映維網Nweon2023年05月30日》對於XR設備,虛擬鍵盤是一種常見的輸入方式。

傳統的虛擬鍵盤是在固定的角度和距離在用戶附近呈現。

然而,有時候用戶希望虛擬鍵盤可以智能地移動,能夠根據意圖錨定到特定虛擬對象前面,從而提供一致的,可預測的體驗。

例如在全息桌面辦公中,用戶會希望虛擬鍵盤直接附接到虛擬屏幕前面,從而營造出一種類似於物理鍵盤和物理屏幕對應位置關系的配置,因為虛擬鍵盤和虛擬屏幕一起出現在同一窗口之中。

在名為『Intelligent keyboard attachment for mixed reality input』的專利申請中,微軟就介紹了一種智能鍵盤附接方法。

微軟AR/VR專利分享虛擬鍵盤智能附接的解決方案。

在圖3中,虛擬輸入設備305是虛擬鍵盤,並配置為啟用對與虛擬對象303相對應的應用程序的輸入。

當虛擬輸入設備305附接到虛擬對象303時,虛擬對象303禁用其他機制來接收輸入,例如註視點交互和/或射線交互。

在一個實施例中,虛擬輸入設備305可以隨著用戶頭部的移動在環境301內移動,使得虛擬輸入設備305不再包括在用戶視場中。

換言之,虛擬輸入設備305可以輕松地進入或輕松地離開視場。

將虛擬輸入設備305附接到虛擬對象303是指在虛擬對象303和虛擬輸入設備304之間創建分層定位轉換關系,使得虛擬輸入設備306從虛擬對象303繼承位置。

分層定位關系包括虛擬對象303和虛擬輸入設備305之間的距離、方向和角度中的一個或多個。

虛擬輸入設備305與虛擬對象303的偏移使得以最佳人體工程學角度提供虛擬輸入設備。

虛擬對象303和虛擬輸入設備305之間的偏移固定。

當然,在另一種實現方式中,虛擬對象303和虛擬輸入設備305之間的偏移可以保持動態。

圖4示出了包括兩個虛擬對象和一個虛擬輸入設備的MR環境。

環境401包括與第一應用程序相對應的虛擬對象303。

同時,用戶可以打開除第一應用程序之外的第二應用程序,並生成與第二應用程序相對應的第二虛擬對象403。

與虛擬對象303一樣,在三維環境401內的特定位置提供第二虛擬對象403。

響應於用戶利用具有第二虛擬對象403的虛擬輸入設備305的意圖的確定,第二虛擬對象403將虛擬輸入設備305重新定位到靠近第二虛擬對象403的位置。

例如,意圖的確定可以基於用戶選擇虛擬輸入設備305上的按鈕,例如查詢按鈕,以指示相對於虛擬對象403的用戶輸入是有意的或期望的。

響應於所述確定,虛擬輸入設備305從靠近虛擬對象303的原始位置分離,並且在靠近第二虛擬對象403的新位置處重新附接到第二虛擬對象403。

在用戶轉換回與虛擬對象303相對應的第一應用程序的實現中,虛擬輸入設備305重新定位到靠近虛擬對象303的原始位置。

換言之,於用戶在特定時間點期望與之交互的虛擬對象處提供虛擬輸入設備305。

微軟指出,這種配置為用戶提供了一致的、可預測的體驗,並且取決於正在使用的特定應用程序,而不是用戶在三維環境301、401中的位置。

用戶想要與之交互的特定應用程序通過各種機制來識別。

在一個實施例中,用戶打算與之交互的特定應用程序是基於用戶正在與之進行交互的當前虛擬對象或面板。

例如,在虛擬對象303是聯系人列表的情況下,輸入可以在聯系人列表中搜索聯系人。

在虛擬對象303是工作應用程序的情況下,輸入可以在工作應用程序中搜索關鍵字或文檔。

在虛擬對象303是事故報告應用程序的情況下,輸入可以是填寫事故報告的解釋。

所以,虛擬輸入設備305是一種智能輸入設備,其可以基於用戶的意圖從特定虛擬對象分離。

在一個實施例中,可以接收來自將虛擬輸入設備305與虛擬對象303分離的意圖的輸入。

所述輸入可以是經由虛擬輸入設備305接收的輸入、由凸顯200確定的註視模式、對虛擬對象303、403上的UNDOCK分離圖標的選擇、對虛擬輸入設備304上的特定按鈕的輸入等等。

虛擬輸入設備305與虛擬對象303的分離,即解除對接,使得虛擬輸入設備能夠在用戶保持靜止的同時在環境301、401中的不同虛擬對象之間切換。

一旦虛擬輸入設備305附接,就提供視覺提示或視覺輔助。

在一個實施例中,虛擬輸入設備305與虛擬對象303分離或解除對接,並從環境401移除。

在下一次調用時,虛擬輸入設備305在環境401中重新實例化為附著到虛擬對象303。

在其他實施例中,虛擬輸入設備305與虛擬對象303分離,但保留在環境401中,並且附接到新的和/或下一個虛擬對象403。

在另一ssl中,虛擬輸入設備305與虛擬對象303分離,但保持在環境401中並且保持在環境410內的特定位置。

在另一實施例中,虛擬輸入設備305與虛擬對象303分離,但保留在環境401中,具有靠近用戶的偏移。

例如,虛擬輸入設備305可以被保持在基於頭顯的位置和方向確定用戶所在的位置的稍微前方和左側或右側。

分離的虛擬輸入設備305可以調用給用戶或特定的虛擬對象303、403,例如通過語音命令或其他機制。

其中,虛擬輸入設備305位於遠離用戶的位置,並且使得用戶能夠快速地將虛擬輸入設備304帶到他們身邊,而不必移動以取回虛擬輸入設備306,並且虛擬輸入設備307被動到靠近用戶的方便的、隨時可用的人體工程學位置。

圖5示出了多目標環境。

環境501包括多個虛擬對象,例如虛擬對象303、403、503。

例如,環境501可以是虛擬桌面環境,並且包括不同的虛擬對象303、403、503,每個虛擬對象對應於虛擬桌面內的不同應用。

例如,虛擬對象303可以是消息收發應用程序,虛擬對象403可以是互聯網瀏覽器應用程序,並且虛擬對象503可以是聯系人應用程序。

每個虛擬對象303、403、503是虛擬輸入設備305的單獨目標。

在諸如用戶可能在向虛擬對象303、403、503提供輸入之間定期切換的情況下,用戶希望虛擬輸入設備305附接到特定位置,例如靠近用戶的位置,並作為近場浮動輸入設備。

因此,可以提供虛擬輸入設備305和目標虛擬對象之間的視覺鏈接505。

例如,圖5示出了虛擬輸入設備305和虛擬對象303之間的視覺鏈接505,其指示在特定時間,在虛擬輸入設備304上接收的輸入將生成對虛擬對象303的輸入。

在一個實施例中,視覺鏈接505是將虛擬輸入設備305連接到目標虛擬對象,並提高用戶輸入一致性理解的虛擬對象,例如線。

在其他實現中,視覺鏈接是目標虛擬對象上的視覺標記,例如貼紙、星星、點等等。

圖6示出了虛擬對象和虛擬輸入設備之間的偏移。

如圖6所示,虛擬輸入設備305提供為與虛擬對象303相距一定距離603。

當虛擬對象303和虛擬輸入設備305中的任何一個移動時,在虛擬對象303與虛擬輸入設備之間保持距離603。

換言之,如果虛擬對象303從其原始位置移動特定距離,則虛擬輸入設備305也從其原始地點移動特定距離,以保持虛擬對象303和虛擬輸入設備304之間的距離603。

類似地,如果虛擬輸入設備305從其原始位置移動特定距離,則虛擬對象303也從其原始地點移動特定距離以保持虛擬對象303和虛擬輸入設備304之間的距離603。

距離603至少部分地基於虛擬輸入設備305所代表的特定類型的輸入設備。

例如,虛擬鍵盤類似於物理鍵盤,具有相似的尺寸和形狀。

當虛擬對象303被移動時,虛擬輸入設備305可以與虛擬對象303一起移動或跟隨虛擬對象303移動,以便保持虛擬對象303和虛擬輸入設備303之間的距離603和角度605。

因此,可以在各種實施例中提供虛擬對象303和虛擬輸入設備305之間的偏移。

圖7A-7D示出了虛擬對象和虛擬輸入設備的變化視場。

如圖7A所示,虛擬對象303和虛擬輸入設備305完全在第一視場705內。

換句話說,虛擬對象303和虛擬輸入設備305中的每一個都處於用戶的全視圖中。

在圖7B中,虛擬對象303和虛擬輸入設備305中的每一個都完全在第二視場710之外。

視場從第一視場705改變到第二視場710。

例如,用戶移動他或她的頭部導致頭顯移動,這將視場從第一視場705改變、更新、改變等到第二視場710。

在其他實現中,視場本身可能沒有改變,但虛擬對象303和虛擬輸入設備305可能已經移動到視場之外,例如通過用戶無意中將虛擬對象303以及虛擬輸入設備305拖到第一視場705之外。

因此,第二視場710提出了挑戰,因為用戶不能查看虛擬對象303和虛擬輸入設備305,這使得經由虛擬輸入設備304向虛擬對象303提供輸入具有挑戰性。

因此,可以利用專利描述的方法校正從視場移除虛擬對象303和虛擬輸入設備305。

圖7C示出了第三視場715,其中虛擬對象303和虛擬輸入設備305逐漸重新引入視場。

不是虛擬地瞬間將虛擬對象303和虛擬輸入設備305捕捉回它們在視場內的原始位置,虛擬對象303和虛擬輸入設備305是逐漸地重新引入視場,以便為用戶保持更舒適的體驗。

圖7D示出了在虛擬對象303和虛擬輸入設備305已經放回到視場中之後的第四視場720。

第四視場720基本上類似於第一視場705,因為虛擬對象303和虛擬輸入設備305已經返回到第一視場705中的原始位置。

相關專利:Microsoft Patent | Intelligent keyboard attachment for mixed reality input

名為『Intelligent keyboard attachment for mixed reality input』的微軟專利申請在日前由美國專利商標局公佈。

分類 AR