12月7日消息，索尼在STEF 2022技術交流會上展示了最新手勢識別SDK：ToF AR。
據悉，該SDK基於ToF深度傳感器，目的是幫助VTuber更流暢的控制虛擬化身的手部運動。
除了VTuber外，這項技術也可以用於遊戲、AR等場景。
據青亭網了解，ToF又稱飛行時間，它的原理是通過發射光、測量光反射/反彈所需的時間來獲取深度信息。
而ToF AR的原理是利用深度信息來捕捉手部特征，接著預測手的3D運動《位置、方向變化》，並與虛擬化身同步。
為了提升手勢識別的準確性，該方案還結合了簡單的AI處理流程。
值得注意的是，ToF AR的優勢是不受環境光、背景顏色等因素影響，不管是在明亮還是昏暗的場景，都可以捕捉手勢運動。
此外，它所需的數據量也比傳統圖像傳感器更少，因此更省電、散熱更少，適用於更廣泛的手機規格。
ToF AR SDK理論上可以在任何配備深度傳感器的手機上運行，並捕捉用戶手部的位置、輪廓，將手部模型與背景分割，並在虛擬場景中重現手部的流暢運動。
未來，索尼計劃繼續擴展ToF AR的功能，比如3D空間識別等等。
未來的潛在應用場景包括遊戲、AR、通信社交、醫療、教育等等。