萬萬沒想到,今年春天VR廠商們為“一雙手”卷起來了。
僅2022年上半年,就有四家VR巨頭對自家VR設備的手勢交互技術操刀改良。
4月20日,Meta旗下的VR頭顯Oculus Quest 2手勢交互版本迭代至2.0,解決了手部定位丟失的問題。4月13日,字節跳動旗下的VR品牌Pico宣布其兩款企業級VR頭顯可以通過定制的手部追蹤配件,提升手勢交互體驗。VR廠商HTC也在今年1月發布了一款新款腕式追蹤器,輔助預測用戶的手部位置。
Oculus Quest 2手勢交互1.0版本和2.0版本在手部快速追蹤方面的對比
無論是裸手交互技術,還是手部追蹤配件,用于VR設備的手勢交互技術一直在不斷迭代。同時,不少VR企業還在嘗試尋找新的手勢交互方式,比如說VR手套。
5月6日,荷蘭VR手套制造商Manus宣布其新款采用磁力追蹤技術的VR手套Quantum Metagloves開啟預售。5月4日,國內動捕技術巨頭諾亦騰發布Hi5 2.0 VR交互手套。而早在2021年11月,Meta就曾展現自家的VR觸感手套模型,分享自己在VR手勢交互方面的最新成果。
從左到右分別為Manus、諾亦騰、Meta的VR手套
不僅如此,蘋果、谷歌、微軟等一些潛在VR玩家還獲批多項與智能戒指有關的專利,試圖將智能戒指打造為下一代手勢交互的關鍵輸入設備。
蘋果加快AR/VR頭顯研發工作,為配套軟件重新命名:12月2日消息,蘋果(AAPL.O)正在加緊開發AR/VR頭顯,并為配套軟件重新命名,這是該產品即將首次亮相的最新跡象。知情人士透露,蘋果計劃最早在明年推出這款設備,同時推出專用操作系統和第三方軟件應用商店。據悉蘋果公司內部最近將操作系統名稱從“realityOS”改為“xrOS”。新的軟件名稱是對這款頭顯的混合現實功能的認可,“XR”代表擴展現實,包括增強現實和虛擬現實。AR/VR頭顯將是蘋果自Apple Watch以來首個主要新產品類別,其進軍這個市場是為了與專注元宇宙領域的Meta Platforms(META.O)競爭。[2022/12/2 21:17:09]
手勢交互技術是最基礎也是最自然的交互方式,也是VR設備中主流的交互方式之一。一般來說,手勢交互是指通過數學算法來識別人類手勢的技術,包括圖像獲取、手勢追蹤、手勢識別與分析等多個過程。
其中,手部追蹤和手勢識別是手勢交互中較為關鍵的兩個步驟。手部追蹤是指準確地在VR頭顯中定位用戶雙手的位置,而如何精準地識別每個手指的動作,識別手的各種形態等屬于手勢識別。
手勢交互技術也暗藏巨大的市場空間。國際市場分析公司Markets and Markets發表報告稱,2024年“手勢識別和無觸碰感知”市場將達到340億美元。
VR設備的手勢交互技術有了哪些新玩法?廠商為何都在近期升級自家VR設備的手勢交互技術?VR設備的手勢交互技術發展究竟如何?
我們與諾亦騰CTO戴若犁、夢想綻放(愛奇藝智能)技術負責人史明以及HTC的技術負責人等多位行業人士深度交流后,試圖找到答案。
相較于其他移動設備,用于VR設備的手勢交互技術進步較為緩慢。比如說,從3dof到6dof經歷了近五年的發展時間,手柄交互到裸手交互仍處在初期階段。隨著技術不斷進步,裸手交互也開始在不少消費級VR頭顯上普及。
佳創視訊發布四款戰略級VR產品:11月12日,佳創視訊應邀參展2022世界VR產業大會,并于首日召開VR產品暨元宇宙生態戰略發布會。發布會上,佳創視訊發布了LOOPS CAM(幻鏡)、MotionMax(動現)、WeDeck(VR直播開放平臺)、OOPSLINE(幻境線)四款戰略級產品,為元宇宙內容生態建設提供產品服務體系,以期用科技賦能VR內容生產者,大幅簡化VR內容生產者工作內容,降低內容生產門檻,并通過VR技術繁榮元宇宙泛娛樂生態內容,開啟輕量化元宇宙泛娛樂內容建設新時代。(金十)[2022/11/14 12:59:59]
Meta曾在2019年發布手勢交互1.0版本,并將裸手交互引入Oculus Quest VR頭顯,讓用戶可以直接在虛擬世界中看到自己的雙手,并進行一些簡單的交互操作。時隔2年后,Oculus Quest 2擁有了手勢交互2.0版本。
此次升級主要解決了兩大難題。一是解決了用戶雙手重疊時,手部追蹤困難的問題。在Quest 2的手勢交互1.0版本中,當用戶的雙手相互阻擋或重疊時,系統很難識別用戶的手勢動作。二是在用戶快速揮動雙手時,系統也很容易丟失對于手部的追蹤。這兩種情況的發生都有可能會造成雙手從虛擬世界中突然消失。
Quest 2手勢交互1.0版本和2.0版本對比
至于是如何解決這兩項問題,Meta在其公告中說明,基于“重新設計的計算機視覺和機器學習方法”,新版本提高了手部跟蹤的性能可靠性。但自從版本更新后,我們看到不少用戶反饋到,盡管手勢交互功能有了更好的體驗,但是系統也出現了明顯的卡頓。
Paradigm 提出新代幣發行機制VRGDAs:NFT 銷售價格隨需求變化而波動:8月25日消息,Paradigm 發布新文章《Variable Rate GDAs》,稱提出了一種新穎的代幣(NFT)發行機制,可變利率GDAs(VRGDAs),為Art Gobblers設計的,并在0xMonaco中使用,,當銷售需求旺盛時提高價格,當銷售需求不足時降低價格,VRGDAs提供了一種使用幾乎任何你想要的時間來發行NFT的方法,同時仍然允許用戶在任何時候無縫購買。[2022/8/25 12:46:57]
對此現象,戴若犁解釋到VR頭顯處理計算的能力本身就比較有限,而Meta基于計算機視覺獲取數據,并將一部分算力資源用來預測用戶手部位置,這種方案無疑將會為VR頭顯帶來較大的計算處理壓力,也是“系統卡頓”現象的主要原因。
HTC也在今年3月推出了新款的腕式追蹤器VIVE Wrist Tracker,并且在去年年底升級自家的手部追蹤版本。據HTC官網信息介紹,當用戶將腕式追蹤器戴在手腕上時,即使在一段時間內雙手離開相機視野,系統也可以通過腕式追蹤器的高頻IMU數據和運動學模型預測手部的運動軌跡。
HTC的相關負責人還向智東西分享到,相比VIVE Focus 3控制器,VIVE Wrist Tracker移除了按鈕、觸覺輸入等零部件從而縮小電池尺寸,將控制器變得更小更輕。據介紹,HTC的手腕追蹤器比VIVE Focus 3控制器小85%,重量輕50%。
VIVE Wrist Tracker腕式追蹤器
我們可以看到,Meta的裸手交互方案仍是計算機視覺為主,HTC的裸手交互方案則需要依靠腕式追蹤器等外設。前者能幫助用戶快速、有效地體驗裸手交互的樂趣,而后者通過慣性傳感器提高一定程度手勢交互的準確性和可靠性。面對不同的應用場景,不同廠商VR設備的裸手交互方案各有側重。
Gate已于7月7日上線Startup項目FEVR:據官方公告,Gate已于7月7日22:00至7月8日22:00上線Startup項目RealFevr(FEVR)認購通道,24小時內有效下單同等對待。用戶需要達到VIP1和以上級別才能參與,用戶下單后到結束認購后2小時內,請務必保證現貨交易賬戶中有不低于認購金額的足夠金額,金額不足將自動排除在有效訂單之外。認購結果將于2021年7月8日 23:00(UTC+8)公布。[2021/7/8 0:35:38]
但裸手交互一定會給人們帶來更好地體驗嗎?戴若犁在采訪時說:“在技術成熟度尚未達到的時間點,將裸手交互這類人機交互新方式嵌入操作系統中,會給人們過高的期待。”
“從操作成功率和觸感反饋來說,手柄在樂趣以及操作準確性上要遠勝裸手交互。”他解釋到,在人機交互領域,80%的操作準確性和100%的操作準確性給用戶帶來的交互體驗是完全不一樣的。
微軟亞洲研究院網絡圖形組首席研究員童欣曾在2017年接受媒體采訪時證實這一點。“當我手握手柄的時候,手柄不僅是一個輸入設備,同時也是輸出設備,它可以通過震動、力反饋給我一個輸出的反饋。而當我空手在空氣中揮舞的時候,我就失去了自己的輸出渠道。”
有限的計算消耗、較高的學習成本、較低的操作準確性等都是阻礙VR設備裸手交互技術發展的主要原因。但在交互體驗上,裸手交互也將會給VR內容生產者提供更多的發揮空間。不少VR設備中,裸手交互作為一種輔助的手勢交互方式。
為了在裸手交互帶來的沉浸感和VR手柄提供的高準確性之間尋找到平衡點,VR廠商們又想出了另一種手勢交互方式——VR手套。
目前,VR手套存在比較多的形態,但是真正可以大規模量產和銷售的VR手套主要分為基于慣性傳感器和基于彎曲傳感器兩種類型。
Gate.io于今日12:00開啟投票上幣第94期—VRA:據官方公告,Gate.io將于3月9日(今日)12:00開啟第94期投票上幣項目Verasity (VRA),投票結束時間為2021年3月10日中午10點。在本輪投票中,VRA如獲得1000萬票,Gate.io將上線VRA對USDT交易,參與投票的用戶均可分享總計約10,652,491 VRA($40,000美金)。VRA空投活動同步開啟,充值前600名、新用戶注冊加交易還有機會領取4,000美元代幣空投獎勵。[2021/3/9 18:28:05]
不同于基于計算機視覺手勢交互的數據處理方式,以慣性傳感器為主的VR手套將通過傳感器收集大量的手部定位和手指交互的數據。而以彎曲傳感器為主的VR手套則測量精度較低,由于對于貼合程度的要求較高,其可穿戴設備的舒適度也較低。
我們有機會搶先體驗到Hi5 2.0 VR交互手套。一副Hi5 2.0 VR交互手套共有12個慣性傳感器,每只手佩戴六個無線傳感器,分布五個手指和手背上。同時該套裝還將配有一個數據收發器,可以插在電腦或者VR頭顯上傳輸數據。
Hi5 2.0 VR交互手套
打開傳感器、安裝傳感器、固定好手部追蹤器,選擇校準界面,Hi5 2.0 VR手套的校準方式比我們想象的要復雜一些。
在體驗過程中,我們發現Hi5 2.0 VR交互手套能提供較為精準的手勢識別過程,比如說手部的位置和手勢的變化基本都能實時顯示變化。據官網介紹,該設備的姿態計算幀率從180fps提升至500fps,研發人員還通過算法提高了一定的抗磁干擾程度。
諾亦騰研發人員正在校準Hi5 2.0 VR交互手套
除此之外,研究人員也在嘗試不同的VR手套設計方案。
2021年11月,Meta公布了其研發7年的VR觸感手套原型,這款VR手套用微型氣閥取代了電機,通過復雜的控制系統調整手指上的充氣儀器,形成擬真壓力,從而模擬各種觸感。
Meta觸感手套
荷蘭VR手套開發商Manus的Quantum Metagloods VR手套則是基于磁力追蹤技術打造而成。
與諾亦騰選擇用算法去減輕天然環境造成的磁干擾,保證追蹤穩定性的方案不同,通過磁力追蹤的手勢交互方案需要兩個設備協作完成,一個設備內設xyz三個方向的線圈,同時VR手套中也將內含一個線圈,兩個線圈將以高頻振動的方式產生磁力線,兩條磁力線互相切割,從而獲得手的位置變化。
盡管VR手套能提供較為準確的手勢動作捕捉,但VR手套的價格成本決定了其只能面向小部分極客玩家和商用市場。
據悉,Meta手套的原型成本約為5000美元(約33400元),而Manus的Quantum Metagloods的預售價為9000美元(約6萬元),諾亦騰的Hi5 2.0 VR交互手套,售價為9800元人民幣。
Meta曾將研發VR觸感手套的項目描述為“登月計劃”。“當我們開始研發VR觸感手套時,我們希望打造一款可以大規模量產,消費者買得起的消費設備,讓人們在任何地方都能體驗到虛擬世界。”Meta的項目負責人說:“但這幾乎不可能。”
在調查的過程中,我們還發現B站上有不少UP主自制VR手套,這些價格的成本從100元到350元不等,部分VR手套甚至擁有力反饋功能。我們看到這些自制的VR手套可以用于一些簡單的VR游戲中,可以做出拿、捏、翻轉等一些簡單手勢動作,但其顯示延遲情況也較為明顯,時常會出現一些鬼畜場景。
B站UP主們嘗試自制VR手套
面對VR手套的巨大價格差距,一位從事VR手套的行業人士分析認為面向B端市場的VR手套成本主要在研發投入、零部件以及人力資源成本上,價格根據市場需求而定。這意味著可能做一幅普通VR手套的價格并不高,但做一副可以面向商用場景、提供準確精度的VR手套需要較高的成本。
盡管VR手套能兼顧VR設備的沉浸感和手勢交互的準確性,如何降低VR手套的價格將是VR手套發展必須要解決的難題。
要從算法、工程、交互設計攻克難題
從裸手交互和VR手套交互兩種方式來看,VR設備的手勢交互技術發展正在不斷更新迭代,此前面臨的一些困境也逐步尋找到了解決方法。但整體而言,用于VR設備的手勢交互技術還存在不少難點。
到底是什么阻礙了我們扔掉VR手柄,無法采用新的手勢交互方式?國內VR頭顯奇遇系列的研發人員、夢想綻放(愛奇藝智能)的技術負責人史明在接受智東西采訪時給出了三個要點。
首先是算法層面。目前用于VR設備的手勢交互技術基本采用深度學習技術,因此研發過程中需要依賴大量的業務場景標注數據。而基于手勢的三維數據獲取成本高,并且難以保證數據質量和一致性。
手勢交互的關鍵點識別
其次,手勢交互技術在工程優化方面比較復雜。手勢交互技術需要以一個優異模型為前提,需要做小模型推理演繹。而推理過程中,研究人員既要保證算法的精確度,又要保證數據的實時高效性。
最后是在交互使用方面的設計。VR研發人員需要在設計手勢交互相關操作時規避視覺死角問題,同時還要為用戶提供較好的交互體驗。
關于手勢交互的設計這一點,曾擔任Facebook Reality Labs設計師劉曉雨也曾在采訪中提到手勢交互技術很容易在使用期間出現遮擋情況,設計手勢交互動作時還需要考慮用戶的學習成本。
除此之外,微軟亞洲研究院網絡圖形組首席研究員童欣還曾提到對于手勢識別而言,機器很難分清輸入狀態和非輸入狀態。與鍵盤的按鍵交互方式不同,機器很難去分辨你搖手的動作,是做出一個揮手的手勢,還是玩累了想要甩手休息。
總體而言,用于VR設備的手勢交互技術整體上主要面臨兩個方面的難題。一方面是哪一種手勢交互方式能兼顧沉浸感、準確性并且成本低,能用于所有的VR設備。另一方面是,如何根據VR設備的基礎配置打造出最適合這款設備的手勢交互功能。
可以預見的是,在裸手交互技術能獲得較高的精度、VR手套成本下降之前,手柄將仍是VR設備手勢交互的主流方案之一。
目前,用于VR設備的手勢交互總共分為三個方向:現有的手柄交互方式、正在逐步成為主流的裸手交互方式、和仍在小眾階段的外接可穿戴設備的交互方式。但值得注意的是,這三種交互方式并非替代關系,是可以實現共存。
在手機、電腦快速發展的時期,無論是鍵入,還是觸屏的交互模式,都曾給人們帶來新的交互體驗,手勢交互同樣會給VR設備體驗和VR內容生產帶來新的變化。
手勢交互的技術發展總會有無窮無盡的方向,但被時代所留下的手勢交互技術終究是少數,用于VR設備的手勢交互技術將會如何演進,或許時間能告訴我們答案。
和科技狂人的形象相比,推特上的馬斯克顯得尤為出格,尤其是多次涉及到特斯拉股票、狗狗幣的發言,被認為存在操縱資本市場的嫌疑.
1900/1/1 0:00:00四月初,一家名為“Bored & Hungry”的主題餐廳開張了。這家餐廳的靈感來自于無聊猿 NFT,聯合創始人 Andy Nguyen 在今年 3 月曾花費 267000 美元購買了.
1900/1/1 0:00:00非同質化代幣 (NFT) 持續在主流媒體中破圈,其中最著名的當屬 Punk、BAYC 這種元老級別的藍籌項目.
1900/1/1 0:00:00前景毋庸置疑,爆發為時尚早。4月27日,中國科技產業智庫「甲子光年」在線上舉辦2022「甲子引力X」數字經濟高峰論壇.
1900/1/1 0:00:00CyberConnect構建了一個去中心化的社交圖譜協議,為Web3社交網絡和元宇宙提供服務。CyberConnect是將社交圖譜數據的所有權和實用性歸還給用戶,同時為所有Web3開發人員提供集.
1900/1/1 0:00:00誰能想到,馬斯克收購 Twitter 的節奏,比拿破侖攻破巴黎還要快。 如果回到那個傳訊還靠賣報小弟吆喝的年代,估計街頭小報要被這出一天一個樣的快節奏「商業爽劇」逼瘋.
1900/1/1 0:00:00