Lattice Blog

Share:

位置跟踪技术——VR体验打破次元墙

Bringing VR Experiences to Life with Positional Tracking Technology
Posted 03/20/2018 by Ying Chen

Posted in

"隆与敌人相对而立,静待对方主动出击。。。
眨眼间,敌人一声暴喝,全速向他冲来。隆猛然一退,躲闪开去。他堪堪躲过砸向他身体的这一击,惊险之余只看得到一抹拳影。余光中他看见敌人的另一只手作势就要袭来,便猝然弓身,抓住这个绝佳的机会送出一记上勾拳..."

虚拟现实(VR)绝不止于引人入胜的炫目3D画面,流畅地反馈用户的手势、姿势、动作和站位,对于实现身临其境的浸入式体验至关重要。如果无法快速准确地跟踪用户的动作,要实现上述打斗戏根本是天方夜谭。更糟的是,跟踪问题会导致内容不连贯,动作延迟。因此,动作和位置跟踪必须实现高准确性和低延迟。

完整的跟踪系统包含动作跟踪和位置跟踪。动作跟踪通常通过惯性测量单元 (IMU)实现,包含加速计和陀螺仪,有时也包含磁力计。位置跟踪通常根据配置方式来分类。目前主流VR平台使用的位置跟踪技术实际上有两种:outside-in和inside-out,二者各有优劣。Outside-in跟踪对计算能力要求相对较低,但需要额外设置来定义被跟踪区域。Inside-out跟踪的设置相对简单,但对复杂视觉处理和计算性能有更高要求。

Outside-in跟踪

outside-in跟踪是Oculus Rift、HTC Vive和PSVR等VR平台的基础,需要用到外部信标或跟踪器。HTC Vive平台使用SteamVR灯塔(SteamVR Lighthouses)作为信标,实现与头戴显示器(HMD)上的红外接收器和手持游戏柄等配件的连接;Oculus Rift索尼的PSVR使用外部摄像头来跟踪HMD和配件上的信标。这些解决方案需要妥善放置跟踪器/信标来定义活动区域。

outside-in跟踪的优势是信标或标记可以提供清晰的信号/模式,简化跟踪计算。需要处理的数据更少,所需的计算能力就更低,跟踪准确率也就更高。另一方面,用户必须在跟踪器/信标的视距范围内活动以防遮挡。这意味着跟踪器/信标的放置必须合适,使用范围内不能有过高的家具或植物。而这对空间有限的用户来说,是一个难题。

Inside-out跟踪

Inside-out跟踪通常使用立体视觉或ToF(Time of Flight)传感器来测绘相对位置的变化。无标记的纯inside-out跟踪运用同步定位和地图构建(SLAM)算法来建立或更新未知位置环境的地图,同时跟踪用户的位置。有的平台使用外部信标来简化计算。微软最近发布的混合现实头盔、因特尔基于RealSense技术的项目Alloy VR头盔和Ximmerse的X-Cobra均以inside-out跟踪为基础。

其最大优势是可以在大多数地方使用,且无需大动干戈进行配置。这般便捷并非全无代价。Inside-out跟踪以立体视觉为基础,需要强大的机器视觉处理。复杂计算处理对PC而言不算困难,但对驱动HMD的移动处理器却是一大挑战。高效能的加速器可以大幅缩小性能差异。

上述的许多平台中均应用了莱迪思低延迟、高灵活性的FPGA。在维尔福软件公司的SteamVR跟踪中,低功耗、低成本的iCE40 FPGA用于执行红外接收器的低延迟、同步数据捕捉。CrossLink视频桥接FPGA也被用于inside-out跟踪平台,连接并聚合多个MIPI CSI-2图像传感器数据从而让PC进行SLAM处理。针对移动VR,Ximmerse的X-Cobra不仅将ECP5 FPGA运用于立体摄像头接口和聚合,也将它用作移动处理器的额外加速器,实现低延迟立体视觉处理。莱迪思的其他VR/AR解决方案包括:用于无线VR的WirelessHD,消除最后一根线缆,营造百分百浸入式虚拟世界;360度摄像头的多摄像头聚合;适用于微型显示器的MIPI桥接。

随着VR技术的稳步发展,提供更优跟踪功能、更身临其境VR体验的新系统指日可待。 莱迪思全面的智能互连产品将继续推动VR技术的发展,为位置跟踪技术实现低延迟、同步数据采集和高效的视频计算功能。

Share:

Like most websites, we use cookies and similar technologies to enhance your user experience. We also allow third parties to place cookies on our website. By continuing to use this website you consent to the use of cookies as described in our Cookie Policy.