科学家发明能摸到的3D全息投影 拍虚拟触感如真

科技

看见篮球的3D全息投影已经不稀奇,但如果你能拍打、触摸这个篮球幻像,而且能感受到它的弹性呢?


英国格拉斯哥大学的一个工程师团队提出一种新方法,能创造跟全息投影进行物理交互的感觉。

当你用不同力度拍这个虚拟篮球时,你的手掌会感受到不同的弹性力道,就像在拍一个真球,你的手、手指和手腕都会有逼真的触感。

而实现这样宛如科幻片里的互动体验,完全不需要可穿戴或手持外围设备,比传统的VR/AR系统更加轻便。

这项研究的论文题目为《交互式立体显示的伪全息投影和气动反馈》,已发表于WILEY智能系统领域旗舰刊Advanced Intelligent Systems上。


论文链接:

https://doi.org/10.1002/aisy.202100090

一、三种模式,让虚拟篮球拍起来像真球如何做到逼真的篮球弹跳触感?

研究团队打造了一个带有气动触觉反馈设备的伪全息投影。


用于交互式立体显示的带有气动触觉反馈的伪全息投影

如图,其开发的系统有3个主要组件,分别是伪全息显示、手势识别模块和触觉反馈设备。这些组件被连接到主计算机,并通过基于Unity平台的内部构建程序进行控制。

其中,伪全息显示基于Pepper的幽灵投影方案,创造了一种物体“漂浮”在空中的错觉;手势识别模块使得用户可用手势与虚拟对象进行交互。

除了视觉反馈外,该系统通过提供触觉反馈来提供更真实的交互感。

其触觉反馈设备名为Aerohaptics,当用户操纵虚拟物体时,该设备使用指向用户手上的加压空气喷射,来复制触摸感觉,同时它还提供位置和强度控制,以适应各种交互场景。


根据全息投影与用户之间的交互性质,Arduino控制器单元可区分多种操作模式,包括恒压模式、手部标志选择模式和手部跟踪模式。

在恒压输出模式下,无论手的空间位置如何,系统都会向用户提供恒定的气动反馈,即用户会感受到相同的压力。


在手部标志选择模式下,算法可以选择用户手的哪个部分(共6个标志,每个指尖各1个+手掌上1个)是跟踪系统的目标,系统可以准确地提供气动触觉反馈给不同的手部标志。


在手部跟踪模式下,压力基于3D虚拟成像的拓扑与用户手的运动交互,Arduino控制器单元将手指速度值直接映射到压力调制单元,使用户感觉像触碰到一个真实存在的东西。


比如用户试图拍打全息篮球时,将收到与拍打球时“感知”的力度成正比的气动反馈,能感受到球从指尖滚动时“圆圆”的形状,以及球弹回手掌时的弹跳压力变化。

二、定位精准到手指,拍得越重反弹越猛随后,研究团队用实验展示了其系统的两项功能,即触觉反馈传递的准确定位控制和可调触觉反馈强度。

首先在控制触觉反馈传递的位置方面,系统可控制空气喷射以非常高的精度指向不同位置。

系统中的商业手部跟踪设备可以检测到用户手部的不同位置,包括手指、手掌、手腕等,跟踪系统和气体喷嘴能准确控制触觉反馈的传递位置。

为了证明这一点,Aerohaptics系统被编程为按顺序瞄准用户手上的单个指尖,研究人员在用户指尖上粘了纸条,这样就能清晰看到喷气的位置是否精准。


从上图(d)中可以看到,空气会集中喷在目标手指上,相邻手指上粘的纸条没有受到干扰。

其次,为了提供不同强度的触觉反馈,其系统包含一个气流控制机制,以调节喷到用户手部的空气量。这在很多情况下都很有用。

比如,当用户的手离空气喷嘴越来越近或越来越远时,触觉反馈的强度可以保持不变;当用户试图迅速猛拍虚拟篮球,会产生更强的触觉反应;当用户拍打幅度很轻时,球的反馈强度也会相应降低。

研究人员在用户的手掌上放了一个力传感器,并记录了触觉反馈的强度,获得的图像结果显示了虚拟篮球三次硬弹跳后气流变化,然后是三次较软的气流,从而致使传递给用户手的力发生了变化。

三、比其他全息显示功能更全Aerohaptics系统由格拉斯哥大学詹姆斯·瓦特工程学院的Ravinder Dahiya教授领导的可弯曲电子和感应技术(BEST)小组开发。

Dahiya教授说,近年来,触觉反馈和立体显示技术取得了长足的进步,使我们更接近于与虚拟对象进行逼真地交互。

但当前的触觉技术往往要用到可穿戴或手持外围设备,其高成本与复杂性可能会阻碍该技术的普及。

与其他交互式全息显示相比,Aerohaptics系统能将其他系统实现的360°视角、空中手势识别、触觉等功能合在一起,同时无需用户连接设备。

相对于其他在3D虚拟环境中提供触觉反馈的技术,启动触觉反馈系统拥有反馈定位和强度控制等优势,并保持较低的复杂性和低成本。

结语:未来或引入嗅觉反馈总体来看,与在虚拟环境中提供触觉反馈的其他方法相比,Aerohaptics系统是一个成本效益高的解决方案,复杂性相对较低。

研究团队正在考虑给系统添加更多触觉反馈功能,比如温度变化带来的感觉,嗅觉反馈也可以通过该系统在气流中引入各种气味来提供。随着后续进一步发展,Aerohaptics系统拥有实现多种感官相互作用的潜力。

这在现实生活中的应用有相当广阔的探索空间,比如可以为远程电话会议创造更逼真的3D渲染互动,帮医生在虚拟空间执行棘手的操作,或者让医生远程指导机器人进行真正的手术。

 

来源: 智东西

 1,032 views