即使自主机器人自己做得更好，在人类可能需要介入和控制的情况下，仍然会有很多情况发生。新的软件允许对机器人进行远程控制，并帮助用户沉浸在机器人的周围环境中，尽管身体上远离了他们。
该软件通过互联网将机器人的手臂和抓手以及车载摄像头和传感器连接到现成的虚拟现实硬件。
使用手持控制器，用户可以通过移动自己的手臂来控制机器人手臂的位置，执行复杂的操作任务。用户可以进入机器人的金属表皮，并获得**人称视角的环境，或者可以在机器人周围走动，以便在*三人称场景中进行测量，无论哪个人更容易完成手头的任务。
机器人和虚拟现实单元之间传输的数据足够紧凑，可以通过互联网以*小的滞后时间发送，使用户能够从远距离引导机器人。
布朗大学（Brown University）的研究生戴维·惠特尼（David Whitney）表示：“我们认为这可能适用于任何需要做出巧妙操作的情况，但是人们不应该这样做。
“我们特别想到的三个例子是在化解炸弹，在损坏的核设施内工作，或者在国际空间站上操作机器人手臂。”
惠特尼与本科生埃里克·罗森（Eric Rosen）共同*导了这项工作。他们都在人类机器人实验室工作，计算机科学助理教授Stefanie Tellex*导。
即使是高度复杂的机器人也常常使用*些相当简单的手段进行远程控制 - 通常是键盘或者诸如视频游戏控制器和二维监视器之类的东西。惠特尼和罗森说，这样的工作很好，就像驾驶轮式机器人或者驾驶无人机那样的任务，但是对于更复杂的任务可能会有问题。
惠特尼说：“对于像机器人手臂那样自由度很高的操作来说，键盘和游戏控制器并不是很直观。而将三维环境映射到二维屏幕上会限制人们对机器人所处空间的感知。
惠特尼和罗森认为，虚拟现实可能会提供*个更直观和身临其境的选择。他们的软件将百特（Baxter）研究机器人与*个带有手持控制器的虚拟现实系统HTC Vive连接起来。该软件使用机器人的传感器来创建机器人本身及其周围环境的点云模型，并将其传输到连接到Vive的远程计算机。用户可以看到耳机中的空间，并在内部虚拟走动。同时，用户还可以从机器人的手腕相机上观看实时高清视频，了解要执行的操作任务的详细视图。
对于他们的研究，研究人员表示，他们可以为用户创造*种身临其境的体验，同时保持数据负载足够小，可以通过互联网传输，而不会分心。
例如，位于罗得岛州普罗维登斯的*位使用者，使用位于马萨诸塞州剑桥市的*个机器人，在41英里外的*个机器人上执行了*个操作任务 - 将塑料杯*个堆在另*个的内部。
在另外的研究中，与传统的键盘和显示器接口相比，18个新手用户能够在虚拟现实中完成杯叠操作，速度提高66％。用户也表示更喜欢虚拟界面，他们发现操作任务比键盘和显示器要求不高。
罗森认为，执行任务的速度提高是由于虚拟现实界面的直观性。
罗森说：“在VR中，人们可以像移动身体*样移动机器人，所以他们可以不用考虑它。” “这让人们可以专注于手头的问题或任务，而不需要花费更多的时间去了解如何移动机器人。”
研究人员计划继续开发这个系统。**次迭代的重点是*个相当简单的操作任务，*个机器人在环境中是静止的。他们想尝试更复杂的任务，然后结合操纵和导航。他们还想尝试混合自治，机器人自己完成*些任务，用户接管其他任务。
研究人员已经使该系统在线免费提供。他们希望其他机器人研究人员可以尝试*下，把它带入自己的新方向。
研究人员在智利举办的机器人研究国际研讨会上介绍了*个描述系统并评估其可用性的论文。
除了Whitney，Rosen和Tellex之外，论文中的其他作者还有布朗“以人为中心”的博士后研究员Elizabeth Phillips和计算机科学助理教授George Konidaris。美国国防部高*研究计划局（DARPA）的资助部分资助了这项工作。
