机器人广泛应用于危险、肮脏和昏暗的环境中，在这些环境中人类极难或不可能存在，因此这些机器人需要完全任务自主。与机器人遥操作相关的挑战之一是由机器人的机载传感器引起的人类操作员的感知限制。例如，车载摄像头只能为操作员提供第一人称视角 (FPV)。FPV不包含任何深度信息，感知受相机视野的限制。如图1a所示，操作员无法判断机械臂固定的辐射传感器是否已到达隔板。为了解决这个问题，机器人上安装了多个摄像头，以提供不同功能单元的多个视觉反馈。然而，在不同视点之间不断切换会干扰操作员，并且环境中仍然存在多个固定摄像机视野之外的盲点。
地面机器人在国土安全应用、灾难响应和检查任务中的常见做法是使用辅助机器人，由它们提供主机器人正在执行的任务的视图。在福岛第一核电站，遥控机器人从响应开始就成对使用，以减少完成任务所需的时间。图1b展示了两个 iRobot Packbot 在工厂设施内进行辐射调查和读取刻度盘，其中第二个Packbot 提供第一个机器人的摄像头视图，以便更快地操纵门把手、阀门和传感器。然而，这种方法的问题在于，执行一项任务需要两个机器人和 2-4 个操作员。两组机器人操作员发现很难与另一个机器人协调以获取并保持所需的视野，但单个操作员在尝试操作两个机器人时会感到困难。附加的团队合作需求和沟通不畅可能会导致问题：在 2014 年，一个价值超过 50 万美元的 iRobot Warrior 因无法看到它即将执行无法成功完成的动作而受损。
(a)车载摄像机FPV (b)两个打包机打开一扇门
图1 当前机器人遥操作的问题
可以通过使用系在主机器人上的无人驾驶飞行器 (UAV) 来代替第二视觉辅助机器人和额外的操作员。视觉辅助过程是使用基于系绳的定位控制器和视觉伺服算法来实现的，以保持以恒定的6自由度姿态观察操作员的兴趣点 (POI)。
异构机器人团队由 UGV、iRobot Packbot 和系留无人机Fotokite Pro组成(图2左)。图2右侧显示了一个概念验证场景，其中Fotokite 正在协助 Packbot 拾取辐射传感器并将其放入白色垂直管道中。
图2 异构机器人团队
主机器人
iRobot Packbot 用作远程操作任务的主要代理。Packbot 已被用于不同的场景，包括伊拉克和阿富汗战争，2001年 9/11 后搜索世贸中心的废墟，以及 2011 年东北地震和海啸后的福岛第一核电站。它至少有三个机载摄像头，但是，仍然不足以提供良好的态势感知(图1a)。在受限且杂乱的搜救任务中，Packbot 总是成对部署(图1b) 并需要 2-4个运算符。
视觉助手
Fotokite 用作视觉助手。无人机的系绳角度传感器和地面站的系绳卷轴编码器使其能够相对于其主地面机器人进行定位和定位，而无需GPS信号和视觉里程计。Fotokite 的控制基于系绳角度、长度和惯性测量。飞机位置控制使用系绳长度 ,海拔 (系绳的垂直角度)和方位角 (系绳的水平角度)。飞机的位置可以用极坐标系(图 3)表示，并且很容易转换到欧几里得空间：
图3 飞机位置坐标
设置
Fotokite的地面站机械安装在Packbot 上。现阶段项目尚未实现自动起降。由于视觉助手只向主机器人的操作员提供反馈，因此两个代理之间不需要通信。服务器作为地面站和机外视觉辅助控制单元之间的中继而构建，它们通过2.4GHz 无线电相互通信。服务器从Fotokite地面站的串行端口接收状态更新，并将它们无线传送到控制单元。飞机运动命令在控制单元计算，通过无线电传输到服务器，然后发送到地面站。Fotokite 相机的视频由板载媒体编码器和流媒体无线传输。
图4显示了视觉伺服界面的示例时间步长及其在世界坐标系中的实际姿态。在左侧，绿色小框表示所需的标签姿态，彩色框(蓝色、红色和绿色线)是当前检测到的标签姿态(绿色大框仅用于可视化具有深度信息的 6-DOF 标签跟踪)。当前检测到的位姿框应该会收敛到所需的位姿框，并有一些由飞机振动引起的干扰。两个方块共心是不够的，两个方块的四条线也应该相互重叠，说明不仅POI位置，深度和方向都是伺服的。
图4 视觉伺服(俯仰)的一个示例时间步长
使用系留无人机，地面机器人的操作员可以得到第三人称视角的视觉辅助。视觉伺服方法能够成功地将视觉助手驱动到移动的POI，同时保持操作员观察所需的姿势。这种方法为未来的遥操作视觉辅助研究奠定了基础，并有可能提高遥操作性能。
