提升工业自动化中的立体深度感知

简介

深度感知对仓库机器人应用至关重要，尤其是在自主导航、物品拾取与放置、库存管理等方面。

通过将深度感知与各种类型的3D数据（如体积数据、点云、纹理等）相结合，仓库机器人可以在错综复杂环境中实现自主导航，物品检测，灵活避开障碍物，精准拾取目标物品，将其准确无误地放置在特定位置，同时有效优化仓库空间布局，提升作业效率。

图1.示例仓库机器人应用

3D视觉技术

3D传感器是支持现实场景深度感知测量的基础技术。存在多种常见的3D视觉技术选择，如立体相机、激光雷达、渡越时间相机和激光三角测量。

3D技术的选择取决于具体的应用和需求，因为每项技术都有其独特的优势。例如，激光雷达和激光三角测量技术，由于内置诸如旋转镜等运动部件，因此不适合在恶劣环境中使用。立体相机更适合户外应用场景，原因在于立体相机不易受到阳光直射的干扰。立体相机的成本通常低于其他3D传感器选择。

此外，立体相机在计算图像中的3D数据时，相较于上述其他技术，需要更高的计算能力。然而，部分立体相机配备了板载处理能力，从而减轻主机的数据处理负担。

此外，在某些应用场景下，物体的识别依赖于彩色图像，而彩色点云则能提供更丰富的情境感知。相较于其他常见的3D视觉技术需要额外配备彩色相机，立体相机则能提供彩色图像与彩色点云。

这往往是在范围与精度之间做出的一种权衡考量。例如，远程传感器的精度相对较低，而短距离传感器则具有较高的精度。在测距能力方面，激光雷达具备最远的测距能力，其次是立体相机，最后是渡越时间传感器。激光三角测量的覆盖范围虽然最短，但其精度却更高。自主导航和障碍避让功能需要较长的探测范围，而物品拾取与放置操作则只需中等范围的覆盖即可。近距离范围探测主要则用于物体的识别与检查。

立体技术广泛适用于大多数仓库机器人的应用场景。它能提供灵活的覆盖范围和足够的精度性能。它拥有较低的成本优势，能够轻松适应恶劣环境条件，同时提供物体识别所需的彩色图像。

图2.各种3D视觉技术范围和精度的平衡

立体成像概述

立体成像技术模拟人类视觉中的3D感知原理。人类的双眼从两个不同视角观察同一场景，可以通过视差（即两个不同视角下物体位置的位移）推断出距离。

以下是立体成像流程的关键组成部分。在立体成像系统投入使用前，必须进行一次性相机校准，如下图中的虚线部分所示。

图3.立体成像流程概览

在每一帧图像中，相机首先捕捉原始的左右图像，随后，在矫正步骤中，使用前期校准得到的信息。经过矫正的图像被传递至立体匹配步骤，生成视差图。最后，通过三角测量步骤将视差图转换为3D点云。在这些步骤中，立体匹配的计算开销最为显著。然而，由于处理流程的高度并行化特性，使得这一步骤能够得到大幅优化。

立体相机的关键设计驱动因素是3D精度。深度误差由以下公式得出：ΔZ d。它取决于以下因子：

“Z” = 范围

“B” = 基线，即两台相机之间的距离

“f” = 像素中的焦距，与相机视野及图像分辨率相关。

基于此公式，深度误差随范围的增加而呈二次方增长。这是立体相机在远距离操作中面临的一个主要局限性。为了减少误差，我们可以采取多种措施，例如延长基线长度、提高分辨率或缩小视野范围。

立体相机的工业应用

使用自主移动机器人（AMR）的仓库机器人技术

仓库和工厂可以通过使用自动驾驶机器人实现自动化物料运输，从而提高生产力和效率。AMR通过构建环境地图并同时在地图上进行自我定位来执行SLAM（同步定位与地图构建）。AMR能够规划前往指定目的地的路线，同时精准检测障碍物（包括物体/行人），并灵活地在这些障碍物周围导航。

AMR的主要优势体现在其对不同非结构化环境的操作适应性和可扩展性。仓库无需额外建设特殊的基础设施，同时确保员工的安全。此外，多辆AMR能够协同作业。

图4.立体相机使用案例 – 自主移动机器人（照片由OTTO和Gideon Brothers提供）

以下是自主移动机器人（AMR）应用中标准立体相机的特征/要求：

• 高帧率
• 低延迟
• 坚固可靠
• 校准保留
• 宽视野
• 远距离工作能力
• 适用于室内外的高动态范围

使用拾取与放置机器人的仓库机器人技术

另一个常见的立体相机仓库机器人应用是拾取与放置作业，这类机器人能够精准地拾取零件或物品，并将其放置到其他位置。该应用的关键组件包括一个用于感知周围环境的视觉系统、一个用于数据处理制定决策的控制系统，以及一个带有夹具或吸盘用于操控各种物体的机器人手臂。相较于人工拾取与放置，这类机器人的优势主要体现在其更高的准确性和一致性上。它们具备出色的环境适应性，能够灵活应对各种变化，同时高效执行重复性任务，从而释放人力，使之投入到更为复杂的作业中，最终推动生产力和效率的双重提升。

图5.立体相机使用案例 – 拾取与放置机器人（照片由Taiga Robotics和Kindred/Ocado提供）

拾取与放置机器人应用广泛，涵盖装配、托盘化、去托盘化和箱子拾取等多个领域。以箱子拾取为例，其目标是从容器中移除随机放置的物体。首先，视觉系统需要识别和定位物体，随后计算其方位，确保夹具能够正确拾取。然后，控制系统规划出机器人的移动路径，有效避开途中的障碍物。最后，机器人顺利拾起物体，并将其放置于指定位置。

以下是自拾取与放置机器人应用中标准立体相机的特征/要求：

• 高精度
• 低延迟
• 坚固可靠
• 校准保留
• 扬尘/潮湿的工业环境
• 针对不同大小的物体，需要在视野和工作距离上具备灵活性。

现实世界的挑战

通过与客户深入交流，我们识别出一系列现实世界中面临的挑战。由于3D点云的质量直接依赖于图像传感器数据的优劣，机器视觉领域中的典型难题同样适用于此。例如，必须提供充足的光照条件，以避免因长时间曝光导致的图像模糊问题。在3D数据处理方面，常见的挑战包括提升3D点云的整体质量和缩短获取3D数据的延迟时间。当系统投入实际应用后，立体摄相机的选择还需考虑一系列实际因素。

机器人的性能和决策精准度在很大程度上依赖于所获取的3D点云质量。为了提升3D点云的质量，我们可以采取以下措施：

• 提高传感器和立体分辨率，能够生成更多的3D点。
• 随着基线增宽、分辨率提高和视野收窄，3D点的准确性得到提高。
• 采用更先进的立体算法，获得更密集、更清晰的点云，但需注意在质量与处理速度之间找到平衡点。
• 在低纹理场景中，利用图案投影仪，增加点云的密度。
• 实施后处理，如中值滤波、散斑滤波、时间滤波等，可以减少点云中的噪声。

延迟是指从图像被相机传感器捕获到3D数据传输至主机所需的时间。低延迟意味着更快的决策速度和更灵敏的环境交互能力。同时，更快的3D数据接收还能为后续的AI处理预留更多时间。以下是降低延迟的关键因素：

• 通过简化相机架构，可以使得管道中的像素得到并行处理，因此在开始下一个模块的处理前，无需等待前一个模块完成整个图像。
• 立体处理速度的提升，可加快视差图的生成速度，减少延迟。
• 增加传输带宽，可缩短从相机到主机传输数据的时间，从而减少延迟。

在系统部署用于生产后，持续监测其性能至关重要。以下是部署后可能遇到的一些实际问题：

• 相机间歇性工作或频繁掉线，可能是由于接口连接不稳定所致。建议使用更稳定的工业接口，如以太网，替代USB。
• 若相机因系统冲击和振动而故障，则应选择具有高可靠性、稳健性和适当IP等级的相机。
• 若相机故障且由于产品生命周期结束无法替换为相同型号相机，则应考虑选择能够提供更为持久的产品生命周期及全面支持的供应商。
• 若机器人性能随时间下降，可能需要重新校准立体相机。

校准保留对于立体相机的稳定运行至关重要。未正确校准的立体相机将影响应用的决策能力。在下方图6中，第一行是经过精确校准的立体相机拍摄的一对立体图和视差图样本。在第二行中，当校准出现半像素行错位时，视差图虽仍可接受，但随着错位程度的增加，视差图质量迅速恶化，这将直接导致有效3D点的数量减少，并可能引发更多错误3D点的产生。此外，随着校准误差的增大，立体准确性也会降低。因此，选择能够保持良好校准的立体相机至关重要。否则，在现场部署后，需要频繁对相机进行重新校准，这在实践中也是非常不切实际的。

图6.立体相机校准保留的重要性（图像来源：https://vision.middlebury.edu/stereo/data/）

Bumblebee X 立体相机赋能工业自动化

下一代 Bumblebee® X 立体相机，提供高分辨率、优异的精度和先进的板载处理能力。此外，其出色的工业设计、IP67 防护等级和 5 GigE 接口确保其能稳定集成在工业环境中。

Bumblebee X 的主要特点包括：

• 高分辨率与高精度
• 利用强大的立体算法的板载处理
• 24 厘米基线的远距离工作
• 灵活的视野选项（60、80 和 105 度）
• 具备 IP67 工业设计的高可靠性和坚固性
• 具备 5 Gigabit 以太网接口的高带宽和低延迟
• 长时间的校准保留
• 兼容外部图案投影仪
• 产品生命周期长
• 支持 ROS（机器人操作系统）和 GenICam
• SDK功能丰富且易用

Teledyne 深知机器人专业人士的迫切需求——快速数据采集、低延迟及高精度 3D 深度信息。基于 20 多年的校准与立体视觉技术经验积累，Bumblebee X 立体相机不仅是一款新型的立体相机，更是优异性能的延续。它继承了前代 Bumblebee 立体相机的创新与可靠性，并在此基础上实现了升级，具备更多功能。Bumblebee X 配备最新的工业级 5GigE 板载处理立体视觉系统。

迈向机器人技术的崭新纪元，选择集高端技术、耐用性和多功能性于一体的解决方案。最大化效率，最小化停机时间，助力您在竞争激烈的市场环境中保持领先。选择 Bumblebee X：让创新与可靠融为一体。