通过 Firefly® 进行边缘推断

简介

深度学习是一项新技术，革新了现有应用程序并推动新兴产业的发展。 Google、Amazon、Intel 和 Nvidia 提供的用于创建和训练神经网络的工具使技术获取更容易，促进新玩家凭借有竞争力的产品进入成熟市场。

深度学习的潜能已被广泛认可。 您现在就能在应用程序上使用深度学习。  我们 Teledyne FLIR 同样在想方设法让机器视觉开发者能够充分利用这项技术。 因此我们即将推出 Firefly® 相机，它可以便捷地在现场部署受训过的网络。 Firefly® 通过集成高质量的 Sony Pregius 图像传感器和符合 GenICam 的 Intel Movidius Myriad 2 视觉处理单元 (VPU)，将机器视觉和深度学习推断相结合。

什么是 VPU？

位于 Firefly® 核心的 Intel Movidius Myriad 2 视觉处理单元属于新类别处理器。 VPU 结合了高速硬件图像处理过滤器、通用 CPU 内核以及平行矢量处理内核。 与 GPU 的通用内核相比，用于加速相机内建推断的矢量内核针对神经网络的分支逻辑进行了更多优化。 优化程度更高的 VPU 能够以低功率实现高性能。

什么是推断？

推断即在新捕获的无标签真实数据上应用深度学习。 推断是指受训后的神经网络根据新数据做出预测的结果。

图 1. 推断应用了一个通过标记数据 (A) 训练未标记数据 (B) 的模型。

虽然有许多不同类型的网络可用于推断，但 MobileNet 特别适用于图像分类。 MobileNet 最初由 Google 设计，用作移动设备的高精度图像分类和分割。 与那些计算昂贵得多且需要大型耗电量大 GPU 的网络相比，它也能够实现相同的精度。

如何区分推断相机和“智能相机”？

传统智能相机结合了机器视觉相机和运行规则导向图像处理软件的单板计算机。 智能相机可以较好解决简单问题，例如条形码读取或回答“孔是否应该位于该部分？”这类提问。 推断相机优势在于可处理更复杂或主观的问题，例如“这是出口级苹果吗？” 当使用已知的优质图像进行训练时，推断相机可以轻松识别规则导向检查系统无法识别的非预期内缺陷，使其对差异性更加宽容。

推断相机可通过丰富的描述元数据扩大现有应用。 通过 GenICam 块数据，Firefly® 可以使用推断来标记传至主机的图像，该主机使用传统的规则导向图像处理方式。 通过这种方式，用户可快速扩展其现有视觉系统的能力。 该混合式系统架构同样也可以触发传统视觉系统。

使用 Firefly® 可以节省大量空间，因为传统智能相机中使用的计算硬件功耗效率更低，而且比 Firefly® 中的 VPU 大得多。 Firefly 尺寸只有 27 mm x 27 mm，可随时集成到紧凑的空间中。

Firefly® 是一个开放式平台。 使用户可灵活利用快速进步的深度学习网络及其训练和优化的相关工具链。 相比之下，通过使用了或许稍有滞后的专用工具，已将智能相机编程完成。

相机内建推断的优势是什么？

可以在视觉系统边缘进行推断，促进系统速度、可靠性、功率效率和安全性的提升。

• 速度： I在边缘上进行推断，类似于其他边缘计算形式，图像处理可在离开中央服务器，靠近数据源进行。 无需将所有图像传输至远程服务器，只需传送描述数据。 这将大幅减少系统需传输的数据量，使网络带宽和系统延迟降到最低。
• 可靠性： 对于某些应用，Firefly® 不需要依靠服务器和网络基础设施，可提升其自身可靠性。 Firefly 通过其内置的 VPU，可作为单击传感器操作。 它可捕捉图像并以之为基础做出决策，然后通过 GPIO 信号传递触发动作。
• 功率效率：只在需要时触发视觉系统意味着更多的处理时间可用在传统规则导向的图像处理和分析上。 深度学习推断可在满足特定条件时触发高功率图像分析。 Myriad 2 VPU 通过级联网络支持可节省额外功率。 如此可以实现多层分析，只要满足前一个网络的条件，更复杂、功率更高的网络就可以启用。
• 安全：少量数据的传送便于加密，提升系统安全性。

如何开始？

Firefly 提供了一条从深入学习的研发到实际应用程序的方便途径。 它可随时作为独立传感器使用，捕捉图像并基于图像做出决策，从而触发 GPIO 行为。 Firefly 将在 2019 年推出，但您现在就可以开始进行边缘推断。 位于即将推出的 Firefly 中心的 Intel Myriad 2 VPU 可从 Intel 神经计算棒中获得。

通过 Intel 神经计算棒，可用低于 1000 美元的成本建立起完整的视觉系统边缘推断。 视觉系统开发人员可以使用 Intel OpenVINO 工具包在同一个驱动 Firefly® 相机内建推断的 VPU 上轻松优化和验证神经网络的性能。 这使得用户能够使用相同的摄像机，准确评估 Myriad 2 驱动的、并行于传统算法的推断之性能。

图 2. 从 GPU 训练转移到神经计算棒开发和 Firefly® 部署

结论

深度学习推断将从根本上改变视觉系统设计和编程的方式。 它比使用传统规则导向方式更加快速精确地做出复杂且主观的决策。 通过集合 Sony Pregius 传感器、GenICam 界面和 Intel Movidius Myriad 2 VPU，Firefly 将机器视觉与深度学习相结合。 该新种类推断相机提供了一种在机器视觉应用中部署深度学习推断的理想路径。 通过 Intel 神经计算棒，您从今日开始为便 Firefly® 进行部署。