Inferencia perimetral con la Firefly®

Introducción

El aprendizaje profundo es una novedosa tecnología que está revolucionando aplicaciones ya existentes y liderando el desarrollo de nuevas industrias. La disponibilidad de herramientas de Google, Amazon, Intel, y Nvidia para crear y capacitar redes neurales está haciendo de la tecnología algo más accesible, y facultando a nuevos actores para participar en mercados establecidos con productos competitivos.

The potential of deep learning is widely acknowledged. You may be working on leveraging deep learning for your application right now.  At Teledyne FLIR, we’ve also thought of ways to enable machine vision developers to take advantage of this technology. The result is our Firefly® camera, which provides an easy path to deploying trained networks in the field. The Firefly® marries machine vision with deep learning inference by integrating a high-quality Sony Pregius image sensor and Intel Movidius Myriad 2 Vision Processing Unit (VPU) with GenICam compliance.

¿Qué es una VPU?

La unidad de procesamiento de visión (VPU) Intel Movidius Myriad 2 en el núcleo de la Firefly® es un nuevo tipo de procesador. Una VPU combina filtros de procesamiento de imagen de hardware de alta velocidad, núcleos de CPU de uso general y núcleos de procesamiento de vectores paralelos. Los núcleos de vectores usados para acelerar la inferencia en cámara están más optimizados para la lógica de ramificación de redes neurales que los núcleos de uso general que se encuentran en las GPUs. Este gran grado de optimización permite a la VPU lograr un alto nivel de rendimiento usando poca potencia.

¿Qué es la inferencia?

La inferencia es la aplicación de aprendizaje profundo en datos reales, recién captados y sin etiquetar. La inferencia es el resultado de una red neural de capacitación haciendo predicciones basadas en nuevos datos.

Fig. 1. La inferencia es la aplicación de un modelo capacitado con datos etiquetados (A) a datos nuevos, sin etiquetar (B).

Aunque existen muchos tipos distintos de redes que pueden usarse para la inferencia, las MobileNets son extremadamente apropiadas para realizar clasificación de imágenes. MobileNet fue diseñado en origen por Google para realizar una clasificación y segmentación de imágenes de alta precisión en dispositivos móviles. Proporciona precisión similar a redes mucho más caras computacionalmente que requieren grandes GPUs de gran consumo energético.

¿Cuál es la diferencia entre una cámara de inferencia y una "cámara inteligente"?

Las cámaras inteligentes tradicionales combinan una cámara de visión artificial y un ordenador monoplaca que funciona con un software de procesamiento de imágenes de regla basada. Las cámaras inteligentes son una gran solución para problemas simples como lectura de código de barras o responder preguntas como "En esta parte, ¿el agujero está donde debería?" Las cámaras de inferencia sobresalen en preguntas mucho más complejas o subjetivas como "¿Esta manzana es de exportación?" Cuando las cámaras de inferencia se capacitan usando imágenes que funcionan bien, pueden identificar fácilmente defectos inesperados que no podrían ser detectados por sistemas de análisis basados en reglas, haciéndolos mucho más tolerantes a la variabilidad

Las cámaras de inferencia pueden usarse para aumentar aplicaciones ya existentes con meta datos ricos y descriptivos. Usando segmentos de datos de GenICam, la FLIR Firefly® puede usar la inferencia para etiquetar imágenes que se hayan pasado a un host que realice procesamiento de imagen tradicional basado en reglas. De esta forma, los usuarios pueden expandir rápidamente las capacidades de sus sistemas de visión ya existentes. Esta estructura híbrida también puede usarse para activar un sistema de visión tradicional.

Usar la Firefly® supone ahorrar mucho espacio, ya que el hardware computacional empleado en las cámaras inteligentes tradicionales es menos eficiente energéticamente y mucho más grande en la VPU que en la Firefly. Con sólo 27 mm x 27 mm, la Firefly se puede integrar en espacios reducidos.

La Firefly® es una plataforma abierta. Esto le da a los usuarios la flexibilidad para sacar partido al rápido ritmo de las redes de aprendizaje profundo y al conjunto de herramientas asociado para su entrenamiento y optimización. Por el contrario, las cámaras inteligentes están programadas usando herramientas patentadas que pueden retrasar los avances más recientes.

¿Qué ventajas tiene la inferencia en cámara?

Activar la inferencia perimetral de un sistema de visión supone mejoras en la rapidez, la fiabilidad, la eficiencia energética y la seguridad del sistema.

• Velocidad: La inferencia perimetral, como otros sistemas de computación perimetral, mueve el procesamiento de imagen del servidor central a un sitio cercano a su fuente de datos. En lugar de transmitir imágenes completas a un servidor remoto, sólo es necesario mandar los datos descriptivos. Esto reduce ampliamente la cantidad de datos que un sistema debe transmitir, minimizando el ancho de banda y la latencia del sistema.
• Fiabilidad: Para algunas aplicaciones, la Firefly® puede eliminar la dependencia del servidor y la infraestructura de la red, aumentando su fiabilidad. Con su VPU incorporada, la Firefly funciona como un sensor autónomo. Puede capturar imágenes y tomar decisiones basadas en ellas, y luego activar acciones usando la señalización GPIO.
• Eficiencia energética:Activar un sistema de visión, sólo cuando sea necesario, significa que se puede emplear más tiempo de procesamiento en análisis y procesamiento de imagen tradicional basado en reglas. La inferencia de aprendizaje profundo puede usarse para activar análisis de imagen de alta potencia cuando se cumplan las condiciones específicas. La VPU Myriad 2 VPU proporciona ahorros de energía extra al soportar redes en cascada. Esto posibilita múltiples grados de análisis, en los que las redes más complejas de alta potencia se utilizan sólo si se cumplen las condiciones de la red anterior.
• Seguridad:La reducida cantidad de datos que se transmite se encripta fácilmente, mejorando la seguridad del sistema.

¿Cómo empiezo?

La Firefly supone un camino fácil para llevar el aprendizaje profundo del I+D a su aplicación. Está preparado para funcionar como un sensor autónomo, capturando imágenes y tomando decisiones basadas en ellas que activan acciones GPIO. La Firefly estará disponible en 2019, pero puede iniciarse en la inferencia perimetral hoy mismo. La VPU Intel Myriad 2, en el núcleo de la futura FLIR Firefly, está disponible en el Intel Neural Compute Stick.

Un completo sistema de visión de inferencia perimetral completa puede construirse por menos de 1000$ usando el Intel Neural Compute Stick. Junto con el Intel OpenVINO tooklit, los desarrolladores de sistemas de visión pueden optimizar fácilmente y validar el rendimiento de redes neurales en la misma VPU que impulsa la inferencia en cámara en la Firefly®. Esto permite a los usuarios evaluar de forma precisa el rendimiento de la inferencia impulsada de la Myriad 2 en paralelo con algoritmos tradicionales usando las mismas cámaras.

Fig. 2. De la capacitación GPU al desarrollo de Neural Compute Stick hasta el uso de Firefly®

Conclusión

La inferencia de aprendizaje profundo, básicamente, cambiará la manera en que se diseñan y programan los sistemas de visión. Esto permitirá que se tomen decisiones complejas y subjetivas de forma más rápida y precisa de lo que sería posible usando enfoques tradicionales basado en reglas. La Firefly combina visión artificial con aprendizaje profundo al combinar un sensor Sony Pregius, la interfaz GenICam y una VPU Intel Movidius Myriad 2. Esta nueva clase de cámara de inferencia proporciona el camino ideal para implementar la inferencia de aprendizaje profundo en aplicaciones de visión artificial. Puede empezar hoy a desarrollar para la Firefly® con el Intel Neural Compute Stick.