小型キャリアボード付きストリーミング 4x カメラ: 高速プロトタイプ
組み込み式のビジョンコンポーネントはこれまでにないほど人気が高まっており、多数のアプリケーションに組み込まれています。これらのアプリケーションすべてに共通するのは、狭いスペースにより多くの機能を詰め込むことです。また、多くの場合、これらのシステムではエッジで意思決定を行う際に、非常に有利です。迅速なプロトタイプの作成機能など、このようなシステムを実現するために、Teledyne FLIRは TX2用Quartet™ エンベデッド・ソリューションを発売しました。このキャリアボードはカスタマイズされているため、最大4台の USB3マシンビジョンカメラ をフル帯域幅でy容易に統合できます これにはNVidia Jetsonのディープラーニングハードウェアアクセラレータを備えており、 Teledyne FLIR’s Spinnaker® SDK. とあらかじめ統合されています。多くの場合、これらのシステムは、特に検査、モバイルロボット、交通システム、および様々なタイプの無人車両において、エッジに関する決定を行うことも非常に有利です。
図1：4つの用途すべてに対するプロトタイプのセットアップ
この非常に実用的な記事では、Quartetが実現できることを際立たせる、4つの用途を同時に実行するITS(トラフィック・システム)から着想を得たプロトタイプを開発する手順を説明しています。そのうちの3つは、ディープ・ラーニングを使用しています。
- 用途1：ディープ・ラーニングによるナンバープレートの認識
- 用途2：ディープ・ラーニングによる車種分類
- 用途3：ディープ・ラーニングによる車両の色分類
- 用途4：フロントガラス越しに見る(反射&グレアの事例)
ショッピングリスト: ハードウェア&・ソフトウェア・コンポーネント
1)処理用SOM:
TX2用の新製品であるTeledyne FLIR Quartetキャリアボードには、以下が含まれます。
- 4x TF38 コネクター、専用USB3コントローラー付き
- Nvidia Jetson TX2 モジュール
- Teledyne FLIRの強力で使いやすい Spinnaker SDKが事前にインストールされているため、Teledyne FLIR Blackfly Sボードレベルのカメラとの瞬時の互換性を実現
- Nvidia Jetson ディープ・ラーニング・ハードウェア・アクセラレータにより、コンパクトな単一ボード上で完全な意思決定システムを実現
図2：4台のBlackfly S カメラと4本のFPC ケーブルを搭載したTX2を備えるカルテット・エンベデッド・ソリューション。
カメラ&ケーブル
- 最新のCMOSセンサーに適用されたケースバージョンと同じ豊富な機能セットを使用する3台の標準Teledyne FLIR Blackfly S USB3 ボードレベルカメラ を搭載し、Quartetとのシームレスな統合を実現
- 1台のカスタムカメラ: Blackfly S USB3ボードレベルカメラ、Sony IMX250MZR偏光センサー付き
- ケーブル：TF38 FPCケーブルにより、電力とデータを1本のケーブルで伝送できるため、省スペース化を実現
図3：Blackfly Sボードレベルカメラ、FPCケーブル付き
関連記事の配信登録をする
3)照明: ナンバープレートのモーションブラーを回避するために十分な照明を提供する LED ライト。
用途1：ディープ・ラーニングによるナンバープレートの認識
開発期間: 2～3 週間で、より堅牢でより高速に実行
トレーニング画像: LPDNet に付属
ナンバープレートの認識のために、Nvidia から市販の ナンバープレート検出 (LPDNet) のディープラーニングモデルを導入したことで、ナンバープレートの位置を検出します。 TesseractオープンソースOCRエンジンを使用した文字と&番号を認識します。このカメラは、Sony IMX267センサー搭載のBlackfly Sボードレベル8.9 MPカラーカメラ(BFS-U3-88S6C-BD) です。ナンバープレート検出の対象領域を限定してパフォーマンスを高速化し、トラッキングを適用して堅牢性を改善しました。出力には、対応するナンバープレート文字とともに、ナンバープレートのバウンディングボックスが含まれます。
図4：ナンバープレートとナンバープレート文字のバウンディングボックスによるストリーミング。
用途2：ディープ・ラーニングによる車種分類
開発時間: 約12時間(画像収集および注釈を含む)
トレーニング画像: 約300枚
車種分類については、SUV、セダン、トラックとして3台のトイカー（おもちゃの車）を転移学習を用いて、独自のディープラーニングの対象物検知モデルをトレーニングしました。セットアップのトレーニング画像を約300枚収集し、さまざまな距離と角度で撮影しました。このカメラは、Sony IMX250センサー搭載の Blackfly Sボードレベル5 MPカラーカメラ(BFS-U3-51S5C-BD) です。約3時間かかったトイカ―のバウンディングボックスに注釈を付けました。私たちは、Nvidia GTX1080 Ti GPU で半日ほどかかっていた独自の SSD MobileNet 対象物検知モデルをトレーニングするために、転移学習を実施しました。GPU ハードウェア・アクセラレータにより、Jetson TX2 モジュールは、ディープラーニングの推論を効率的に実行し、対応する車両タイプとともに車両のバウンディング・ボックスを出力できます。
図5：バウンディング・ボックスと事前設定された車両タイプの&信頼度要因が特定されたストリーミング
用途3：ディープ・ラーニングによる車両の色分類
開発時間: “車両タイプのアプリケーション”から再利用されたモデルでカラーを分類し、&テストを統合するためにさらに2日追加
トレーニング画像: “車両タイプのアプリケーションと同じ300枚の画像を再利用”
車両の色分類については、上記と同じディープラーニング対象物検知モデルを実行して車両を検出し、バウンディング・ボックスの画像解析を行って色を分類しました。出力は、対応する車両の色と共に車両のバウンディング・ボックスを含みます。このカメラは、Sony IMX252センサー搭載の Blackfly Sボードレベル3 MPカラーカメラ(BFS-U3-32S4C-BD) です。
図6：バウンディング・ボックスと事前に設定された色タイプが識別されたストリーミング
用途4：フロントガラス越しに見る(反射&グレアの事例)
HOVレーンの監視、シートベルトのコンプライアンスチェック、運転中の携帯電話の使用チェックなど、交通関連の用途においては、グレアの低減が不可欠です。そのために、Blackfly S USB3ボードレベルカメラと5MP偏光Sony IMX250MZRセンサーを組み合わせてカスタムカメラを製作しました。この基板レベルの偏光カメラは標準製品ではありませんが、Teledyne FLIR はさまざまなセンサーを簡単に交換して、グレア除去機能を示すカスタムカメラオプションを提供できます。カメラの画像をTeledyne FLIR’のSpinView GUI経由でストリーミングするだけで、クアッドモード、グレア低減モードなど、さまざまな「偏光アルゴリズム」オプションを提供し、静止したトイカ―にグレア低減を表示します。
図7：Spinnaker SDK GUIは、クアッドモード、グレア低減モードなど、さまざまな「偏光アルゴリズム」オプションを提供し、静止したトイカ―にグレア低減を表示します。クワッドモードは、4つの異なる偏光角に対して、4つの画像を表示します。
システム全体の最適化
4つのプロトタイプは、それぞれ独立してうまく機能しましたが、ディープラーニングモデルがすべて同時に実行されていたとき、全体的なパフォーマンスがかなり劣っていたことが分かりました。Nvidia ’の TensorRT SDK は、Jetson TX2 モジュールなどの Nvidia ハードウェアのディープラーニング推論オプティマイザーとランタイムを提供します。TensorRT SDKを使用してディープラーニングモデルを最適化し、約10倍のパフォーマンスの向上を実現しました。ハードウェア面では、TX2モジュールにヒートシンクを取り付けて、すべてのアプリケーションが動作しているときにかなり熱くなったため、過熱を防ぎました。最終的に、4つの用途すべてを同時に実行することで、良好なフレームレートを達成することができました。車両タイプ識別では14 fps、車両カラー分類では9 fps、自動ナンバープレート認識では4 FPS、偏光カメラでは8 FPSです。
Quarteteエンベディッド・ソリューションと Blackfly S ボード・レベルのカメラの使いやすさと信頼性によって、このプロトタイプを比較的短期間で開発できました。Spinnaker SDKをプリインストールしたTX2モジュールは、TF38接続を介してUSB3の全帯域幅で確実にストリーミングできる、すべてのBlackfly Sボードレベルのカメラとのプラグ&プレイの互換性を保証します。Nvidia は、TX2 モジュールの開発と最適化を促進する多くのツールを提供しています。Quartetは、flir.comおよび当社のオフィスやグローバル販売業者のネットワークを通じてオンラインで購入できるようになりました。