産業用オートメーションにおける デプスセンシングの進化

はじめに

デプスセンシングは、自律型ナビゲーション、ピッキングと配置、在庫管理など、幅広い倉庫向けロボティクスに必須の技術です。

奥行き知覚を様々なタイプの3Dデータ（例えば、体積、点群、テクスチャなど）と組み合わせて利用する物流ロボットは、複雑な環境で自律走行し、物体を検出して障害物を避けつつ目的物をピッキングし、指定された場所に配置して、倉庫の利用スペースを最適化し、効率化を図ります。

図1 物流ロボットアプリケーションの例

3Dセンシング

3Dセンサーは、実際に現場でデプスセンシングを行うための基本的な技術です。一般的な3Dセンシングには、ステレオカメラ、LiDAR、タイムオブフライト（ToF）カメラ、レーザーによる三角測量などがあります。

各技術にはそれぞれ特有の利点があるため、どの3Dセンシングを選ぶかは、特定の用途や要件によって異なります。例えば、LiDARやレーザーによる三角測量では回転ミラーなどの可動部品を使用するため、耐久性の必要な用途には適していません。ステレオカメラは太陽光による干渉の影響を受けないので、屋外での使用に向いています。ステレオカメラは他の3Dセンサーに比べ、一般的にはコストを低く抑えることが可能です。

ステレオカメラは画像から3Dデータを計算するために他の方式に比べ高度な演算処理が必要になります。しかし一部のステレオカメラでは、オンボード処理によりホスト側にかかるデータ負荷を軽減しています。

また、物体を認識するのにカラー画像が必要なアプリケーションもありますが、その場合はカラー点群を使うと状況把握がさらにしやすくなります。ステレオカメラの場合は、カラー画像とカラー点群を提供できますが、他の3Dビジョン技術の場合には、別途カラーカメラを用意する必要があります。

範囲と精度は通常トレードオフの関係です。例えば、長距離センサーは精度が低く、近距離センサーは精度が高くなります。LiDERが最も広い範囲に対応し、次いでステレオカメラ、タイムオブフライトという順に範囲が狭くなっていきます。レーザーによる三角測量の場合、範囲は最小ですが、精度はより良好になります。自律型ナビゲーションや障害物回避には長距離、ピッキングと配置には中距離への対応が必要です。近距離への対応は、物体の識別と検査に必要です。

ステレオ方式はほとんどの物流ロボットアプリケーションに適しており、柔軟な範囲に十分な精度で対応可能です。また比較的低コストで，耐久性も高めやすく、物体の認識に必要なカラー画像を提供します。

図2 様々な3Dビジョン技術における範囲と精度のバランス

ステレオによるイメージングの概要

ステレオによるイメージングは人間の目の3D認識のようなものです。人間の一対の目は2つの視点から見ることで、視差（2つの異なる視点から見た物体の位置のずれ）から距離を推測します。

ここでは、ステレオによる処理パイプラインの主な技術を示します。システムを使用する前に、以下の点線で示す範囲で、カメラの校正を一度行う必要があります。

図3 ステレオによる処理パイプライン

各フレームでは、まず修正のない左右のをカメラで取得し、その後の歪み補正処理で校正情報を利用します。歪み補正された画像はステレオマッチング段階に送られ、視差マップが生成されます。そして最後に、三角測量処理で視差マップを3D点群に変換します。この中で最も演算処理コストがかかるのがステレオマッチングですが、並列して行うことができるため効率化が可能です。

ステレオカメラの設計の鍵となるのは、3Dの精度です。奥行き誤差はΔZ = Z²/B⨍ Δdと表されます。これは以下の因子に依存します。

‘Z’ = 距離

‘B’ = ベースライン、2台のカメラ間の距離

‘⨍’ = カメラの視野角と画像解像度に関連する、ピクセル単位の焦点距離

この式から、奥行き誤差は距離の2乗のオーダーで増加するのがわかります。これが、ステレオカメラを長距離に用いる場合には大きな制約となります。誤差を低減する方法として、ベースラインや解像度を上げる、視野を狭くするといったことが挙げられます。

ステレオカメラの産業用アプリケーション

自律走行搬送ロボット（AMR）を利用した物流ロボティクス

倉庫や工場の生産性や効率の向上には、自動運転のロボット車両を利用して、資材の搬送を自動化するのが有効です。AMRは周囲の地図を作成し、同時に自分の居場所を地図の中に位置づけることで、SLAM（同時ローカライズとマッピング）を行います。これにより、目的地へのルートを計画し、障害物（物体または人間）を検知して、その間を移動します。

AMRの主な利点は、構造化されていない環境でも使えること、そしてスケール化が可能なことです。倉庫には特別なインフラは必要ありません。また、スタッフの安全も確保でき、複数のAMRを同時に稼動させることも可能です。

図4 ステレオカメラのユースケース –自律走行搬送ロボット（画像はOTTOおよびGideon Brothersの提供）

自律走行搬送ロボット用途に必要な標準的なステレオカメラの機能や特徴は次の通りです。

• 高いフレームレート
• 低遅延
• ロバストネス
• 校正保持
• 広い視野
• 長い作業距離
• 屋内・屋外に対応する高いダイナミックレンジ

ピッキング・配置ロボットを使用する物流ロボティクス

ステレオカメラによる物流ロボティクスには、ピッキングと配置という用途もあります。ロボットが部品や品物をピックアップし、別の場所に配置します。この用途の主要な技術としては、意思決定、環境を認識するビジョンシステム、意志決定のためのデータ処理を行う制御システム、物体を操作するためのグリッパーまたは吸着装置がついたロボットアームなどがあります。ピッキングと配置は，人間が行うよりもロボットを使うほうが精度や一貫性が高くなります。ロボットは環境の変化に対応できる柔軟性があり、繰り返すタスクに対処できるため、人間はその間により複雑な仕事に集中することができ、生産性や効率の向上につながります。

図5 ステレオカメラのユースケース –ピッキング・配置ロボット（画像は Taiga Robotics& Kindred/Ocadoの提供）

ピッキング・配置ロボットは、組み立て、パレタイズ、デパレタイズ、ビンピッキングといった様々な用途に利用できます。例えばビンピッキングでは、コンテナからランダムに配置された物体を取り除くことが目的になります。そのためにまず、ビジョンシステムが物体を認識して場所を特定し、向きを計算してグリッパーで正しくつかめるようにします。そして制御システムがロボットの軌道を決定し、その途中にある障害物を回避します。最終的に、ロボットが物体をピックアップして目的の場所に配置します。

ピッキング・配置ロボットに必要な標準的なステレオカメラの機能や特徴は次の通りです。

• 高い精度
• 低遅延
• ロバストネス
• 校正保持
• 埃っぽく湿度の高い工場環境
• 異なるサイズの物体の認識には、視野の柔軟性と作業距離が必要

実現上の課題

当社では、お客様との協議から実現上の課題をいくつか特定しました。まず3D点群の品質がイメージセンサーデータに依存するため、一般的なマシンビジョンの課題がここにも存在します。例えば、十分な照明を確保して、長時間露光による画像のブレを防ぐ必要があります。3Dデータに関する共通課題としては、3D点群品質の向上や、3Dデータ取得におけるレイテンシの低減があります。システムを現場に配置した後の実際のステレオカメラについても検討が必要です。

ロボット性能や意思決定は、取得した3D点群の品質に大きく影響を受けます。3D点群を向上するには様々な方法があります。

• センサーやステレオ解像度を高くすると、より多くの3D点群が生成できます。
• ベースラインが広いほど、解像度が高いほど、そして視野が狭いほど、3D点群の精度が高くなります。
• ステレオアルゴリズムがよいほど、密度が高くクリアな点群が得られますが、品質と速度は通常、トレードオフの関係です。
• 低いテクスチャの場合、点群密度はパターンプロジェクターを利用することで高められます。
• 点群のノイズは、メディアンフィルタ、スペックルフィルタ、テンポラルフィルタなどの後処理により低減できます。

レイテンシは、カメラのセンサーにより画像を取得してから3Dデータをホストに転送するまでの遅延のことです。低レイテンシである利点は、より速く意思決定ができ、環境への反応性が向上することです。3Dデータを高速に受信すると、後続のAI処理に時間をとることができます。次のような要因がレイテンシの低減に繋がります。

• より洗練されたカメラアーキテクチャであれば、パイプライン内のピクセル処理において前段階のモジュールが全体画像を終えるまで待たなくても画像パイプラインの後続のモジュールを開始できます。
• ステレオ処理速度が速いほど、視差画像がより早く生成でき、レイテンシを低減できます。
• 伝送帯域幅が高いほど、カメラからホストへのデータ伝送に時間がかからず、レイテンシを低減できます。

生産で利用するためにシステムを導入したら、長期間にわたり性能を継続的にモニターすることが重要です。導入後に起こりうる問題として、次のようなことが考えられます。

• カメラが間欠的に動作したり、頻繁に接続が切れる場合、不安定なインターフェイス接続が原因だと考えられるため、USBではなくEthernetなど安定した産業用インターフェイスの利用を考慮してください。
• カメラがシステムの衝撃や振動により故障する場合、より信頼性が高く、強固で、IP保護等級の高いカメラを選定してください。
• カメラが故障し、生産終了により同じモデルのカメラに取り替えられない場合、長期の保証やサポート期間を提供するベンダーの製品を利用するようにしてください。
• ロボットの性能が時間とともに劣化する場合、ステレオカメラの校正が必要な場合があります。

校正保持はステレオカメラにおいて必須です。正しく校正されたステレオカメラは、アプリケーションの意思決定性能に影響します。下の図6の上の列の画像は、正しく校正されたステレオカメラによるステレオ画像と視差画像のサンプルを示しています。下の列の画像では、校正に半ピクセル分の行ずれがある場合でも、視差画像はまだ妥当に見えますが、ずれが大きくなると、視差画像は急速に悪化して、良好な3D点が少なくなり、不良な3Dポイントが多くなる可能性が出てきます。さらに、校正誤差が大きくなると、ステレオ精度も悪化します。長期にわたって良好な校正を維持できるステレオカメラを選定することが重要です。頻繁に再校正が必要となってしまうと、現場での使用が現実的に難しくなります。

図6 ステレオカメラの校正保持の重要性（画像元https://vision.middlebury.edu/stereo/data/）

Bumblebee X ステレオカメラによる産業オートメーション強化

次世代のBumblebee® X ステレオカメラは、高解像度、卓越した精度、そして高度なオンボード処理性能を備えています。また、強固な産業用設計、IP67の保護等級、そして5 GigEインターフェイスにより、高い信頼性を保持して産業環境に統合できます。

Bumblebee Xには次のような特徴があります。

• 高解像度と高精度
• 高度なステレオアルゴリズムによるオンボード処理
• ベースライン24cmによる長い動作距離
• 柔軟な視野オプション（60°、80°、105°）
• IP67対応で、高い信頼性とロバストネスを保証
• 5ギガビットイーサネットインターフェイスによる高い伝送帯域幅と低遅延
• 長期の校正保持
• 外部のパターンプロジェクターとの互換性
• 長い製品ライフサイクル
• ROS（ロボットオペレーティングシステム）とGenICamサポート
• 使いやすく機能の多いSDK

Teledyneでは、ロボティクス専門家にとって、高速データ取得、低レイテンシ、そして高い3D奥行の精度が最重要であることを理解しています。Bumblebee X ステレオカメラには、20年以上の経験に裏付けられた校正・ステレオビジョン技術があり、単なる新たなステレオカメラというだけのものではありません。優位性を長く保持し続けているのです。以前のBumblebee ステレオカメラが達成した革新性や信頼性を注意深く保ちつつ、Bumblebee X ではさらに性能を高め、最新の産業等級を採用して5GigEオンボード処理のステレオビジョンシステムを作り上げています。

最先端の技術と持続性、汎用性を組み合わせたソリューションで、ロボティクスの未来を体験してください。効率を最大限に高め、ダウンタイムを最小限にすることで、競争の激しい業界でも常に有利な立場を保ちましょう。Bumblebee Xは、信頼性のあるイノベーションを実現します。