視覚誘導ロボットがChameleon3を使用してトマトの木を刈る

トマトの木から葉を刈り取る作業は比較的単純な作業であり、従来は手作業で茎の低い部分にある古い葉を刈っていました。 商業栽培されるトマトでは、1週間に一度の頻度でこの工程が実施されており、これによりトマトが熟すのを促進します。 しかしながら、この工程に必要な労働力と、この単調な作業にやる気のある労働力を見つけることは、予測不可能でコストがかかることから、最近オランダの商業トマト生産業者組合は、代替の解決策を生み出すべく、Privaの自動化専門家との連携を開始しました。 両者の尽力により、温室栽培のトマトの葉を刈る手作業の代わりとなり、経済的にも実現可能な代替案をトマト生産者にもたらすロボットの開発と最適化が実現しました。

システムの設計を担うPriva開発チームのメカトロニクス設計エンジニア、Tomas de Boer博士によると、Kompano Deleaf-Lineロボットは、通路の両側にトマトの木が一定間隔で植えられている温室で、通路に敷かれたレーン上を移動します （図1）。 ビジョンシステムと伸縮自在のカッターを備えたロボットは、トマトの木から木へと順に移動し、葉を特定して刈り取ります。

図1：Kompano Deleaf-Lineロボットは、通路の両側にトマトの木が一定間隔で植えられている温室で、レーン上を移動します。 ビジョンシステムと伸縮自在のカッターを備えたロボットは、トマトの木から木へと順に移動し、葉を特定して刈り取ります。

設計上の課題

システムの開発において、Privaのエンジニアは、視覚ベースのロボットシステムを、商業温室内の困難な環境条件で日中も夜間も継続的に稼働できるようにする必要がありました。 そのためシステムは、トマトの葉身を茎につなぐ小さな緑の葉柄を、多数の青葉の中から特定できる必要がありました。さらに、明るい日光や人工光、光がまったくない夜間に至るまでのさまざまな照明条件の下での稼働が必要でした。 

これらの課題を解決するために、開発者は、伸縮自在のアーム付きカッターとともに、移動可能なプラットフォームに取り付けられた1組の立体カメラの周りにビジョンシステムを構築することにしました。 OnSemi製1280 x 1024解像度のPythonセンサーを備えた2組のPoint Grey Chameleon3 カメラからそれぞれカスタムで構築された立体カメラは、トマトの木の左側から右側までの広い視界を撮影します。 （図2）。

図2：ロボットのビジョンシステムは、伸縮自在のアーム付きカッターとともに、移動可能なプラットフォームに取り付けられた1組の立体カメラを使用します。 ステレオカメラ - 各々、OnSemi 1280 x 1024の解像度のPythonセンサーを搭載した2組の  Chameleon 3カメラからカスタムビルトされていて、トマトの木々の左および右側の両方のワイドな視界を捉えます。

「温室の照明条件に関係なく、各ステレオカメラはトマトの木々の信頼性の高い画像を撮影することができ、システムは木々を照射するXenonストロボ光を駆使します。 ストロボは2秒ごとに光を放つため、ストロボが立体カメラをトリガーし、30ミリ秒の間隔で画像を露光します。 そのため、システムは毎回、一様な画像一式を撮影できます。」de Boer博士はこのように述べています。

2台の立体カメラが1組の画像を撮影すると、それらの画像は、USBインターフェイス経由で、オープンソースのUbuntuオペレーティングシステムとRobot Operating System（ROS）を実行しているPCに転送されます。ROSは、さまざまなプラットフォームでロボットアプリケーションを構築するためのオープンソースのソフトウェアフレームワークであり、Open Source Robotics Foundation, Inc.（OSRF）によってホストされています。

システムソフトウェア

次に、OpenCVのカスタム画像処理機能を使用して、両カメラが撮影した画像を処理することで、トマト生産者によって事前に定義された高さの範囲内にある葉の場所を、トマトの木ごとに特定します。 葉の場所を特定したら、画像処理ソフトウェアは、ロボットアームの先端のカッターで刈る葉柄の正確な3次元座標を算出します。

画像処理ソフトウェアによって生成された座標データは、Robot Operating System（ROS）に送信され、ROSは、伸縮自在のロボットアームを木の適切な場所まで動かすモーターを駆動するインテリジェントなサーボドライブ一式にデータを転送します。 アームが目的の場所に到達すると、アーム先端のカッターが葉柄を切ることで、トマトの木から葉を刈り取ります （図3）。

1組の立体カメラは、ロボットアームと同じプラットフォームに取り付けられているため、アームが移動して、あるまとまった葉柄を刈ると、カメラも新しい場所に移り、異なる視野で木の画像をさらに撮影します。

「これらの新しい画像は、葉が刈り取られている間に並行処理されるため、その後の作業でその木から刈り取る必要のある葉をさらに特定できます。 この反復的な作業は、システムがその木から刈り取る必要のある葉を検知できなくなるまで続けられます。 最終確認を行った後に、葉を刈る作業は終了します。ロボットは、通路に沿って温室内の次の木に移動します。」de Boer博士はこのように述べています。 

図3：画像処理ソフトウェアがトマトの木で葉柄の場所を確認すると、そのデータを使用して、伸縮自在のロボットアームが適切な場所まで動かされます。 アームが目的の場所に到達すると、アーム先端のカッターが葉柄を切って葉を刈り取ります。

仕上げのタッチ

現在、Kompano Deleaf-Lineロボットの開発者は、オランダのトマト生産者組合のメンバーと協働して、システムの試作プロトタイプを仕上げています。 
来年初めにロボットがようやく使用できるようになるときには、Privaと協働するその組合のメンバーが、最初にシステムを利用します。 生産者組合が注文するロボットの数に応じて、2017年6月から他のトマト生産者もロボットを利用できるようになります。 今年6月の時点で、オンラインでロボットを事前注文することも可能です。

葉を刈り取るロボットを使用すると、茎における葉の密集状態によって0.75～1ヘクタールのトマトの木を管理できると予想されています。 大規模な施設では、生産者は複数台のロボットを使用するか、自動システムと労働力とを組み合わせるかを選択できます。

de Boer博士によれば、トマトの葉を刈るロボットは、同社が園芸市場向けに開発を計画している数多くのロボットの第一号です。 これらの次世代システムは、きゅうりをはじめとする野菜の収穫など、労働力が集中的に必要となる他の作業を自動化するでしょう。 

Priva Group概要

Privaは成長のための環境を作り出します。 同社は、環境条件と工程管理を最適化するテクノロジーの開発と創造を先導しています。 ソフトウェア、ハードウェア、サービスを独自に組み合わせることで、園芸、ビルディングオートメーション、およびその中間にあるすべてのものに対して、ソリューションを提供します。
 www.privagroup.com