ミニトマト収穫ロボット

Python 版との違い

元は harvest.py と scene.py(Python、OpenCV)です。実の見分け方・近づき方・つかんで切って運ぶ順番・場面(鉢植え 6 個・かご)は同じです。違いは次のとおりです。

• 画像処理は OpenCV を使わず、自前の小さな実装です(色の変換、色の範囲での切り出し、小さなノイズを消す処理、つながった領域のラベル付け)。
• Python 版は距離カメラ(RGB-D の D)で実までの距離を測っていました。ブラウザでは距離の画像が出せないので、「ミニトマトの半径は 13 mm」と分かっていることを使い、画面に映った実の大きさから距離を推定しています。実が葉に隠れて小さく見えると、距離の推定がずれます。
• カメラの画像は、色をそのまま(影や反射なしで)描いた three.js の画像です。実機のカメラなら、照明で色が変わるので、しきい値の調整が必要になります。
• 逆運動学(手先の位置から関節の角度を求める計算)は、mink ではなく自前の減衰つき最小二乗法です。向きより位置を優先します。
• かごへ運んで指を開いたあと、実が開いた指の板の上に乗ったままになることがあったので、手首を 90° ひねって落とす動きを足しました(Python 版にはありません)。かごへ運ぶときの手先の位置も、実が手のひら側へずれる分を見込んで調整しています。
• 「へたを切る」は、茎と実をつなぐ拘束を外すことで表しています(元と同じ)。ブラウザ版の MuJoCo は拘束のオン・オフを直接は切り替えられないので、拘束の相手を実自身に付け替えて外しています。
• 葉の配置は乱数の種が同じでも Python 版と同じにはなりません(見た目だけで、衝突はしません)。
• 動画・画像の書き出しはありません。