イチゴ画像処理の検討（2023/10/5作成）

[Kizuuuuuna]

研究内容

菜園に生るイチゴのカメラ撮影により得られた画像に対して、深層学習的手法を用いた画像処理を行い、イチゴの位置検出から収穫可能なイチゴの判別、そして収穫アプローチの決定までを行うソフトウェア開発を行う。最終的には、そのシステムの実装まで実施する事を目標にする →想定して”いた”ロボットの詳細については、https://github.com/syasukawa/iagrirob/issues/14#issuecomment-1646452844 の議事録参照 ※現在は本ロボット自体の開発は中止

画像処理に関する検討項目

1. 全体の処理の流れの検討
2. イチゴの茎をどう認識するか
3. 果実下部→上部の順で、白→赤に変化・・・これに対してどのようなアプローチで成熟・未熟判断を行うか
4. 収穫アプローチをかける方向（右からor左からなど）の決定方法
5. 照明変化への対応策→色恒常性処理

[Kizuuuuuna]

「1.全体の処理の流れの検討」 に関して

1. 一旦、吉田さんがトマトの研究で採用している流れを丸パクリし、大まかな流れのベースを仮定する。 →ずっと「何からやればいいかわからない状態」でいるので、とりあえず進めることが重要だと判断。
2. その流れに対して、まずは流れ全体、もしくは工程一つ一つに対して、以下の2点を確認する
   • いちご（条件や環境、果実としての特性など）に対して、「有効・適切であるもの」/「無効・適切とは言えないもの・不要なもの」の二つに大別
   • 不足している工程はないか
3. ”有効・適切とは言えないもの”と判断したものに対して、「どのような点がどのように適していないか」を明確にして、別手法の検討のために調査を行う。
4. ”無効・適切とは言えないもの・不要なもの”と判断したものに対して、本当に適しているか・より良い別の手法はないかを検討する。

[Kizuuuuuna]

吉田さんが採用している処理フロー

＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿ 　　　　　カメラ映像 　　　　　　　↓ 　　　a. 作物位置の検出 　　　　　　　↓ b. セマンティック・セグメンテーション 　　　　による環境認識 　　　　　　　↓ 　　c. 誤分類された領域の除去 　　　　　　　↓ 　 　d. 収穫可能な作物の決定 ＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿

• a yolo？
• b セマンティック・セグメンテーション：Deeplabv3＋モデル トマト以外の領域（主軸、主軸の束、柱、その他、養液用ホースで分類）を領域抽出
• d aで検出した果実と、bで検出した障害物領域の位置関係から、収穫しない（できない）果実を決定し、検出した果実から除外する

[Kizuuuuuna]

本研究では・・・

　　　↓上記フローのコピー↓ ＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿ 　　　　　カメラ映像 　　　　　　　↓ 　　　a. 作物位置の検出 　　　　　　　↓ b. セマンティック・セグメンテーション 　　　 による環境認識 　　　　　　　↓ 　　c. 誤分類された領域の除去 　　　　　　　↓ 　 　d. 収穫可能な作物の決定 ＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿

1. 有効・適切であるもの / 無効・適切とは言えないもの・不要なもの

   1. 有効・適切であるもの・・・a. 作物位置の検出，d. 収穫可能な作物の決定
   2. 無効・適切とは言えないもの・不要なもの・・・b. セマンティック・セグメンテーションによる環境認識，d. 収穫可能な作物の決定

2. 上記iiに関して、①"どのような点が"、②"どのように適していないか"

   • b・・・①セマセグをする目的が、②環境認識（障害物検知）ではない 吉田さんの研究の場合→セマセグの目的：障害物の検知 対して本研究の場合→トマトに比べて障害物が少ないため、障害物検知を目的としたセマセグは不要 →実際にロボットのエンドエフェクタが収穫アプローチをかけるのは茎⇒収穫するには”茎”の認識が必須 →茎は小さな物体（少領域）であるため、実や茎のセグメンテーションが必要か（セマセグである必要性は別で検討） →熟度を判断するために、イチゴの実の領域の色成分や色の割合などを抽出する必要もある

   • d・・・①決定方法が、②”障害物との”位置関係ではなく、”近くのいちごや茎との”位置関係 かつ、①「収穫可能な作物の決定」ではなく、②収穫アプローチの決定 上に示している通り、”障害物の”検出はしない →”収穫したいイチゴの周辺のイチゴや茎”から、”収穫アプローチ”を決める必要がある

[Kizuuuuuna]

インスタンスセグメンテーションについて

イチゴ果実の物体認識にインスタンスセグメンテーションの使用を検討する。 インスタンスセグメンテーションである理由としては以下の2つ。

1. 収穫アプローチをかける「茎」の認識が必要であるが、実際の茎は非常に細いため、単純に正確な位置推定が難しいと考えられる。そこで、ピクセル単位で画像をいくつかのオブジェクトに分類する機械学習手法の「セマンティックセグメンテーション」が有効ではないかと考えた。
2. 当然「収穫するイチゴ」や「収穫しないイチゴ」などを検討する必要があるため、個体識別する物体検知タスクも必要

以上の二点から、セマンティックセグメンテーションタスクと、物体検出タスクを組み合わせたようなタスクである、「インスタンスセグメンテーション」が有効であると判断した。

インスタンスセグメンテーションの調査

• インスタンスセグメンテーションとは[概要] ・・・[1] 画像上やRGB-D画像に写っている「物体クラスの実例 (Instance)」の前景マスクを，各インスタンスごとに区別して検出する問題
• マスク候補生成を用いた手法
  • 2016：FAIRによるDeepMask 物体候補関心領域(ROI)検出手法にならって、スライディングウィンドウにより各位置で物体候補マスクを推定し、その候補マスクをクラス識別することで、インスタンスマスクを手に入れる戦略
  • 2016：同チームによるSharpMask DeepMaskは低解像度→高解像度化を目指して、Decoderを後半に追加してネットワーク構造のU-Net化を行ったもの。 この時期にFCN(Fully Convolutional Network)を物体検知技術に組み込むことでインスタンスセグが登場「各画素が、物体矩形のどの相対グリッド位置に相当しているか」もFCNへ同時に学習させることで複数インスタンスを区別するInstance-Aware FCNを用いた手法が登場。代表例二つ↓
  • 2016：R-FCN(Region-baced FCN) Faster R-CNNの後半ステージをInstance-Aware FCNへと拡張させる戦略
  • 2017：FCIS(Fully convolutional Instance-aware semantic segmentation) R-FCNで提案されたInstance-Awareなスコアマップの出力を，ROI内での前景領域を推定するinsideスコアマップと，ROI矩形内の背景領域を推定するoutsideスコアマップの２つのマスクを推定する．insideマスクを画素ごとにsoftmaxすれば前景マスクが手にはいり(セグメンテーション)，outsideマスクを画素ごとにmaxしてクラス投票するとROIの物体クラスが推定できる(クラス識別)．すなわち，FCISは「ROI外」,「ROI内-Outside領域」,「ROI内-Inside領域」の3つに分けて，FCNでスコアマップを学習を行う．
  • 2017：Mask R-CNN 領域提案内でしかFCNを行わない路線の最新手法。インスタンスセグメンテーションの決定版手法に。
• Mask R-CNN
  • 前半処理にはFaster R-CNNの領域提案ネットワーク(RPN)を採用し、後半処理には「FCNによる、ROI内の物体マスク推定ヘッド」を追加しただけのシンプルなネットワーク構造である。
  • ROI Poolingの、空間位置合わせ具合を改善したROI Align層が提案された。 →領域候補内の特徴がより一合わせされた形で2ステージ目に受け渡せるようになった。
  • 旧来手法(FCNなど)の弱点であった、「インスタンス間の余分な誤り領域出力」がなくなり、ROI Alignのおかげでマスク境界部分も正確に推定できるようになった。→大幅に物体領域マスク精度を更新。

＜参考＞

[1] CVMLエキスパートガイド, インスタンスセグメンテーション. https://cvml-expertguide.net/terms/dl/instance-segmentation/ ( [2] Qiita, YOLOの進化系YOLACT,YOLOACT++の徹底解説, https://qiita.com/miiuchu/items/12181952452aba73d6c1 )

[Kizuuuuuna]

インスタンスセグメンテーションの実装に向けたモデルの調査

※https://github.com/open-mmlab/mmdetection 参照

• RTMDet (ArXiv'2022)

  • AP：RTMDet-Ins-mモデル(真ん中)で 42.1
  • リアルタイム性：良

• BoxInst (CVPR'2021)

  • AP：バックボーンR-101で 32.7
  • リアルタイム性：

• SparseInst (CVPR'2022)

  • AP：バックボーンR-50で 32.9
  • リアルタイム性：良 44.3fps

• CondInst (ECCV'2020)

  • AP：バックボーンR-50で 36.0
  • リアルタイム性：

• SCNet (AAAI'2021)

  • AP：バックボーンR-50-FPNで 40.0
  • リアルタイム性：難 6.2fps　

• QueryInst (ICCV'2021)

  • AP：バックボーンR-50-FPNで 39.8
  • リアルタイム性：

• SOLOv2 (NeurIPS'2020)

  • AP：バックボーンR-50で 34.8
  • リアルタイム性：

[Kizuuuuuna]

作業記録：イチゴ画像のアノテーション作業に関する調査

作業記録（2023_11_9）

アノテーション作業を実施する際に、安川先生より「フェノタイピング」に関して調査・参考するようにご助言を頂いたため、セグメンテーションタスクに着目してフェノタイピングに関する文献調査を行った。