search

Toshiki-Keio / wolvez2022

0 stars 0 forks source link

使用特徴画像の選別について #9

Open masato1004 opened 1 year ago

masato1004 commented 1 year ago

ARLISSにおいて使用する特徴画像の決定

本issueのモチベーション

特徴画像を14種類に増やすのではなく、事前学習の特徴量の時刻歴を見ることによって数を絞りつつ使用する特徴画像を決定したい

  • 能代では10種類の特徴画像から特徴量の抽出をおこなっていたが、より高精度な危険度算出を目的として14の特徴画像への拡張を予定していた
  • 14特徴画像を生成するコードへの変更を加えた上でのEtoE試験を行った際、想定以上の計算量圧迫が見られた

    特徴画像の種類

    能代特徴画像 処理内容
    1 normalRGB 撮影データそのもの
    2 R redデータのみ抽出したデータ
    3 G greenデータのみ抽出したデータ
    4 B blueデータのみ抽出したデータ
    5 RG red,greenデータのみ抽出したデータ
    6 RB red,blueデータのみ抽出したデータ
    7 GB green,blueデータのみ抽出したデータ
    8 HSV 色相, 彩度, 明度(cv2による表現方法の変更)
    9 Edge(Canny) cv2.Canny()を用いたエッジ検出
    10 Edge(Laplacian) cv2.Laplacian()を用いたエッジ検出
追加特徴画像 処理内容
11 VARI 植生指標の一つ
$\mathrm {VARI} = (g-r)/(g+r-b)$
12 RGBVI 植生指標の一つ
$\mathrm {RGBVI} = (g×g-r×b)/(g×g+r×b)$
13 GRVI 植生指標の一つ
$\mathrm {GRVI} = (g-r)/(g+r)$
14 IOR 酸化鉄比
$\mathrm {IOR} = r / b$

ARLISSで使用する10種特徴画像の候補（井上）

時刻歴画像リンク：特徴画像別事前学習特徴量時刻歴

選定基準

  1. 特徴量の時刻歴が非スタック及びスタック画像のフレームとどれだけ一致しているか
  2. データレンジが安定しているか

本来は定量的な評価を行いたいところだがとりあえず目視

定量的な評価方法

  • 特徴画像別に特徴量の生データでそれぞれ危険度算出及びリスク評価を行い、実際のラベリングとの正解率によって1.の評価を行う
  • 特徴画像別に特徴量のデータレンジがウィンドウごとの差の二乗和で比較し2.の評価を行う

    選定結果

    特徴画像 結果（有効なものに◯）
    1 normalRGB △(スタック画像以外の場所でも大きな反応)
    2 R ◯
    3 G △(kurtがスタック画像以外の場所でも大きな反応)
    4 B ◯
    5 RG △(スタック画像以外の場所でも大きな反応)
    6 RB ◯
    7 GB △(一部除いてスタック画像以外の場所でも大きな反応)
    8 HSV ◯
    9 Edge(Canny) △(常に一定のばらつき)
    10 Edge(Laplacian) ◯
    11 VARI ◯
    12 RGBVI △(win4のみ反応, その他一定値)
    13 GRVI ◯
    14 IOR △(外れ値さえなければ◯)
    ◯の数 7

<<独断と偏見による10特徴量>>

9とか8種類とかに減らして計算速度上げる手も大いにあると思ってます
R B RB HSV Laplacian
VARI GRVI IOR G RGBVI

--IOR画像-- ior-win4 ior-win5 ior-win6

-- G画像 -- green-win4 green-win5 green-win6

-- GB画像 -- emerald-win4 emerald-win5 emerald-win6

-- RGBVI画像 -- rgbvi-win4 rgbvi-win5 rgbvi-win6

masato1004 commented 1 year ago

IOR画像のkurt以外の特徴量の時刻歴

ior-win4 ior-win5 ior-win6

Toshiki-Keio commented 1 year ago
masato1004 commented 1 year ago

@Toshiki-Keio

植生指数について

  • エッジ処理edgeとEnphasisで被っている
    • より性能の高いEnphasisを採用
  • 植生指数は複数ある
    • ダミーとしてRGBVIを採用。他の二つは精度高く出てるが、ARLISS環境には植物はないので、植生指数はあまり多くなくて良いと思いました
  • RGとGBはあまり精度が良くない
    • 消してもいいかもしれないと思いました。ただそうなるとなぜRBだけ考えてるんですかって言われそうなのが不安。
    • もしかするとRB,GB,RG全て消してもいいのかもしれないとも感じた。
  • 従来でいうenphasis(Laplacian)のみ使用しようと思います
  • ARLISSでも一部突然草が生えているところも存在するそうなので、少なくともvari,rgviのどちらかは入っていた方がいいと思ってます
  • R,G,Bの全てが特徴画像に含まれているためRG,RB,GBは確かに消しても問題はなさそうな気がしますが、むしろ全て入れる手もあります

    現段階で使用する予定の特徴画像

    使用特徴画像
    1 R
    2 B
    2 G
    3 HSV
    4 Laplacian
    (enphasis)
    5 IOR
    6 GRVI
    7 RGBVI
    8 RG?
    9 RB?
    10 GB?
Toshiki-Keio commented 1 year ago

使用する特徴処理決定

使用する特徴画像
1 R
2 B
3 G
4 RB
5 RG
6 GB
7 Laplacian
(enphasis)
8 HSV
9 RGBVI
10 IOR