Lossが発散してしまう

[Kanazawanaoaki]

密集もしていない、しかもTrainとTestが一緒である簡単なデータセットを作成して学習をしてみたが、上手く行かずLossが発散してしまった。

[Kanazawanaoaki]

labels.txtにあとで画像を追加する予定だったトマトも含めていたのだが、データセットにトマトが存在しないためにrecallのようなものを計算する際などに０除算してlossが発散しているのでは無いかと考えた。
しかし、labels.txtからtomatoを抜いた物を作ってみましたが、lossの発散は止まりませんでした。

[Kanazawanaoaki]

Tensorboardでの可視化をよくみると、

それぞれのGround Truthで一つづつラベルが出ていないのがわかる。
これはhttps://github.com/k-okada/coral_usb_ros/blob/add_docker/docker/scripts/create_tf_record.py#L64-L66 に関連する？

ひとつの画像でひとつの物体しか写っていないデータが多く含まれるデータセットを作っていたので、その画像に対してラベルが出されず、変な教師データになってしまっていたのでlossが発散してしまっていたのではないかと思う。

[Kanazawanaoaki]

とりあえず、ダミーのポリゴンをつけてデータセットを作ることでlossは発散しなくなり、やろうとしていた学習を行う事ができるようになった。

[knorth55]

@Kanazawanaoaki これはどのデータセットでおきていますか？

[Kanazawanaoaki]

取り急ぎ、 https://github.com/Kanazawanaoaki/cook_eyes/issues/3#issuecomment-629791824 のラベルが出ていないデータセットは
trainのみアノテーションしたデータ：https://github.com/Kanazawanaoaki/cook_eyes/tree/master/food_detector/food_only_data/four_veg_data
確認用にtrainとtestを同じにしてあるVOC形式データセット：https://github.com/Kanazawanaoaki/cook_eyes/tree/master/food_detector/food_only_data/four_veg_data_tts_dataset

https://github.com/Kanazawanaoaki/cook_eyes/issues/3#issuecomment-629792162 のダミーのアノテーションを入れてあるデータセットは、
trainのみアノテーションしたデータ：https://github.com/Kanazawanaoaki/cook_eyes/tree/master/food_detector/food_only_data/try_dummy_later
確認用にtrainとtestを同じにしてあるVOC形式データセット：https://github.com/Kanazawanaoaki/cook_eyes/tree/master/food_detector/food_only_data/try_dummy_later_dataset

です。今googleドライブに上げているのでアップロードが終わり次第そちらをリンクで共有します。

[knorth55]

これって、この間のrotationの問題は解決されてますか？

[Kanazawanaoaki]

解決前のプログラムを使ってVOC変換をしたものですが、横向きで撮ったのでrotation問題はおきていなかったです。

[knorth55]

なるほど、ありがとうございます。 元々はこのデータセットだと何も学習できてないってことですよね。 一応このcommitで治ったかな、いまチェック中なのでdlboxのdocker imageにはまだ変更が反映されていませんが、 https://github.com/knorth55/coral_usb_ros/commit/50cdc16b61ed9dc59b6c6116f35c75d9a82cb043

[knorth55]

[Kanazawanaoaki]

元々はこのデータセットだと何も学習できてないってことですよね。

そうです。学習ができなくてhttps://github.com/Kanazawanaoaki/cook_eyes/issues/3#issuecomment-629791824 のようにでたらめなボックスが出るだけになっていました。

ちゃんとラベル付けも出て学習もできるようになっていますね。ありがとうございます！

[knorth55]

dlbox1のdocker imageも更新したので時間があれば試してみてください。

[Kanazawanaoaki]

ありがとうございます。試してみて、うまく行きました！