落書き認識モデルの作成・調査

[Kosuke-Sugimoto]

概要

落書きデータセット を用いて、MobileNetV3 を retrain し、どれくらいの精度が出るのか検証する

[ 追加タスク ] Model Optimization Toolkit を用いて、↑ で retrain したモデルの量子化を図る

[Kosuke-Sugimoto]

※ 雑に組んだスクリプトで実験したため、loss の遷移は TensorBoard に書き込まず標準出力で出力しています

【実験条件】 ・モデルは MobileNetV3_large（ImageNet で訓練済み） ・データセットは quickdraw-dataset 　・用いたクラスは、 　　bird, cat, dog, fish, scorpion, snake, spider, sword, tiger, rifle, leaf 　　の計 11 種 　・train, test の分割割合は 9 : 1 　・train, test の画像枚数は「イテレーション数 × バッチ数」で 　　train：44533 × 32 　　test：4949 × 32 ・5 epoch まで実施

【実験結果】 1 epoch：92.41%、2 epoch：92.75%、3 epoch：93.11%、4 epoch：93.24%、5 epoch：93.20% 4 -> 5 で loss の低下が見られたため、5 で一旦打ち止め

[Kosuke-Sugimoto]

本当は ・クラスに other クラスを設けて関係ない奴はそこに分類 ・データには結局本番で認識できなかった画像が含まれているハズだからそれを除く だとかやった方が良いはずだけど、一応の指標としては見れるハズ

[Kosuke-Sugimoto]

@zaki709 @ide-jun @Kazuya-Niimi ・使うカテゴリ（変身先）はどれ・いくつにするか 　⇒ https://github.com/googlecreativelab/quickdraw-dataset/blob/master/categories.txt 　⇒ ↑ ここから選ぶ感じかも ・認識に失敗した場合の対応について 　⇒ 失敗したら変身できない（上のコメントの other クラスを定義してそれに分類させる） 　　 ↑ これの問題点としては other にきちんと分類されず、犬を書いたのに猫に分類される場合が確率低いがあり得ること 　⇒ or 誤分類させたカテゴリに変身させる（other クラス定義せず、どれかには分類させる）

ここらへん 2 つは決めたいかも

[Kosuke-Sugimoto]

@zaki709 @ide-jun @Kazuya-Niimi 後、落書きデータセット使ったもの作るときには連絡入れなきゃみたいだから、どっかのタイミングで入れないとかも

We're sharing them here for developers, researchers, and artists to explore, study, and learn from. If you create something with this dataset, please let us know by e-mail or at A.I. Experiments.

↑ こんな感じで GitHub には書かれてた

[zaki709]

了解

[Kosuke-Sugimoto]

TODO：

• [x] wandbでの学習状況記録
• [x] EarlyStopping
• [x] 数 epoch 毎にモデルを保存
• [x] wandb へ学習させたカテゴリも保存

[Kosuke-Sugimoto]

ひと段落ついたので done にします

[Kosuke-Sugimoto]

ついでに close にします