search

axinc-ai / ailia-models

The collection of pre-trained, state-of-the-art AI models for ailia SDK
1.98k stars 317 forks source link

ADD max deeplab #444

Open kyakuno opened 3 years ago

kyakuno commented 3 years ago

https://github.com/conradry/max-deeplab mit

hattan1990 commented 3 years ago

学習済みのモデルがないため、coco_panopticデータを用いて学習を実施

COCOデータセット https://cocodataset.org/#download ・2017 Panoptic Train/Val annotations [821MB] ・2017 Train images [118K/18GB] ・2017 Val images [5K/1GB] ・2017 Test images [41K/6GB]

hattan1990 commented 3 years ago

nested tensor(独自のデータ型)で学習が行われているため、ONNXエクスポートの際にエラーが発生。 →nested tensoerをtorch tensor型に変換して、学習・推論を実施する

hattan1990 commented 3 years ago

・pytorch==1.5.1でないと、ONNXエクスポート時にエラーが発生する ・opset=11に設定するとエラーが発生するため、opset=12で設定

hattan1990 commented 3 years ago

サンプルファイル通りの学習（1バッチ分しか学習していない）では精度がかなり低いため、 学習部分の処理を修正し精度改善を行う必要がある。

hattan1990 commented 3 years ago

@kyakuno ailia SDKで推論を来なった際に、このようなエラーが発生しています。

ailia.core.AiliaInvalidLayerException: code : -10

おそらく、onnxエクスポートの際にopsetを12に設定しているため、ailia側が対応していないのではないかと思われます。 ご確認よろしくお願いします。

hattan1990 commented 3 years ago

【モデルの学習】 ・学習データに30以上のmaskが存在する場合エラーが発生。 　→CUDAエラー（RuntimeError: CUDA error: device-side assert triggered）として現れる ・1エポック（画像数が12万枚程）あたりの24時間ほど学習時間がかかる 　→Google Colaboratory(Tesla T4)で学習を実施 　→モデルの精度を上げるためには、300～500エポックは必要

hattan1990 commented 3 years ago

今回は、推論デモを行う画像に絞って学習を行う。 （すべての画像に対して学習を行っていると、学習の時間がかかりすぎてしまうため）