記録

[TamuraMasayuki]

ToDo

• [x] WGANとの比較
  • [x] 加藤くんの論文を確認
  • [x] 同様のパラメータで学習
• [x] VAEGANの学習
  • [x] パラメータ調整
• [x] Encoder Lossの高止まり解消
  • バッチサイズを大きくすると見えてくる
• [x] JMAGの環境設定
  • [x] モジュールのインストールを試す
  • [x] 加藤くんに相談
• [x] JMAGとPythonを繋げる
• [x] Physics GANの構築
• [x] ゆがみ度の導入
• [ ] Schedulerの導入
• [x] 説明性の向上
  • [x] 潜在変数の可視化

[TamuraMasayuki]

Encoder Lossが高止まりしてしまう

• Batch sizeが小さいときは最初から小さいので気づきにくいが、値が大きいまま0に近づかない

• latent loss（KLダイバージェンス）が大きい。つまり平均と分散が0、1に収束していっていない。

• なぜ？

• [x] ともりさんのデータでlossが下がるか確認する

• [x] データ1つで学習

[TamuraMasayuki]

卒論の方向性

• 確率分布による違い
• 閾値の変え方の違い
• 大きな枠組みとしては、潜在変数による解釈性と物理ベースモデルになる

[TamuraMasayuki]

ToDo 複数トポロジーの形状生成

• [ ] 密度法とレベルセット法を理解
• [ ] GANに取り込む

[TamuraMasayuki]

2023/5/22

• .clone().detach()は間違っているものとして進める
• パラメータチューニングをしてある程度の精度がでるようにする
• JMAGで計算できる割合を出し、低すぎたら後処理を加える
• pganを回す

[TamuraMasayuki]

• 加藤くんのがたつき解消方法との比較
• jmagがちゃんとできているか
• wganとの比較

[TamuraMasayuki]

2023/6/13

• 潜在変数の話

• 連続的に形が変わると思っている

• やらずにpganだけやってもいいけど、

• オンライン学習

• 形状1つでやって、もう一つでやった時にどう変わるか

• 学習のさせ方（データの数）を研究する

• 潜在変数の評価にもつながる

• dropoutをonにする

• 青木さんの修論

• 最後の推論もdropoutをonにする

• outputがばらつく→ばらつきが大きければ

• あるラベルと潜在変数

• 平均値を持っておいて、

• 結局は信頼性が高いか低いかを知りたいだけ

[TamuraMasayuki]

2023/06/14

• 潜在空間にどう分布しているか
• 形状、トルク、面積
• スライドバー動かしたらどうなるか可視化してみたい

[TamuraMasayuki]

2023/7/11

やったこと

ラベルにトルクと面積の両方を入れて学習

• 解析可能な形状が1%にも満たなかった
• phiを入れて学習→加藤くんのパラメータを参考にするも、元々のロスが大きいためほとんど変化なし
• phiの値を大きく調整するも学習が安定せず

  可視化

• トルクと面積については当然にばらついている
• 形状のデータがなく、加藤くんに元データをもらったところ、古いデータセットを使っていたことが判明→新たに学習し直しているところ
• スライドバーで可視化したところ形状の変化が見て取れるので上手くいっていそうな雰囲気

  オンライン学習

• 一つの形状だけを学習させて、もう一つの形状を再学習させる
• 20,000エポックずつ学習させたが、中間的な形状が生成されるようになってしまった

[TamuraMasayuki]

• フォンミーゼスフィッシャー分布（４つで学習して潜在空間を見る）
  • 学習できていない潜在変数部分ではどうなっているかも見る
• 追加学習の検証（形状の数と生成形状についても検討）
• 計算可能な形状の割合を増やす
• phiとほかのロスの値の推移を確認する

[TamuraMasayuki]

von Mises Fischer分布

• https://github.com/nicola-decao/s-vae-pytorch/tree/master

[TamuraMasayuki]

信頼性の評価

• 青木さんの修論を参考にする
• 最後の推論においてdropoutをonにする
• outputがばらつかどうかを評価の指標とする
• 結局は信頼性が高いか低いかを知りたいだけなので、平均値を記録しておいて、あるラベルと潜在変数がその平均値に対して高いか低いかを記録すればよい

質問

• dropout率
• ばらついているかは各座標の標準偏差でよいか

[TamuraMasayuki]

オンライン学習

• 複数の形状を学習させるのは難しいかもしれない
• 1つずつ学習
• 2つを同時に学習
• 1つを学習させた後にもう1つを学習
• 学習後のモデルがどう違うかを見て、オンライン学習の実現可能性を確認する

[TamuraMasayuki]

2023/8/1

• ロスの各項の意味を理解する
• オンライン学習が動くようにする
• 計算可能な形状割合を増やす

[TamuraMasayuki]

ロス

discriminator

• real画像のロス
• 生成画像のロス
• 勾配損失

encoder

• KLダイバージェンス
• realと再構成画像の二乗誤差

decoder

• fakeのロス
• realと再構成画像の二乗誤差

[TamuraMasayuki]

2023/8/1

• 青木さんの読んで信頼性の評価
• 追加学習の潜在変数の可視化
• phiの値をチューニング

[TamuraMasayuki]

dropout追加時のエラー対応

        # labelt_dim + class_num
        self.model = nn.Sequential(
            *block(latent_dim+CLASS_NUM, 64, normalize=False),
            *block(64, 128, dropout=0.2),
            *block(128, 256, dropout=0.2),
            *block(256, 512, dropout=0.2),
            *block(512, 1024, dropout=0.2),
            nn.Linear(1024, coord_size),
            nn.Tanh()
        )

decoder.load_state_dict(torch.load(G_PATH, map_location=torch.device('cpu')))

RuntimeError: Error(s) in loading state_dict for Decoder:
    Missing key(s) in state_dict: "model.7.weight", "model.7.bias", "model.7.running_mean", "model.7.running_var", "model.10.weight", "model.10.bias", "model.11.running_mean", "model.11.running_var", "model.15.weight", "model.15.bias", "model.15.running_mean", "model.15.running_var", "model.18.weight", "model.18.bias". 
    Unexpected key(s) in state_dict: "model.5.weight", "model.5.bias", "model.6.running_mean", "model.6.running_var", "model.6.num_batches_tracked", "model.8.weight", "model.8.bias", "model.9.weight", "model.9.bias", "model.9.running_mean", "model.9.running_var", "model.9.num_batches_tracked", "model.12.weight", "model.12.bias", "model.12.running_mean", "model.12.running_var", "model.12.num_batches_tracked". 
    size mismatch for model.6.weight: copying a param with shape torch.Size([256]) from checkpoint, the shape in current model is torch.Size([256, 128]).
    size mismatch for model.11.weight: copying a param with shape torch.Size([1024, 512]) from checkpoint, the shape in current model is torch.Size([512]).
    size mismatch for model.11.bias: copying a param with shape torch.Size([1024]) from checkpoint, the shape in current model is torch.Size([512]).
    size mismatch for model.14.weight: copying a param with shape torch.Size([292, 1024]) from checkpoint, the shape in current model is torch.Size([1024, 512]).
    size mismatch for model.14.bias: copying a param with shape torch.Size([292]) from checkpoint, the shape in current model is torch.Size([1024]).

[TamuraMasayuki]

2023/10/28

質問

• おすすめのscheduler
• 学習に時間がかかるので論文を書き始めたい
• 時間があれば次のトピックとして複数トポロジーと生成モデルに取り掛かりたい
• 各トピックが独立しているように感じるが論文の構成はどうするか