20210311_勉強会メモ

[ninopira]

Converterの話

• オフィシャルの実装
  • https://github.com/tensorflow/tpu/blob/master/tools/data_converter/image_classification/image_classification_data.py
  • 1.x系をimport
  • last commit が1年前

[ninopira]

pytorch(-lightning)を使うとOOMする問題

• みんな落ちているらしい
• メモリが動的なのが理由？
• 素直にtensorflowでやるべき
• 生pytorchでBN=1でも落ちた。原因不明。
• verの問題？xlaとの兼ね合い？

[ninopira]

TPUはver-コア数で読む

• v2-512、メモリ4TBという物がある
• GCPで借りると3000$ / hour とかかかるらしい

[ninopira]

雑多メモ

• MXU
  • https://cloud.google.com/tpu/docs/system-architecture?hl=ja
  • マトリックス ユニットの略らしい

[ninopira]

tfrecordtの作り方

• CPUだと一生終わらない
• GPUで作成するのがいいらしい
  • 一気に書き出せば、CPUでも計算時間がそこまでかからない疑惑
• あとでこのnotebook見る
  • https://www.kaggle.com/chizuchizu/make-tfrecord-2-list/output

[ninopira]

pytorchチャレンジで役立ちそうな情報

• https://pytorch.org/xla/release/1.8/index.html
• TPU使う際にはlrにコア数掛ける（？）
• https://www.kaggle.com/philippsinger/xlm-roberta-large-pytorch-pytorch-tpu?scriptVersionId=38462589
• https://www.kaggle.com/abhinand05/vision-transformer-vit-tutorial-baseline
• https://www.kaggle.com/yasufuminakama/ranzcr-resnet200d-3-stage-training-step1/output?select=train.log

[ninopira]

tf-record問題(生画像読み込み問題)

• メモリは食う(2枚で400MBとか)
• 仮に速度が早くなるなら、tfrecord

[ninopira]

次回

• 生画像読み込み pytorch 1sub目指すぞい！！