りんごコンペ

[ninopira]

対象コンペ

• https://www.kaggle.com/c/plant-pathology-2020-fgvc7
• チャットで「とりあえずこのコンペ」的な流れであった
• コンペ概要
  • 分類タスク
  • りんごの葉っぱが病気にかかっているかの分類
  • healty, multiple_diseases, rust(錆), scab(かさぶた？)の4種類
  • trainデータに対しては1つの葉っぱにつき、1つのラベル
  • evaluation: 4クラス分類column-wise ROC AUC
  • 画像数
  • train: 1,821枚
  • test: 1,821枚

[ninopira]

ちょっとEDA

https://www.kaggle.com/itokashi/easy-eda

healthy                                                            516
multiple_diseases                                                   91
rust                                                               622
scab                                                               592

healthy

multiple_diseases

rust

オレンジの斑点

scab

茶色の斑点

[ninopira]

TPUチャレンジ1

これをベースにしてみる

元notebook: https://www.kaggle.com/xhlulu/plant-pathology-very-concise-tpu-efficientnet?scriptVersionId=32659758 自分のnotebook: https://www.kaggle.com/itokashi/very-concise-tpu-efficientnet-copy

• 説明も丁寧に書いてそう
• Very Conciseらしい

写経+debug

作業ログ

TPU Config

tf.distribute.cluster_resolver.TPUClusterResolver()

• https://www.tensorflow.org/guide/tpu?hl=ja
• おまじない的に以下を叩く必要があるらしい
• TPUはGCSへの直読み込みを行う

  tpu = tf.distribute.cluster_resolver.TPUClusterResolver()
  tf.config.experimental_connect_to_cluster(tpu)
  tf.tpu.experimental.initialize_tpu_system(tpu)
  strategy = tf.distribute.experimental.TPUStrategy(tpu)

Create Dataset objects

• 画像と見込んでresizeしたtensorにしているだけ
• augしているだけ

コメント

• 普段tensorflowではなくpytorchを使っているのでtensorflowの書き方は初見
• tf.io.decode_jpeg - tf.image

def decode_image(filename, label=None, image_size=(512, 512)):
    bits = tf.io.read_file(filename)
    image = tf.image.decode_jpeg(bits, channels=3)
    image = tf.cast(image, tf.float32) / 255.0
    image = tf.image.resize(image, image_size)

    if label is None:
        return image
    else:
        return image, label

def data_augment(image, label=None):
    image = tf.image.random_flip_left_right(image)
    image = tf.image.random_flip_up_down(image)

    if label is None:
        return image
    else:
        return image, label

コメント

• tf.data.Datasetに.をつなげていく書き方なんですね
• https://www.tensorflow.org/tutorials/load_data/images?hl=ja

train_dataset = (
    tf.data.Dataset
    .from_tensor_slices((train_paths, train_labels))
    .map(decode_image, num_parallel_calls=AUTO)
    .cache()
    .map(data_augment, num_parallel_calls=AUTO)
    .repeat()
    .shuffle(512)
    .batch(BATCH_SIZE)
    .prefetch(AUTO)
)

valid_dataset = (
    tf.data.Dataset
    .from_tensor_slices((valid_paths, valid_labels))
    .map(decode_image, num_parallel_calls=AUTO)
    .batch(BATCH_SIZE)
    .cache()
    .prefetch(AUTO)
)

test_dataset = (
    tf.data.Dataset
    .from_tensor_slices(test_paths)
    .map(decode_image, num_parallel_calls=AUTO)
    .batch(BATCH_SIZE)
)

modelのTPUへの読み込み

• そもそもstrategy = tf.distribute.experimental.TPUStrategy(tpu)は「」TPUで分散学習しますよー」と宣言しているイメージ
  • がっつり翻訳の2次ソースだが、strategyの種類はここにまとまっている
• kerasのモデルのcompileをstrategy.scopeの内側に移すという説明らしい

with strategy.scope():
    model = tf.keras.Sequential([
        efn.EfficientNetB7(
            input_shape=(512, 512, 3),
            weights='imagenet',
            include_top=False
        ),
        L.GlobalAveragePooling2D(),
        L.Dense(train_labels.shape[1], activation='softmax')
    ])

    model.compile(
        optimizer='adam',
        loss = 'categorical_crossentropy',
        metrics=['categorical_accuracy']
    )
    model.summary()

とりあえずTPUは掴んだっぽい ただいまいちフル活用できていないっぽそう

https://www.kaggle.com/ateplyuk/fork-of-plant-2020-tpu-915e9c

感想

• 最低限はわかった。TPUを使うこと自体はそこまで複雑でない

疑問・NEXT

• TPU使用率が100%にならない
• pytorchで出来るか？

その他参考

• https://www.kaggle.com/mgornergoogle/five-flowers-with-keras-and-xception-on-tpu
• https://www.kaggle.com/ateplyuk/fork-of-plant-2020-tpu-915e9c