Data augmentation using generative adversarial networks(Cycle GAN) to improve generalizability in CT segmentation tasks

[zerebom]

url:https://www.nature.com/articles/s41598-019-52737-x

ざっくりまとめ

基本的にオープンデータのCT画像は造影剤が投与されていて、コントラストが強いのでsegmentationが容易。 しかし、なんらかの事情で造影剤を投与できない患者に対しても識別精度を高いモデルがほしい。

本研究では、

• 強コントラスト画像で学習->低コントラスト画像を推論
• (強コントラスト画像+CycleGANで強->低コントラストに変換した生成画像)で学習->低コントラスト画像を推論 を比較したところ、後者のほうが明らかに精度が上がった。

Abstract

Semantic segmentation用のLabel付きの医療画像を作成するのは非常に手間がかかる。 しかし、NNは大量のデータがいる。 本研究ではCycleGANを用いて、コントラストの強いCT画像を弱いCT画像に変換しこれを用いてデータ量を補強してSegmentationの精度向上を図った。

本研究ではdistribution/ non-distribution(noncontrast CT)の２つのデータセットを使って実験した。

行った実験は以下の通り

1. 通常のDAを使って non-dist vs dist data (0.09 vs 0.94)
2. CycleGANを使って non-distをcontrast CTに
   • kidney 0.09->0.66
   • liver 0.86->0.89
   • spleen 0.65-> 0.69

Introduction

医療画像にNNを用いたとき、distribusion or dataset shiftはよく問題になる。本研究ではGANを用いることでNNをロバストにするように取り組む。

CTはヨウ素を静脈に取り込むことでcontrastを強める事ができる。これにより医師はガンの見極めなどができるようになるが、染まり方が悪かったり、アレルギーなどの危険性を加味してヨウ素を使用しないでCTを撮影することも多くある。染まり方は症例の細胞の活性度やCT撮像機の性能などで大きく代わる。 多くの大学病院が公開しているオープンデータセットはcontrast を強めたものだが、実際に病院で撮像するCTはコントラストが弱いこともあり、このようなシチュエーションではdistribution shiftが起こり得る。

Methods

Preprocessing

データの測定方法

• 5-fold CV

DATA

contrast Kidney: NIH pancreas-CT (unlabeled) Liver & Spleen: Data Decathlon dataset.

no-contrast non-public screeening stduy and different hospital and for different indication CycleGAN-training images from DeepLesion dataset.

Experimental setup

実験対象

• standard aug: flip, rotation, non-rigid deformation, crop
• CycleGAN aug: ↑の実験に加えて、生データ(contrast)とgeneratedデータ(no-contrast)を半々に使用。
• hist-eq&no-aug

CV

tr/val/testを患者ごとに75/5/20%で分割。trainを多くしたいのでvalを少なくした no-contrast dataは10症例だけでtrain,valは存在しない。↑の分割ごとにテストする

Network architecture

ResConvを追加したmodified 3D UNetを使用、以下のような変更を加えてる

• Leaky ReLu
• BatchNorm->GroupNorm(16)(小さいbatchのときはこっちのが良いらしい)
• kernel7, stride2のConv(大きい範囲を見るため)
• Dicelossで計測し、valが10epoch伸びなかったら終了. testはvalで一番いいやつを使う.

Augmentation

CycleGAN

DeepLesion NIH datasetのうち、手動でcontrast(n=136)とnon-contrast(n=70)を選んで学習した。 ResNetを使って、contrast,non-contrastの判別をし、contrast >0.8 or <0.2のものだけ使用。 non-contrast CTにはnoiseが多く含まれているので、標準偏差が15HU以下のデータだけ使用した。 CTは-200~300HUをclipしてからnormarizationした。 batch-size 6で3億回(!) iterationを回した。

Hist-eq

PythonでMatLabのhisteqを実装して使用した。 hist-eqと生データを半々に使用した。

Result

全体的にCycleGANを使用すると精度向上。 non-contrast CTのkidneyに特に向上。

Voxel errorでみても同じような傾向

Discussion

• Kidneyが他の臓器に比べてAugmentationが効くのは、contrast/no-contrastのデータセットの差が大きいから(これは腎臓が造影剤の排泄に使用されるので、造影剤の影響をうけやすいため) Fig3の一番上はnon-contrast,二番目はcontrast。白い矢印を見るとわかるようにnon-contrastは隣の臓器との境界が分かりづらい。
• ガンも同じような傾向があるだろう