e4exp / paper_manager_abstract

0 stars 0 forks source link

GANs for Medical Image Synthesis: An Empirical Study #476

Open e4exp opened 3 years ago

e4exp commented 3 years ago

GAN(Generative Adversarial Networks)はますます強力になってきており、複製するように訓練されたデータセットの内容を模倣した、心を揺さぶるようなフォトリアリスティックな画像を生成します。 医用画像の分野では、GANが現実的なRGB画像を生成するのと同様に、実用的な医用データを生成するのにも効果的であるかどうかが、一つのテーマとなっている。 この論文では、医用画像処理におけるGANの利点を評価するために、複数のGANと複数のアプリケーションの研究を行いました。 基本的なDCGANから、より洗練されたスタイルベースのGANまで、様々なGANアーキテクチャを、3つの医療画像モダリティと臓器、すなわち心臓Cine-MRI、肝臓CT、RGB網膜画像でテストしました。 GANは、よく知られた広く利用されているデータセットで学習され、そこからFIDスコアを計算して、生成された画像の視覚的鋭さを測定した。 さらに、これらの生成画像で学習したU-Netのセグメンテーション精度を測定することで、GANの有用性を検証しました。

その結果、GANには、医用画像処理に適さないものもあれば、はるかに優れたものもあり、一長一短であることがわかった。 最も性能の高いGANは、FID基準で現実的な医療画像を生成することができ、視覚的チューリングテストで訓練された専門家を欺くことができ、いくつかの指標に準拠している。 しかし、セグメンテーションの結果を見ると、どのGANも医療データセットの豊かさを完全に再現することはできないことがわかる。

e4exp commented 3 years ago

I. はじめに

この10年間,機械学習は広く採用されてきましたが,その主な理由は,深層ニューラルネットワークの登場と,さまざまな医用画像処理タスクにおけるその最先端の結果です。 一方,Goodfellowら[1]によるGenerative Adversarial Networks (GAN)の登場により,生成モデリングとデータ合成は,これまでに達成されたことのない質の高いレベルに達しました. GANの研究はますます加速し、繰り返すたびに画質の限界を押し上げていきました。 おそらく、Brockら[2]のBig GANによる画質の飛躍的向上は特筆すべきものでしょう。 その後間もなく、Style GAN[3]によって、生成される画像の品質と多様性が劇的に向上し、非常にリアルな高解像度の人の顔が表示されるようになりました。 GANが自然画像で達成した印象的な結果に触発され、本研究の目的は、データセットが小さく、解剖学的要件が厳しいことでよく知られる分野である医療データで、GANがどの程度の性能を発揮するかを評価することです。

A. 医用画像解析

医用画像解析は、ほとんど、あるいは全く侵襲的な処置なしに、患者の状態に関する情報を抽出することを目的としています。 医用画像は、磁気共鳴画像(MRI)、コンピュータ断層撮影(CT)、陽電子放射断層撮影(PET)、超音波(US)など、複数のモダリティのいずれかから取得された画像です。 取得された画像は、画像解析やコンピュータビジョン技術を用いて処理され、データに関する有用な情報が抽出されます(例えば、症例が正常か病的かの分類など)。 臨床現場で最も日常的に行われる作業の一つが、画像の輪郭形成(セグメンテーション)です。 画像のセグメンテーションとは、画像の中で特定のクラスに属する部分をアウトライン化する作業です。 例えば、心臓MRIの場合、血液量や収縮率を測定する目的で、左心室の空洞や心筋を描出することがある。

近年、機械学習や深層学習は、コンピュータビジョンの多くのタスクで前例のない成果を上げており、医用画像のコミュニティから大きな関心を集めています。 しかし、機械学習ソフトウェアはまだ臨床現場で広く採用されていません。 その主な理由は、ニューラルネットが特定の条件下(領域の適応、異なる撮影プロトコル、データの欠落など)ではまだエラーを起こしやすいという事実です。 これは、ニューラルネットが特定の条件(領域の適応、異なる収集プロトコル、データの欠落など)ではまだエラーを起こしやすいことが主な理由です。 例えば、コンピュータビジョンのゴールドスタンダードであるImageNet[4]データセットには、1400万枚以上のアノテーションが施された画像が含まれていますが、一般的な医用画像データセットはそれよりも桁違いに小さいものです。 これは、医用画像データセットの作成が、データの機密性や、信頼性の高いアノテーションを行うために必要な高度に特殊なドメイン知識のために、コスト的にも困難であるためです。 医用画像のトレーニングデータが少ないことから,トレーニングセットを獲得するための他の方法を模索することが,活発な研究分野となっている[5].

e4exp commented 3 years ago

VI. 結論

現在、医用画像解析における深層学習アプローチの使用は、膨大なアノテーション付きデータセットへのアクセスが限られているために妨げられている。 この限界に対処するため、本研究では、3つの異なるデータセットを用いた実験的アプローチにより、医用画像合成ツールとしてのGenerative Adversarial Networksの限界と有望な側面の両方を検証した。 その結果、医用画像データのソースとしてのGANの有効性は、たとえ生成された画像が実際のデータとほとんど区別できないとしても、必ずしも信頼できるものではないことがわかった。 また、従来のGANの評価基準は、タスクベースの評価に比べてロバスト性が低いことも指摘されています。 本研究は、医療データの微妙な違いを考慮に入れたGANの研究を促進し、より優れた生成モデルの開発につながることを期待しています。