e4exp
commented
4 years ago Can we trust deep learning based diagnosis? The impact of domain shift in chest radiograph classification
- paper
- https://arxiv.org/abs/1909.01940
- Eduardo H. P. Pooch, Pedro L. Ballester, Rodrigo C. Barros
- github
- データセット
- ChestX-ray14, CheXpert, MIMIC-CXR, PadChest
- project
まとめ
- どんなもの？
- 医用画像は撮像した機器などによってデータの分布が異なるため，モデルが実際に使用される際にdomain shiftを引き起こす可能性がある．4つの胸部x線データセットについて，１つで学習したモデルを他の３つでテストする実験を行い，モデルの性能へのデータセットの影響を検証し，実世界のシナリオではモデルの性能が落ちることが予想されるとしている
- 先行研究と比べてどこがすごい？
- 同様の研究はない
- 技術や手法のキモはどこ？
- DenseNet121ベースのCheXNet[8]を再現したモデルを使用したマルチラベル分類．ImageNetで事前訓練
- ChestX-ray 14のみがoriginal splitがあり，CheXpert, MIMIC-CXRは公開されておらず，PadChestには存在しない．これらにはデータをランダムに再サンプルしてChestX-ray14の分割と同じ比率で分割
- ラベルがデータセットごとに異なるので，すべてのラベルで訓練し，4データセット間で共通ラベルのみ報告
- どうやって有効だと検証した？
- 各データセットのピクセル輝度のヒストグラムを比較して分布が異なることを示した
- AUCによりマルチラベル分類の性能を評価し，その結果によってdomain shiftを評価
- 議論はある？
- CheXpertとMIMIC-CXRはピクセル輝度の分布が近いが，それ以外のデータセットは異なる
- CheXpertとMIMIC-CXRは変動が少ない．PadChestとChestX-ray14は自身のtest setが最もよく，他のデータセットでは落ちる
- ChestX-ray14のlabelerはその信頼性に疑問があり，[17]はラベルが画像の内容を適切に表していないとしている
- CheXpertとMIMIC-CXRは他２つのテストセットに対しても上手くいっている．逆は成り立たない
- ドメインシフトの影響を事前に減らすためのvalidation方法として，小さいデータセットを，モデルを利用する予定の特定のマシンから作成して，大規模データセットで事前訓練してからその小さいデータでfine-tuneすることを提案している
-
次に読むべき論文は？
-
[12]
- Javanmardi, M., Tasdizen, T.: Domain adaptation for biomedical image segmentation using adversarial training. In: Proceedings of the 15th International Symposium on Biomedical Imaging. IEEE (2018)
- GANによるdomain adaptation
- Javanmardi, M., Tasdizen, T.: Domain adaptation for biomedical image segmentation using adversarial training. In: Proceedings of the 15th International Symposium on Biomedical Imaging. IEEE (2018)
-
[13]
- Johnson, A.E., Pollard, T.J., Berkowitz, S., Greenbaum, N.R., Lungren, M.P., Deng, C.y., Mark, R.G., Horng, S.: Mimic-cxr: A large publicly available database of labeled chest radiographs. arXiv preprint arXiv:1901.07042 (2019)
- GANによるdomain adaptation
- Johnson, A.E., Pollard, T.J., Berkowitz, S., Greenbaum, N.R., Lungren, M.P., Deng, C.y., Mark, R.G., Horng, S.: Mimic-cxr: A large publicly available database of labeled chest radiographs. arXiv preprint arXiv:1901.07042 (2019)
-
[14]
- Litjens, G., Kooi, T., Bejnordi, B.E., Setio, A.A.A., Ciompi, F., Ghafoorian, M.,van der Laak, J.A., van Ginneken, B., S´anchez, C.I.: A survey on deep learning in medical image analysis. Medical Image Analysis 42, 60–88 (Dec 2017)
- GANによるdomain adaptation
- Litjens, G., Kooi, T., Bejnordi, B.E., Setio, A.A.A., Ciompi, F., Ghafoorian, M.,van der Laak, J.A., van Ginneken, B., S´anchez, C.I.: A survey on deep learning in medical image analysis. Medical Image Analysis 42, 60–88 (Dec 2017)
-
[15]
- Madani, A., Moradi, M., Karargyris, A., Syeda-Mahmood, T.: Semi-supervised learning with generative adversarial networks for chest X-ray classification with ability of data domain adaptation. In: IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018). pp. 1038–1042. IEEE (apr 2018). https://doi.org/10.1109/ISBI.2018.8363749, https://ieeexplore.ieee.org/document/8363749/
- GANによるdomain adaptation
- Madani, A., Moradi, M., Karargyris, A., Syeda-Mahmood, T.: Semi-supervised learning with generative adversarial networks for chest X-ray classification with ability of data domain adaptation. In: IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018). pp. 1038–1042. IEEE (apr 2018). https://doi.org/10.1109/ISBI.2018.8363749, https://ieeexplore.ieee.org/document/8363749/
-
[16]
- Mahmood, F., Chen, R., Durr, N.J.: Unsupervised reverse domain adaptation for synthetic medical images via adversarial training. IEEE Transactions on Medical Imaging 37, 10 (Jun 2018)
- GANによるdomain adaptation
- Mahmood, F., Chen, R., Durr, N.J.: Unsupervised reverse domain adaptation for synthetic medical images via adversarial training. IEEE Transactions on Medical Imaging 37, 10 (Jun 2018)
-
[17]
- Oakden-Rayner, L.: Exploring large scale public medical image datasets. Tech. rep., The University of Adelaide (2019), https://arxiv.org/pdf/1907.12720.pdf
- ChestX-ray14のラベルが画像の内容を表していないとしている報告
- Oakden-Rayner, L.: Exploring large scale public medical image datasets. Tech. rep., The University of Adelaide (2019), https://arxiv.org/pdf/1907.12720.pdf
-
[18]
- Rajpurkar, P., Irvin, J., Zhu, K., Yang, B., Mehta, H., Duan, T., Ding, D., Bagul, A., Langlotz, C., Shpanskaya, K., et al.: Chexnet: Radiologist-level pneumonia de-tection on chest x-rays with deep learning. arXiv preprint arXiv:1711.05225 (2017)
- Chexnet．本論文で実験に使用したモデル
- Rajpurkar, P., Irvin, J., Zhu, K., Yang, B., Mehta, H., Duan, T., Ding, D., Bagul, A., Langlotz, C., Shpanskaya, K., et al.: Chexnet: Radiologist-level pneumonia de-tection on chest x-rays with deep learning. arXiv preprint arXiv:1711.05225 (2017)
-
- その他
ディープラーニングモデルが普及する一方で、目に見えないデータを扱い、どのようなシナリオに対しても一般化する能力はまだ課題となっています。 医用画像処理では、画像を生成する機器やそのパラメトリック化によって、画像間の分布に高い不均一性がある。 この不均一性は、ドメインシフトと呼ばれる機械学習における共通の問題を引き起こします。 ドメインシフトが大きいと、モデルの一般化性能が低下する傾向がある。 本研究では、胸部X線写真の4つの最大データセットについて、ドメインシフトの程度を評価する。 異なるデータセット（例えば、ChestX-ray14でのトレーニングとCheXpertでのテスト）でのトレーニングとテストがモデルの性能にどのように影響するかを示し、公開データセットでトレーニングされたディープラーニングモデルの信頼性に大きな疑問を投げかけた。 また、CheXpertとMIMIC-CXRで訓練されたモデルは、他のデータセットに対してより一般化していることを示しています。