iBotamon
commented
5 years ago どんなもの？
- 強化学習や模倣学習(Imitation learning)を用いて胸部単純X線からのレポート自動生成を行った論文
先行研究と比べてどこがすごい？
- 強化学習を採用している点
- FindingsとImpressionで生成方法を変えている点
- Impressionの生成時の入力には画像とFindingsの文章の2つを用いている
- 正常所見と異常所見のどちらを入力するかの判断を独立したモジュールとしてモデルに組み込んでいる点
技術や手法のキモはどこ？
- Policy network
- 3つのagentで構成される
- 強化学習もしくは模倣学習を採用
- agent1つ目: Planner (終了, 正常所見の入力, 異常所見の入力から次の行動を選択)
- agent2つ目: Normality Writer
- agent3つ目: Abnormality Writer
- agentへの入力は以下のとおり:
- Findingsの入力時: 胸部X線画像, これまでに生成した文など
- Impressionの入力時: 胸部X線画像, Findings, これまでに生成した文など
- 文書生成には LSTM + soft attention を使用
- Reward module
- 強化学習の報酬としてはGround-Truth Reportから計算したBLEU-4 scoreを採用
どうやって有効だと検証した？
- 2つのデータセットで検証した
- IU-Xray
- Indiana大学が提供. 3955検査. 正面像または正側2方向.
- レポートは英語. Impression, findings, indicationなどを含む
- CX-CHR
- 35500患者. 正面像または正側2方向.
- レポートは中国語. Complain, findings, impressionなどを含む
- IU-Xray
- 検証したモデルは4つ
- CMAS-IL: 強化学習モデル
- CMAS-RL: 模倣学習モデル
- CMASw: Ablation study. Writerを1個だけ用いたもの
- CMASnw,aw: Ablation study. Normality WriterとAbnormality Writerを協働させないもの
- 指標はGround-truth reportから計算したBLEU-n, ROUGE, CIDEr
- CMASwはすでに非強化学習による既存手法より高性能
- CMAS-IL より CMAS-RL のほうが性能が高い傾向
議論はある？
次に読むべき論文は？
- 読影レポート生成(非強化学習). Co-attentionを使用. これ以前のSingle attention modelではBLEU scoreは低い
- 読影レポート生成の先行研究(強化学習).
https://aclweb.org/anthology/papers/P/P19/P19-1657/