Prototypical multiple instance learning for predicting lymph node metastasis of breast cancer from whole-slide pathological images

[younnggsuk]

Prototypical multiple instance learning for predicting lymph node metastasis of breast cancer from whole-slide pathological images

TL;DR

• 각 WSI마다 서로 다른 tumor의 형태와 크기 (inter-tumoral heterogeneity, macro / micro-metastases)에서 성능 개선을 위한 MIL 방법 제안
• WSI마다(intra WSI)의 cluster와 이들을 통해 WSI간(inter WSI)의 cluster를 구하는 방식으로 서로 다른 tumor의 형태와 크기를 모델이 고려할 수 있도록 하였음
• lymph node metastases of breast cancer (BCLNM) 데이터에서 다른 MIL들에 비해 좋은 성능을 보임

Review

• MIL의 pooling(어떤 patch를 고려할 것인지?)을 개선한 것이 아니라, MIL의 patch feature(모델에 patch로부터 정보를 어떻게(또는 어떤 정보를) 전달할 것인지?)를 고려한 논문으로 보임
  • Selective pooling이라면서 pooling 내용이 있긴 한데, 큰 novelty가 없는듯
• 2 step의 clustering을 통해 구한 prototype으로 WSI 내외부 모두에서의 다양성을 학습했다는게 인상깊었음
• 그런데 clustering에 따라 성능이 크게 좌우될 것 같음 (그래서 특정 데이터셋 (BCLNM)만 집중적으로 실험한게 아닐까…)

[younnggsuk]

Method Detail

• PD Module
  • 2단계의 unsupervised clustering으로 prototype을 찾음
    1. intra-slide clustering (WSI의 patch들간 clustering), WSI마다 가지는 대표적인 특성을 여러 prototype으로 추출하는 것
    2. inter-slide clustering (WSI간의 clustering), 1에서 뽑은 prototype들로부터 WSI마다 가지는 특성을 prototype으로 추출하는 것
• PSE Module
  1. Metric Learning (matching) WSI로부터 추출한 각 patch feature들을 PD Module에서 구한 prototype들과 matching(by metric learning)하면서, 각 patch마다 prototype이 얼마나 있었는지에 대한 일종의 frequency를 계산 (논문에서는 soft-assignment histogram이라 표현)
  2. Top-K Selector WSI로부터 추출한 각 patch feature로부터 FC layer를 이용해 positive class와 가장 연관된 top k개 patch를 구함
  3. Selective Pooling Top k개의 patch들에 대한 soft-assignment histogram 값을 통해 최종 classification을 수행