Related Works

[ChoiDM]

1. Deep Learning in Diagnosis of Maxillary Sinusitis on Conventional Radiograph (@seunghyunni)

2. Improvement diagnostic accuracy of sinusitis recognition in paranasal sinus X-ray using multiple deep learning models (@Impku)

3. Deep-learning classification using convolutional neural network for evaluation of maxillary sinusitis on panoramic radiography (@HanBJaaaaaa)

4. Performance of deep learning object detection technology in the detection and diagnosis of maxillary sinus lesions on panoramic radiographs (@ChoiDM)

[Impku]

2. Improvement diagnostic accuracy of sinusitis recognition in paranasal sinus X-ray using multiple deep learning models 관련 정리
   • Task: x-ray를 이용한 부비동 축농증 식별

• Data: 내부데이터: 정상환자 2430명, 축농증 환자 2430명, 총 4860명의 paranasal sinus (PNS) X-ray슬라이스 / 외부 테스트: 데이터 160례 정상 80명, 축농증 80명

• Pre-processing: 1) resize: 224*224 [ratio조정을 위해 zero-padding 사용] 2) crop: Bounding박스를 이용한 크로핑 3) data agumentation: reversed left to right / rotating -30,-10,10,30 degrees 4) labling: binary classification[Normal/sinusitis] 5) split dataset: train (70%), validation (15%), test (15%)

• Model: ImageNet으로 pre-trained 된 VGG-16, VGG-19, ResNet-101 VGG-16, VGG-19 parameters factor for L2 regularization = 0.004 max epochs = 35 mini-batch = 10 ResNet-101 factor for L2 regularization = 0.001 max epochs = 60 mini-batch = 64 Majority decision Model 위의 세가지 모델을 이용해 Activation Map을 생성 후 각 모델에서 accuracy가 90%이상인 부분만 남김 세가지 모델의 accuracy 90%이상인 부분을 중첩부분에서는 intersection, 중첩되지 않은 부분에서는 union을 사용해 activation map에 표기 실행환경: Intel Xeon E5-2643 3.40 GHz CPU, 256 GB memory, and Quadro M4000 D5 8GB GPU using MATLAB

• Results Accuracy Training set: VGG-16(99.8%), VGG-19(99.8%), ResNet-101(99.9%),Majority decision(99.9%) Validation set: VGG-16(87.8%), VGG-19(90.7%), ResNet-101(90.1%),Majority decision(91.3%) Test set(내부): VGG-16(87.4%), VGG-19(90.8%), ResNet-101(93.7%),Majority decision(94.1%) Test set(외부): VGG-16(87.58%), VGG-19(87.58%), ResNet-101(92.12%),Majority decision(94.12%) AUC Test set(내부): VGG-16(0.891), VGG-19(0.891), ResNet-101(0.937),Majority decision(0.948) Test set(외부): VGG-16(0.877), VGG-19(0.877), ResNet-101(0.929),Majority decision(0.942)

• Limitation 1) 모든 기관의 장비모델 및 X-ray 결과가 다르기 때문에 모델 재현율이 낮음 2) 제안된 Majority알고리즘은 부비동염의 유무 판단에 최적화 되어있음. frontal, ethmoid, sphenoid 등은 알수 없음.

• 논문 특이점 1) 사용된 모델이 상당히 심플함, but 자체 결과는 나쁘지 않음 2) 다른 모델 결과를 조합해서 더 나은 결과(Majority decision)를 도출해냈음 [결과가 좋긴하지만 이 방법이 과연 합리적인 방법일까...] 3) Argumentation할때 +-30 degree가 합리적이라고 설명하고 있음 [논문의 이유는 너무 많이 돌릴시 축농증의 위치 결과가 바뀌어 잘못 학습될 가능성이 있다고함...] 4) 결과를 설명할때 right, left,bilateral 데이터를 나눠서 보여줌 [데이터톤에서도 다양한 축농증 위치가 있을것이라 예상됨] 5) 저자에 의하면 Alexnet과 GoogleNet을 사용해 봤지만 위에서 사용된 네트워크 보다 성능이 낮게 나오고(<90%), activation map에서 정확한 위치를 못잡아 냈다고함. 이 이유를 커널사이즈가 달라서 이런 형상이 발생했다고 분석함. VGG-16,VGG-19,ResNet 모두 3*3 커널을 사용

[seunghyunni]

1. Deep Learning in Diagnosis of Maxillary Sinusitis on Conventional Radiograph 정리

• Task: Water's view radiopraph( X- 선 빔이 궤도 선에 대해 45 ° 각도를 이루는 X-ray 영상) 에서의 maxillary sinusitis(염증성 축농증) 자동 진단

• Data: 직접 레이블해서 생성한 데이터

1. train data: 8000장
2. validation data: 1000장
3. test data: - external test set(n = 140), geographic external test set ( n = 200)

• Pre-processing:

1. 전처리: 다이콤 형식 X-ray 영상들을 7x7 (cm) --> 70mm * 70mm 사이즈로 센터 크롭 이후 left maxillary sinuses 에 해당하는 영상을 horizontal flip하여 추가 데이터로 이용함. 이후, 모든 이미지들을 224x224사이즈로 bilinear interpolation 통해 upsampling하여 사용
2. augmentation: random scaling, random translation, random contrast modification.

• Model:

1. 10개의 residual block과 하나의 fc layer로 이루어진 ResNet 사용
2. conv layer마다 batch normalization 사용
3. cross-entropy loss 사용 / RMSProp optimizer 사용
4. lr 0.01에서 시작하여 1000 step마다 0.94 decay rate으로 줄음
5. batch 48
6. Xavier weight initialization

• Results:

  1. temporal external test set: AUC 0.93 / Sensitivity 0.77 / Specificity 0.94
  2. geographic external test set: AUC 0.88 / Sensitivity 0.56 / Specificity 0.99

• Discission: Class Activation Map (CAM)을 뽑아본 결과, 가장 sinusitis 가 잘 발생하는 지역에선 mucus(점액), 또는 mucosal thickening 이 잡혔다. 반대로 non-sinusitis 의 경우에는 bony wall (코뼈) 부분이 잡혔다.

[HanBJaaaaaa]

3. Deep learning classification using convolutional neural network for evaluation of maxillary sinusitis on panoramic radiography

   -

   Task: panoramic X선(파노라마 영상) 영상을 이용하여 (maxilary sinusitis)상악동염을 진단하고 diagnostic performance를 clarify.

   Data: 내부데이터:

   • training data : 400명의 정상인과 염증 환자 데이터를 사용(상악동염 위치에 따라 4그룹(양쪽 다 정상, 좌, 우 감염, 양측 감염)으로 분류하고 남자 50,여자 50으로 나누어짐).

   • test data : 30명의 양쪽 모두 정상인 사람과 과 60명의 unilateral한 염증환자 데이터 사용

   Pre-processing:

4. crop: ROI를 200x200로 crop

5. data agumentation: Infan View SW의 필터들을 이용하여 smaple 6000개까지 늘림(로테이션은 사용하지 않음), Table 3 참조

   -

   Model: Alexnet CNN 라이브러리 V5.0 사용

   epochs : 200 사용 환경 :Ubuntu OS v. 16.04.2 with 128 GB of memory and 11 GB of GPU memory (NVIDIA GeForce GTX 1080 Ti).

   -

   Results Accuracy DL : 87.5%, Radiologist : 89.6%, (Dental) Resident : 76.7%

   Sensitivity

   DL : 86.7%, Radiologist : 90.0%, Resident : 78.3%

   Specificity

   DL : 88.3%, Radiologist : 89.2%, Resident : 75.0%

   Positive predictive value

   DL : 88.1%, Radiologist :89.6%, Resident : 75.0%

   Negative predictive value

   DL:86.9%, Radiologist : 89.9%, Resident : 77.6%

   AUC

   DL : 87.5%, Radiologist : 89.6%, Resident : 76.7%

   -

   Conclusion

   DL 시스템이 방사선 전문의에 가까운 퍼포먼스를 보였고, 치과 Resident보다는 훨씬 높은 퍼포먼스를 보임( Dental resident가 전문의인지 전공의인지는 파악이 잘 안되네..)

   -

   특이사항

   • 기본적인 Alexnet(V5.0 라이브러리)를 사용하였고, 딥러닝 모델들간의 비교가 아닌 Human doctor/dentist 와 비교한 논문.

   • augmentation을 rotation하지 않고 brightness, contrast, sharpness, gamma correction, blur, middle value 등의 필터들을 사용하여 진행함.

첨부. Table3

2020년 9월 19일 (토) 오후 12:29, seung hyun Hwang notifications@github.com님이 작성:

1. Deep Learning in Diagnosis of Maxillary Sinusitis on Conventional Radiograph 정리

   -

   Task: Water's view radiopraph( X- 선 빔이 궤도 선에 대해 45 ° 각도를 이루는 X-ray 영상) 에서의 maxillary sinusitis(염증성 축농증) 자동 진단

   Data: 직접 레이블해서 생성한 데이터

2. train data: 8000장

3. validation data: 1000장

4. test data: - external test set(n = 140), geographic external test set ( n = 200)

   • Pre-processing:

5. 전처리: 다이콤 형식 X-ray 영상들을 7x7 (cm) --> 70mm * 70mm 사이즈로 센터 크롭 이후 left maxillary sinuses 에 해당하는 영상을 horizontal flip하여 추가 데이터로 이용함. 이후, 모든 이미지들을 224x224사이즈로 bilinear interpolation 통해 upsampling하여 사용

6. augmentation: random scaling, random translation, random contrast modification.

   • Model:

7. 10개의 residual block과 하나의 fc layer로 이루어진 ResNet 사용

8. conv layer마다 batch normalization 사용

9. cross-entropy loss 사용 / RMSProp optimizer 사용

10. lr 0.01에서 시작하여 1000 step마다 0.94 decay rate으로 줄음

11. batch 48

12. Xavier weight initialization

    • Results:

13. temporal external test set: AUC 0.93 / Sensitivity 0.77 / Specificity 0.94

14. geographic external test set: AUC 0.88 / Sensitivity 0.56 / Specificity 0.99

    • Discission: Class Activation Map (CAM)을 뽑아본 결과, 가장 sinusitis 가 잘 발생하는 지역에선 mucus(점액), 또는 mucosal thickening 이 잡혔다. 반대로 non-sinusitis 의 경우에는 bony wall (코뼈) 부분이 잡혔다.

[image: image] https://user-images.githubusercontent.com/57741623/93658122-c0242a00-fa73-11ea-9e47-ad2fa303dea6.png

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/CCIDS/KHD2020/issues/1#issuecomment-695157681, or unsubscribe https://github.com/notifications/unsubscribe-auth/AH6HX3RVKAF6CNQLTESL5ZTSGQQSVANCNFSM4RRZP2WQ .