[WORK] CLIP 모델 선정

[cyh5757]

WORK PLAN

• [ ] 모델 선정 : 멀티 모델 CLIP
• [ ] 사용 프레임워크 : tensorflow
• [ ] tabular data(dignoses data) 와 MRI image 사용하여 학습.
• [ ] image encoder(huggingface tfclip, pretrained vit, resnet50) 와 text encoder(huggingface tfclip, bert)를 조합해가며 성능 비교.
• [ ] inference에서는 특정 MRI image를 사용했을때, 그 image 관련 text data 추출

ISSUES

문제상황

1. CLIP 모델의 input data 중 text data가 없는 상황
2. Image(30 slice)에 쌍으로 들어가는 text가 없는상황

예상 해결 방안 list

• [ ] 손으로 직접 각 이미지에 대한 진단 text 작성
• [ ] text를 llm을 통해 생성
• [ ] RESULTS 부분에 작성한 paper의 경우를 사용하면 30쌍에 다 맞는 text를 넣을 필요성이 없음. 30장의 weight를 MEAN을 통해 사용

(해결시) 해결방법

CLIP 모델을 이해와 구현까지는 가능했지만, 데이터가 부존재로 불가능해짐. 대신 langchain을 통해 tabular2text generation을 알게되었지만, 결과의 가능성과 성능이 모호해 보류

RESULTS

• 해당 작업 최종 결과 가능성 높은 brain classification CNN류의 pre trained 모델을 사용한 존재하는 paper 구현 후 baseline으로 사용할 예정. 이후, 같은 patch svdd 와 swin transformer로 변경

ETC.

dignoses data 와 image data를 사용하는 방식을 생각했지만, 적은 데이터로 CLIP을 fine-tuning하기에는 부족하다.