Closed book QA 구현 (포기)

[raki-1203]

📌 희락 ⏳ 10월 19일 12시 /

• [x] Closed book QA 구현을 위한 Dataset 재구성
• [x] Closed book QA 구현
  • [x] 구현 중 model 에 input 이 들어갔을 때 nan 값이 나오는 이유 찾는 중

한국어 데이터로 학습된 seq2seq 모델인 KETI-AIR/ke-t5-small-ko 사용할 예정

구현하면서 점점 Closed book 이라기보다는 generation 모델을 만드는쪽으로 가고있네요ㅠㅠ

뭔가 학습은 진행이 되는데..... eval score 가 0으로 박히는 점이 너무 거슬리는데 해결이 안되네요 ㅠㅠ

3일동안 붙잡았는데 놔줘야 할까 싶네요

주피터에서나 파이참으로 구현했을때나 로스가 줄어들면서 학습은 되는데 eval EM Score 나 f1 Score 가 0에서 변화가 없네요

trainer.evaluate() 한 결과구요

저는 이제 손절할거에요 ㅎㅎ

validation 데이터 몇개 뽑아서 테스트해보는데 다 같은 답만 내놓는거보고 더이상 하기 싫어졌는데....

혹시 다른분들이 하고 싶은 마음이 생긴다면 도전해보세요!!

저는 잘 모르겠습니다ㅠㅠ

졌네요 얘한테...