[수정 요청] 전체 데이터셋 단위로 텍스트 파일 저장 및 CNN 데이터 병합 기능 추가

[lawliet62]

문제 설명

현재 기계 평가의 단위는 전체 데이터셋이어야 하지만, 현재 코드에서는 서브 데이터셋 단위로만 텍스트 파일을 저장하고 있습니다.

서브 데이터셋의 목적은 모든 데이터를 대상으로 인간 평가를 진행할 수 없으므로, 일부 데이터를 선별하여 인간 평가를 수행하기 위함이었습니다.

하지만 이제 인간 평가가 완료되었으므로, #file:main.py를 수정하여 전체 데이터셋을 텍스트 파일로 저장하는 기능을 구현해야 합니다. 이 과정에서 #file:dataset_to_txt.py 파일도 수정이 필요할 것으로 보입니다.

---

추가 요청 사항

1. CNN 데이터 병합 작업

   • cnn.csv와 cnn_highlight.csv 파일의 데이터를 병합해야 합니다.
   • 병합된 데이터는 taaco_score를 하나의 변수로 표현할 수 있어야 합니다.

2. 수정이 필요한 모듈

   • #file:calculate_taaco_score.py: 병합된 데이터 기반으로 최종 점수 계산을 구현해야 합니다.

---

기대 결과

• 전체 데이터셋 단위로 텍스트 파일을 저장할 수 있도록 main.py 및 dataset_to_txt.py를 수정.
• CNN 데이터 병합 과정을 구현하고, 병합된 데이터에서 taaco_score를 올바르게 계산할 수 있도록 코드 수정.
• 최종적으로, 모든 데이터가 적합한 형태로 평가 및 점수화될 수 있도록 코드 구조를 개선.

---

요청 사항

• 코드 수정:
  • main.py 및 dataset_to_txt.py에서 전체 데이터셋을 텍스트 파일로 저장하는 기능 구현.
  • CNN 데이터 병합 작업과 이를 반영한 calculate_taaco_score.py 수정.
• 테스트 케이스 추가:
  • 전체 데이터셋과 병합된 CNN 데이터를 기반으로 점수 계산이 제대로 수행되는지 확인할 수 있는 테스트 케이스 작성.

---

레이블

• bug
• enhancement
• help wanted
• data processing

[lawliet62]

최종 스코어 계산할 때, 예를 들면 taaco의 가중치가 0.4면 cnn의 경우만 cnn과 cnn_highlight로 0.2식 나누어서 계산해야 될 듯. 자세한 내용은 회의 때.