Function modularity

[raki-1203]

모듈화작업 완료

1. utils_qa.py

• get_args() : model_args, data_args, training_args 받아오는 함수
• set_seed_everything() : random seed 지정해주는 함수
• get_models() : model_config, tokenizer, model 받아오는 함수
• get_data() : data_processing.py 에 만들어놓은 DataProcessor class 를 통해서 datasets 로 변경해서 반환해주는 함수
• post_processing_function() : train.py 와 inference.py 에 공통적으로 있는 부분 옮겨줌
• compute_metrics() : 공통인 부분이라 옮겨줌

2. utils_retrieval.py

• run_sparse_retrieval() : 공통인 함수는 아니지만 inference.py 에서 옮겨줌

train.py 부터 inference.py 모두 잘 돌아가는 것 확인했고

trainer_qa.py 에서 self.compute_metrics = None 해주는 부분과는 별로 상관이 없었음

물론 저걸 주석처리하면 돌아가기는 하지만 저게 원인이 아니었음

training_args.evaluation_strategy 얘한테 'steps' 라고 주니까 evaluate() 를 돌지않았던 거였음

아무튼 삽질끝에 작업 끝났고 한번 보시고 train.py 와 inference.py 는 간결해서 깔끔 👍

대신 utils_qa.py 는 길어진 건 함정

3. arguments.py

TrainingArguments 를 상속받아서 output_dir 를 고정해두고 사용할 수 있게 만들어놨구요

제 생각은 output_dir 은 건드리지 않고 project_name 을 바꿔가면서 사용하시는게 관리하기 좋지 않을까 싶어서

추가해놨습니다.

기본적인 arguments 들 설정해놨어요

4. Trainer 에 EarlyStoppingCallback 추가했음

• patience 는 7로 설정해놓음

[sangmandu]

커밋 메세지부터 내용정리까지 가독성있고 간단한 PR이네요. 고생하셨어요