Closed in-sukim closed 8 months ago
utils/preprocessing.py 수정 사항입니다. 그리고 tokenizing 함수 내에서 args로 인자를 받아서 tokenizer 정의하고, max_length 인자로 받도록 구현하였습니다.
그 외에 import 과정에서 module이름 변경한 부분과 train.py 에서 구현한 preprocess 적용할 수 있도록 변경하였습니다.
Train 과정에서 성능지표 값이 좀 이상해서 한번 더 확인해보겠습니다
utils/preprocessing.py 수정 사항입니다. 그리고 tokenizing 함수 내에서 args로 인자를 받아서 tokenizer 정의하고, max_length 인자로 받도록 구현하였습니다.
그 외에 import 과정에서 module이름 변경한 부분과 train.py 에서 구현한 preprocess 적용할 수 있도록 변경하였습니다.