train.py 의 main 함수 및 data_dir argument 를 data_root_dir 로 변경
dataset.py 의 SceneTextDataset 수정
To Reviewer
input/data/ 에 다음과 같은 세 개의 텍스트 파일을 만들고,
각각의 파일에는 사용할 데이터셋 경로, 사용 train.json 경로, val.json 경로 목록을 적는다. 모두 절대경로다. (ex. data_dirs.txt에는 /opt/ml/input/data/ICDAR17_Korean, train_dirs.txt에는 /opt/ml/input/data/ICDAR17_Korean/random_split_ufo/train.json)
주의할 점 : 각 txt 파일 내 항목은 모두 순서에 맞춰 일대일 대응이어야 한다.
integrated train/valid json 파일은 input/data/에 새로 생성되는 DATASET_json 이라는 폴더 내에(아래 사진에선 ICDAR17_Korean) json파일위치폴더_train/valid_json 으로 만들어진다.
jerry-ryu
commented
1 year ago
Overview
Integrated Input dataset
Change Log
data_dirargument 를data_root_dir로 변경To Reviewer
input/data/에 다음과 같은 세 개의 텍스트 파일을 만들고,/opt/ml/input/data/ICDAR17_Korean, train_dirs.txt에는/opt/ml/input/data/ICDAR17_Korean/random_split_ufo/train.json) 주의할 점 : 각 txt 파일 내 항목은 모두 순서에 맞춰 일대일 대응이어야 한다.integrated train/valid json 파일은
input/data/에 새로 생성되는DATASET_json이라는 폴더 내에(아래 사진에선ICDAR17_Korean)json파일위치폴더_train/valid_json으로 만들어진다.wandb config의 data도 업뎃됨
다음 사항을 확인부탁드립니다
[x] 단일 train/valid.json에 대해 학습이 잘 되는가?
[x] 복수 train/valid.json에 대해 학습이 잘 되는가?
[x] wandb 에 복수 dataset이 잘 반영되는가?
[x] 그 외 기타 에러(가능성)는 없는가?
Issue Tag
12