bert fine-tune 에러

[ldahee]

bert 파인튜닝을 실행하기 위해 sentmodel.sh 파일의 171번째에 있는 명령어를 실행하면 에러가 뜹니다.

아래는 발생한 에러와 해당 경로의 파일 목록 입니다.

혹시 pre-trian 과정에서 문제가 있었던 것 일까요?

[ldahee]

파인튜닝 실행하는 명령어에서 pretrain_model_fname 값을 bert_model.ckpt이 아니라 model.ckpt-100000로 변경하니 에러가 발생하지 않습니다. 감사합니다!

[ratsgo]

@ldahee 님 안녕하세요, 답이 너무 늦었는지 모르겠네요. 스샷으로 보여주신 해당 디렉토리를 보니 pretrained model 체크포인트가 없어서 생기는 에러로 보이는데요. bash sentmodel.sh download-pretrained-bert를 실행하고 프리트레인 완료된 BERT를 다운받으면 다음과 같은 파일 목록이 보여야 합니다.

한편 만일 스샷에 있는 model.ckpt-100000로 파인튜닝을 한다면 해당 체크포인트에서 파인튜닝을 시작하게 됩니다.