search

ratsgo / embedding

한국어 임베딩 (Sentence Embeddings Using Korean Corpora)
https://ratsgo.github.io/embedding
MIT License
452 stars 129 forks source link

p.220 코드 5-31 ELMo pre-training 관련 질문드립니다. #115

Closed geniusseok11 closed 3 years ago

geniusseok11 commented 3 years ago

nohub sh -c "python models/train_elmo.py --train_prefix 'data/sentence-embeddings/elmo/pretrain-ckpt/traindata/* --vocab_file data/sentence-embeddings/elmo/pretrain-ckpt/elmo-vocab.txt --save_dir data/sentence-embeddings/elmo/pretrain-ckpt --n_gpus 1" > elmo-pretrain.log 를 입력하면 "bash: nohub: 명령어를 찾을 수 없음"이라는 오류 문구가 발생합니다. 어떻게 해결할 수 있나요?

HyeonminNam commented 3 years ago

안녕하세요. 저 같은 경우도 해당 코드에서 문제가 생겨서 --train_prefix 뒤의 옵션을 수정하였더니 일단 train이 시작되기는 했습니다. 'data/sentence-embeddings/elmo/pretrain-ckpt/traindata/ 위 부분을 'data/sentence-embeddings/elmo/pretrain-ckpt/traindata/' 로 작은 따옴표를 끝에 추가하였더니 train은 돌아갔습니다. 그러나 훈련 과정 중에 또 아래와 같은 메시지가 발생하면서 훈련이 되지 않아 이를 해결하고 있는 중입니다. 세그멘테이션 오류 (core dumped) 혹시 @geniusseok11 님께서 훈련을 완료하셨다면 이런 문제가 없었는지 여쭙고 싶습니다.

ratsgo commented 3 years ago

@geniusseok11 @HyeonminNam 님 질문해주셔서 감사드립니다. 해당 엘모 프리테이닝 스크립트는 마스터의 sentmodel.sh에 반영돼 있는데요. 그 내용은 다음과 같습니다.

스크립트를 다음과 같이 실행해보시겠어요? 혹시 실행이 안되거나 이슈가 있다면 여기에 추가로 남겨주시면 감사하겠습니다.

git pull origin master
bash sentmodel.sh pretrain-elmo