checkpoint 사용하여 resume=True

sooftware / kospeech

Open-Source Toolkit for End-to-End Korean Automatic Speech Recognition leveraging PyTorch and Hydra.

https://sooftware.github.io/kospeech/

Apache License 2.0

605 stars 192 forks source link

Closed miziworld closed 3 years ago

miziworld commented 3 years ago

안녕하세요, joint-ctc-attention-transformer 모델을 training시키고있는데 생각보다 훈련시간을 더 늘려야할것같아서 last model checkpoint 를 사용하여 이어서 훈련을 시키고자 합니다.

config에서는 resume=True로 바꿔주었는데 argument에서 추가로 넣어주어야하는 옵션이 있을까요? resume옵션을 어떻게 사용해야할지 질문드립니다.

miziworld commented 3 years ago

해결하였습니다 감사합니다.

sooftware commented 3 years ago

@miziworld 안녕하세요. 트랜스포머쪽에 마스크 및 인퍼런스 오류가 있던 부분을 해결하여 방금 반영했습니다. 죄송하지만 학습을 다시 하셔야 제대로 모델이 나오지 않을까 싶습니다.. ㅠ.ㅠ

miziworld commented 3 years ago

혹시 joint-ctc-attention-transformer 모델도 해당되나요? 트레이닝을 아무리 돌려봐도 긴문장은 인식이 안되고 맨앞에서 두글자 정도만 인식되네요 ㅠㅠ

sooftware commented 3 years ago

네 해당됩니다.. 마스크랑 인퍼런스 쪽에 치명적인 에러가 있어서 수정해서 반영했습니다.