안녕하세요. 이전까지 kospeech로 모델을 학습하다가 재학습과 관련해서 문제가 생겨 이번에 openspeech로 모델 학습을 테스트 하고 있습니다.
kospeech에선 문장의 띄어쓰기를 csv 파일에 ' '와 같이 스페이스 바 빈칸으로 처리하여 학습과 추론에 적용한 것으로 보였는데, openspeech에선 \<blank>로 대신하는 듯 하여 csv 파일 내용도 로 변경하여 학습을 진행하였습니다.
학습 자체는 문제 없이 잘 진행되었는데, 학습된 모델을 hydra_eval.py에 적용하여 문장 추론을 진행하였더니 추론한 문장에선 띄어쓰기가 모두 생략되어 WER과 CER을 측정하는 것 같았습니다. 이것이 의도된 결과인 지 제가 kospeech에서 사용하던 csv 등을 잘못 변경해서 학습한 결과인 지 궁금합니다.
그리고 kospeech에선 빈칸도 transcript상에 빈칸의 id값인 3으로 표시 되었었는데 openspeech로 작성된 transcript에선 빈칸에 대한 id값 표시는 생략된 것처럼 보입니다. 이것도 정상적으로 처리된 것인가요?
❓ Questions & Help
안녕하세요. 이전까지 kospeech로 모델을 학습하다가 재학습과 관련해서 문제가 생겨 이번에 openspeech로 모델 학습을 테스트 하고 있습니다.
kospeech에선 문장의 띄어쓰기를 csv 파일에 ' '와 같이 스페이스 바 빈칸으로 처리하여 학습과 추론에 적용한 것으로 보였는데, openspeech에선 \<blank>로 대신하는 듯 하여 csv 파일 내용도로 변경하여 학습을 진행하였습니다.
학습 자체는 문제 없이 잘 진행되었는데, 학습된 모델을 hydra_eval.py에 적용하여 문장 추론을 진행하였더니 추론한 문장에선 띄어쓰기가 모두 생략되어 WER과 CER을 측정하는 것 같았습니다. 이것이 의도된 결과인 지 제가 kospeech에서 사용하던 csv 등을 잘못 변경해서 학습한 결과인 지 궁금합니다.
그리고 kospeech에선 빈칸도 transcript상에 빈칸의 id값인 3으로 표시 되었었는데 openspeech로 작성된 transcript에선 빈칸에 대한 id값 표시는 생략된 것처럼 보입니다. 이것도 정상적으로 처리된 것인가요?
Details
kospeech 학습 때 사용한 csv와 txt 파일 내용 일부
![ko_trans](https://user-images.githubusercontent.com/44114405/209038141-8c1f93e8-cf70-461c-bce0-ed62a099ec8f.png)
openspeech 학습 때 사용한 csv와 txt 파일 내용 일부
![open_trans](https://user-images.githubusercontent.com/44114405/209038220-74b50c07-915b-4369-a28d-fbb7efc0bb71.png)
openspeech 위 데이터를 통해 테스트 학습한 모델 eval 결과![eval](https://user-images.githubusercontent.com/44114405/209038443-c3f3db40-c2e2-4b69-9c00-2fb8a767ca07.png)