sooftware / kospeech

Open-Source Toolkit for End-to-End Korean Automatic Speech Recognition leveraging PyTorch and Hydra.
https://sooftware.github.io/kospeech/
Apache License 2.0
605 stars 192 forks source link

음성인식된 문장을 JSON 파일 형식으로 분류 가능한가요 #161

Closed merlionfish closed 2 years ago

merlionfish commented 2 years ago

Title

Description

sooftware commented 2 years ago

원하시는건 음성인식 후에 NLP 기술이 들어가야 가능할 것 같습니다. NER쪽을 알아보시면 될 것 같은데, 원하시는 형태의 데이터셋이 제가 아는바로는 없는 것 같네요.

merlionfish commented 2 years ago

DeepSpeech2해서 인식이 잘됩니다. Sooftware님 마스터브랜치 사용해서요. 감사합니다. NER(Named Entity Recognition)로 인식한 토큰을 갖다 써야 하는듯 해요.

인식된 데이터가 자연어 문장("짜장면 2그릇 주문요")이여서 JSON으로 분류(분류 "중식", 메뉴 "짜장면", 수량 2, 단위 그릇)된것으로 처리하려고 하니, 다른분 사용예를 보니 Mozilla/DeepSpeech 0.9.3으로 구현된것 같습니다. DeepSpeech0.9.3으로 가야 고민입니다. 같은 논문 다른 구현이라 시작이 맞는지 아니면 이방법 밖에 없는지 고민되네요. 감사합니다. Sooftware님.

sooftware commented 2 years ago

네 말씀해주신 부분은 음성인식후에 자연어처리를 적용한 부분입니다. 음성인식만으로는 위와 같은 정보가 나오지는 않습니다.