search

ai4r / Gesture-Generation-from-Trimodal-Context

Speech Gesture Generation from the Trimodal Context of Text, Audio, and Speaker Identity (SIGGRAPH Asia 2020)
Other
245 stars 35 forks source link

Question of korean embedding #34

Closed fhan90521 closed 2 years ago

fhan90521 commented 2 years ago

안녕하세요 이번에 이 깃허브를 참고해서 프로젝트를 진행할려고 하고 있는 학생입니다. 저희가 이 깃허브를 참고해서 한국어를 통해서도 gesture를 생성하는 프로젝트를 할려고 하는데 이 프로젝트에서는 word embedding을 fasttext를 통해서 300개의 차원의 word vector로 만들어서 사용하고 있다고 되어있던데 똑같이 패딩된 한국어를 300개의 차원의 vector로 만들면 이 모델을 사용할 수 있을까요?

youngwoo-yoon commented 2 years ago

안녕하세요, 지금 모델은 영어 데이터셋(TED)으로 학습된 모델이므로 한국어에 대해서는 동작하지 않습니다. 한국어 데이터셋으로 다시 학습해야 합니다. 코드 자체는 얘기하신 것 처럼 한국어 word vector 사용으로만 바꾸면 거의 그대로 사용 가능합니다.

fhan90521 commented 2 years ago

답변 감사합니다 말씀하신 것처럼 한국어 유튜브에서 학습 데이터셋을 만들려고 합니다. Gentle말고 google stt를 이용해서 단어마다 time stamp를 할당하고 Ted 데이터셋 만드는 코드들을 조금 고쳐서 사용해보려 합니다.