kwanglo
commented
4 years ago Minor updates
- 기존에 사용하고자 했던 VRM 데이터가 영어 절반 한국어 절반으로 소개가 되어있었는데, 확인결과 전부 영어로 구성되어 있어, 새로운 데이터 셋(3i4k)을 찾아 추가했습니다.
- 해당 데이터셋에 대한 참고문헌 링크입니다. https://arxiv.org/abs/1811.04231
- 기존 sub goal이 psychiatric feature detection과 response 생성이었는데, feasibility를 고려해 semi-supervised learning을 활용한 dataset extension으로 수정하였습니다.
- 그 외 프로젝트와 연관이 없다고 판단되는 dataset들을 목록에서 삭제했습니다.
1) Data description & Preprocessing
각 데이터에 대한 label에 관한 내용을 Data Collection/Data description에 추가하였습니다. Preprocessing은 model building용과 이후 extension을 위한 데이터로 나누어 정리해두었습니다.
- 각 model building용 데이터 일반적으로 NLP에서 모델에 적용하기 전 필요한 regularization, tokenizing 등을 제외한 전처리는 필요없을 것으로 예상됩니다.
- Extension용 데이터 역시 기본적인 NLP 모델 적용을 위한 전처리 외에, 불필요한 column들을 삭제하는 것 정도로 마무리 될 것 같습니다.
2) Metric & Accuracy
Metric과 Accuracy 측정 방식은 Model Testing에 추가하였습니다.
- 현재 데이터 확보 문제로 intent와 sentiment가 각각 분류되어 있는 데이터셋 2개로 분류모델 2개를 학습할 예정입니다.
- 이후 각 모델로 다른 데이터셋을 classify하여 하나의 데이터셋으로 만들고, extension phase를 진행할 생각입니다.
- NLP에서의 semi-supervised learning은 추가로 참고문헌 연구를 진행하여 적합한 방법을 찾기위해 여러가지 시도해보고자 합니다.
3 Neural Network
NN과 관련된 부분은 Model Building에 추가하였습니다.
- CNN과 RNN을 활용할 예정이고, RNN에서는 Bi-LSTM, Seq2Seq, Attention 등 다양한 컨셉들을 적용해보고자 합니다.
- 구체적인 모델 선정은 참고문헌 연구를 좀더 진행하여 성능향상에 가장 적합한 모델들을 선택하고자 합니다.
+) 해당 내용들이 텍스트로만 설명되어 있는데, 곧 이미지로 정리하여 추가할 예정입니다.
sungbin-skynet
Pre-review
Comments
현재 주제로서
classification of speech intent and sentiment of dialog는 괜찮아 보입니다. 다만 데이터에 대한 설명 부분과 모델 평가 방법에 대한 서술이 좀 더 상세하게 기재되어야 합니다.Model Building파트에서 Naive Bayes, SVM, Random Forest 등 classical ML 방법론을 적용할 예정으로 기재하셨는데, neural net 은 어떻게 적용해볼 생각인가요?