Closed menghanii closed 3 years ago
@menghanii
답변이 늦어 죄송합니다. 말씀하신 문제는 실제 TOD를 운용하기 위해 중요한 문제 중에 하나이나, 데이터 구축 과정에서는 최대한 외부 컨텍스트를 배제하고 컨텍스트 내에서 주어진 태스크를 완수할 수 있도록 장려했는데요.
즉, 대화 맥락만으로 대화 상태를 유추하도록 의도하여 디자인하긴 했습니다. (다양한 선행 다중 도메인 대화 데이터셋들도 해당 문제는 Out-of-Scope로 다루고 있습니다.) 하지만, 저희가 모든 데이터셋을 전수 조사한 것이 아닌지라 말씀하신 케이스들을 완전히 방지할 수는 없었습니다. 따라서 dev/test set에 대한 전수 조사를 향후 버전에서 검토해보도록 하겠습니다. 이슈 리포팅 감사드립니다.
p.s. 이와 별개로 제안 주신 모든 대화마다 메타 정보를 제공하고 상대적인 시간 표현 등을 허용하는 것 역시 매우 재미있는 챌린지가 될 듯 하네요. Task-Oriented Dialogue as Dataflow Synthesis 에서는 이러한 문제를 태클하는 프레임웤을 제안합니다. 미래에 이러한 방향으로 데이터셋이 보강될 수 있다면 좋겠군요 :) 감사합니다.
안녕하세요🙂
DST에 관심이 많아져 최근 KLUE에도 다양한 DST모델을 적용하고 있는 양명한(
menghanii
), 태영돈(taepd
)이라고 합니다. DST 모델을 KLUE wos에 적용하여 prediction을 하던 중, 데이터셋에 장소 및 시간 유추와 관련된 문제가 발견되어 이와 관련한 문의를 드립니다!1. 장소 유추 문제의 사례(
wos-v1_dev_00083
)wos-v1_dev_00096
,wos-v1_dev_00102
,wos-v1_dev_00110
,wos-v1_dev_00143
등)2. 시간 유추 문제의 사례(
wos-v1_dev_00151
)3. 개선 방안 제안 : 데이터셋에 장소 및 시간에 대한 메타정보 추가
장소 유추 문제와 관련해서는 간단한 개선방안을 찾기는 어렵지 않을까 생각됩니다. 😢 만약 특정 장소와 관련한 대화가 많이 존재한다면 이를 기반으로 model을 pretraining하여 특정 장소들에 대한 정보를 학습할 수 있지 않을까 생각하고 있습니다.
시간 유추 문제와 관련해서는 데이터셋 생성 시, 대화 시점에 대한 메타정보(ex. 요일 정보, 날짜 정보)가 주어지면 상당 부분 해결이 가능할 것 같습니다.
wos 상의 다양한 이슈들을 인지하고 계셨으리라 생각되는데, 혹시 위의 이슈에 대해서는 어떤 방안을 고려하고 계셨는지 궁금합니다! 👀