wos-v1/dev의 장소 및 시간 유추 문제

안녕하세요🙂

DST에 관심이 많아져 최근 KLUE에도 다양한 DST모델을 적용하고 있는 양명한(menghanii), 태영돈(taepd)이라고 합니다. DST 모델을 KLUE wos에 적용하여 prediction을 하던 중, 데이터셋에 장소 및 시간 유추와 관련된 문제가 발견되어 이와 관련한 문의를 드립니다!

1. 장소 유추 문제의 사례(`wos-v1_dev_00083`)

sys : "네 해당 식당에서는 인터넷 사용이 불가하시며 주차 또한 불가하십니다. 그리고 야외석도 따로 마련되어 있지 않아 이용 불가하십니다."
user : "식당 근처의 지하철역에서 여의도역으로 가는 지하철을 찾아주세요."
turn state : [['지하철-출발지', '신도림역'], ['지하철-도착지', '여의도역']]
문제점 : '식당 근처의 지하철역'이라는 대화 정보만을 가지고서는 해당 식당의 근처 역이 '신도림역'인지 알아낼 수 없을 것 같습니다. 이와 비슷한 문제들이 꽤 많은 대화들에서 발생합니다. (wos-v1_dev_00096, wos-v1_dev_00102, wos-v1_dev_00110, wos-v1_dev_00143 등)

2. 시간 유추 문제의 사례(`wos-v1_dev_00151`)

sys : "안녕하세요. 밀수업자라는 베이커리가 있습니다. 가격 만원대로 대표 메뉴는 샌드위치인데 이 곳으로 다녀오시겠어요?"
user : "좋아요. 샌드위치 엄청 좋아하거든요. 이따가 갈거니까 5시 46분에 5명 예약해주세요."
turn state : ['식당-예약 요일', '금요일']
문제점 : '이따가'라는 대화 정보로는 오늘이 무슨 요일인지 알 수 없을 것 같습니다. 이전/이후 대화에도 대화 시점에 대한 단서가 없기 때문입니다. 시점에 대한 기준이 없는 상태에서 '이따', '내일' 등의 단어가 나타나면 prediction에 어려움이 생길 것 같습니다.

3. 개선 방안 제안 : 데이터셋에 장소 및 시간에 대한 메타정보 추가

장소 유추 문제와 관련해서는 간단한 개선방안을 찾기는 어렵지 않을까 생각됩니다. 😢 만약 특정 장소와 관련한 대화가 많이 존재한다면 이를 기반으로 model을 pretraining하여 특정 장소들에 대한 정보를 학습할 수 있지 않을까 생각하고 있습니다.
시간 유추 문제와 관련해서는 데이터셋 생성 시, 대화 시점에 대한 메타정보(ex. 요일 정보, 날짜 정보)가 주어지면 상당 부분 해결이 가능할 것 같습니다.

wos 상의 다양한 이슈들을 인지하고 계셨으리라 생각되는데, 혹시 위의 이슈에 대해서는 어떤 방안을 고려하고 계셨는지 궁금합니다! 👀

@menghanii

답변이 늦어 죄송합니다. 말씀하신 문제는 실제 TOD를 운용하기 위해 중요한 문제 중에 하나이나, 데이터 구축 과정에서는 최대한 외부 컨텍스트를 배제하고 컨텍스트 내에서 주어진 태스크를 완수할 수 있도록 장려했는데요.

즉, 대화 맥락만으로 대화 상태를 유추하도록 의도하여 디자인하긴 했습니다. (다양한 선행 다중 도메인 대화 데이터셋들도 해당 문제는 Out-of-Scope로 다루고 있습니다.) 하지만, 저희가 모든 데이터셋을 전수 조사한 것이 아닌지라 말씀하신 케이스들을 완전히 방지할 수는 없었습니다. 따라서 dev/test set에 대한 전수 조사를 향후 버전에서 검토해보도록 하겠습니다. 이슈 리포팅 감사드립니다.

p.s. 이와 별개로 제안 주신 모든 대화마다 메타 정보를 제공하고 상대적인 시간 표현 등을 허용하는 것 역시 매우 재미있는 챌린지가 될 듯 하네요. Task-Oriented Dialogue as Dataflow Synthesis 에서는 이러한 문제를 태클하는 프레임웤을 제안합니다. 미래에 이러한 방향으로 데이터셋이 보강될 수 있다면 좋겠군요 :) 감사합니다.

KLUE-benchmark / KLUE