search

AtmaHou / Task-Oriented-Dialogue-Research-Progress-Survey

A datasets and methods survey about task-oriented dialogue, including recent datasets and SOTA leaderboards.
1.24k stars 216 forks source link

关于ATIS中(Liu,2016)的结果 #1

Closed seeledu closed 5 years ago

seeledu commented 5 years ago

你好，请问为什么slot filling 中(Liu,2016)的结果中用得是94.2，而不是Liu论文中的95+

AtmaHou commented 5 years ago

感谢你指出了问题，我的结果是直接使用Slot-Gated Modeling for Joint Slot Filling and Intent Prediction中报的结果。 ATIS数据的版本很乱，从是否做大小写数字预处理或数字预处理，到测试集使用的数据部分，大概有6个左右的版本。 我猜想可能数据版本的差异导致的结果不同，另外(Liu,2016)有提到他们使用额外的ATIS数据，这也可能是结果不同的原因之一。

seeledu commented 5 years ago

同时，(Liu，2016)的论文里面没有跑snip数据集的，用18年的那篇短文复现出来的结果会不会有点不妥。

AtmaHou commented 5 years ago

关于这个问题，我们认真考虑了一下：1.首先18年论文数据和代码公开易于比较，而且他们使用的baseline结果来自同一份数据，结果可比性比较高。2. 我们这边最近有同学复现也得到了类似的结果趋势，结果还是比较有可信性。3. 由于这个leader board只能是做到大致地研究前进脉络把握，我们的结果只能建立在平等地相信所有已正式发表论文的基础上。 所有你指出问题确实很有道理但是，我们打算暂时维持原状。 另外如果你有更可信或者公开的复现结果，欢迎你把结果发给我，我会列在结果列表。 ：）