Open palm2333 opened 8 months ago
@Coldog2333 帮忙看下这个issue哈~
@palm2333 你好,请问你所指的是哪一个任务呢?「约差3%」的这个3%的差值是relative的差值还是absolute的差值呢?
@palm2333 你好,请问你所指的是哪一个任务呢?「约差3%」的这个3%的差值是relative的差值还是absolute的差值呢? 你好,在doc2dial数据集上,我用run_plato.sh和readme中默认参数训练,Domain Categorization、Semantic Relatedness、Semantic Relatedness与论文中结果都差约3%。脚本中temperature=0.2而提供的checkpoint中temperature=0.05,所以我猜测是否是参数的问题,感谢您的解答!
有可能是我们论文中的笔误,你可以尝试使用temperature=0.05来训练一下看看。Google Drive上的模型我们都是验证过的,performance是没有问题的,应该不会差absolute差值3个点那么多。
dial2vec在doc2dial数据集上的结果按照给定参数temperature=0.2和temperature=0.05,和google上下载的模型约差3%,请问能否说明训练参数