AlibabaResearch / DAMO-ConvAI

DAMO-ConvAI: The official repository which contains the codebase for Alibaba DAMO Conversational AI.
MIT License
1.1k stars 178 forks source link

proton复现问题 #80

Closed zswuser closed 9 months ago

zswuser commented 9 months ago
          > 您好,我们当时考虑可能更多的用户会直接使用我们的方法当做inference时候的增强,所以代码中就注释掉了。如果您想训练的话,是可以删掉这部分的注释的。

谢谢你的答复,就是说我在复现你们的代码的时候,是不需要运行'./run/run_lgesql_plm.sh msde electra-large-discriminator'命令来额外训练一个模型,而是可以直接使用你们的方法仅对dev集处理后,在原来的经典lgesql模型上便可以有性能的提升吗?

Originally posted by @zswuser in https://github.com/AlibabaResearch/DAMO-ConvAI/issues/79#issuecomment-1767960770

eyuansu62 commented 9 months ago

都可以哈,推荐还是训练一下

zswuser commented 9 months ago

我复现的时候在预处理阶段使用了proton进行训练集的处理(就是将run_preprocessing.sh文件中train的相关注释撤销后),并在这个训练集上训练,可是得到的分数并没有提升,所以想确认一下,proton是可以使用在原来的lgesql模型上,对dev集处理后inference就可以了对吗?

eyuansu62 commented 9 months ago
  1. 我们在论文中的结果,是像您说的取消掉注释后,进行了训练集的训练,可以看到提升是比较显著的。所以您可以看一下训练是否正常。
  2. 在我们之前的实验时,proton可以直接用到原本的lgesql模型上,直接进行infer,但是提升没有训练后高。
zswuser commented 9 months ago

好的,感谢你的答复!