yiwang454 / prompt_ad_code

8 stars 0 forks source link

Mean and best #2

Closed Caro-Hang closed 7 months ago

Caro-Hang commented 7 months ago

你好,请问一下论文中所提到的Mean和Best的具体意义是什么。我看您论文中所提的是15次实验,每次实验都是用的不同的seed吗? 还是说10折中取平均和最高呢?

yiwang454 commented 7 months ago

感谢您阅读我们的论文。表格中的所有实验都使用了固定的15个seed,这在我们的代码中也有所体现。cross validation的十折得到了training set上所有data sample的prediction。我们随机取了十次不同的10-fold split,用majority vote来融合这十次的结果,具体做法和原因请参考我们Interspeech2022的论文 https://arxiv.org/pdf/2206.13758.pdf. 在我们ICASSP23的论文里,training set的cross validation在十次十折模型融合的基础上换用不同seed跑了15次实验,mean/best/std均指15次实验之间的mean/best/std, test set除了没有分成十折,其他一致。

Caro-Hang commented 7 months ago

好的感谢!