search

RowitZou / topic-dialog-summ

AAAI-2021 paper: Topic-Oriented Spoken Dialogue Summarization for Customer Service with Saliency-Aware Topic Modeling.
MIT License
77 stars 9 forks source link

有关模型训练的问题 #19

Closed ccclll777 closed 2 years ago

ccclll777 commented 2 years ago

在8万轮预训练完成之后，acc达到了80左右。然后使用RL训练整个模型，1万轮之后，acc没有什么变化，一直在80左右波动，训练时的学习率变化也不是很明显，现在没有明确的调参思路。我使用的数据集客服和客户的对话应该比您使用的数据集要长，初步打算增加网络的深度进行尝试，看有没有什么改变。希望作者能提一些意见，谢谢您！

RowitZou commented 2 years ago

RL训练时acc确实没有明确变化，但是可以发现经过 RL 训练后，抽取器的 recall 值有明显提升。其他一些训练策略，可以参考 #6。

ccclll777 commented 2 years ago

RL训练时acc确实没有明确变化，但是可以发现经过 RL 训练后，抽取器的 recall 值有明显提升。其他一些训练策略，可以参考 #6。 谢谢您