search

JasonForJoy / SA-BERT

CIKM 2020: Speaker-Aware BERT for Multi-Turn Response Selection in Retrieval-Based Chatbots
75 stars 13 forks source link

你好。可以共享下加过Ubuntu_v1后预训练好的bert模型吗? #2

Closed bringtree closed 4 years ago

bringtree commented 4 years ago

max_seq_length 512， batch_size 25. 2080 吃不消了。 谢谢了。

如果可以的话。 我邮箱58644360@qq.com

JasonForJoy commented 4 years ago

@bringtree 你好，感谢你对我们工作的关注。 这部分的相关工作我们整理了论文under peer review。 后期论文结果出来后我们会放出更多代码和一些训好的模型。 我们的实验是在32G V100下，2080可以考虑减小max_seq_length，batch_size等参数，性能或许有些微下降，但不妨碍能能得到一些定性的实验结论。 祝好。

bringtree commented 4 years ago

好的 谢谢。 ubuntu v1 的验证集是真的大呀。 跑的时候有啥好的 技巧吗。

JasonForJoy commented 4 years ago

@bringtree 可以每次验证的时候随机选取一部分batch进行验证，然后增加验证频率和每次选择batch的随机性