search

Langboat / mengzi-retrieval-lm

An experimental implementation of the retrieval-enhanced language model
Apache License 2.0
75 stars 5 forks source link

trainer训练很慢 #18

Open tianjialai opened 1 year ago

tianjialai commented 1 year ago

我把retrival强制置none了，但是8张v100调用trainer训练时候还是非常的慢，大概一个小时训练3w条数据，请问是否有问题呀

Ag2S1 commented 1 year ago

retrival 设置为 None 的话，和单纯训练 LM 应当没有速度差异