search

cmnfriend / O-LoRA

MIT License
141 stars 16 forks source link

关于standard benchmark #24

Open cmnfriend opened 3 months ago

cmnfriend commented 3 months ago

那个由4个任务组成的benchmark，最近double check了一下发现学习率设得足够小的话，全量微调baseline效果也会非常好(几乎不遗忘)，说明这个benchmark对于t5已经没有挑战了，所以建议在那个long benchmark上做新的工作呢