search

shibing624 / textgen

TextGen: Implementation of Text Generation models, include LLaMA, BLOOM, GPT2, BART, T5, SongNet and so on. 文本生成模型，实现了包括LLaMA，ChatGLM，BLOOM，GPT2，Seq2Seq，BART，T5，UDA等模型的训练和预测，开箱即用。
Apache License 2.0
937 stars 109 forks source link

请问作者的学习率用的是多少啊，梯度下降方式呢，warmup步数呢，方便公开训练脚本参数吗 #23

Closed hangzeli08 closed 1 year ago

shibing624 commented 1 year ago

都开源。