search

shibing624 / textgen

TextGen: Implementation of Text Generation models, include LLaMA, BLOOM, GPT2, BART, T5, SongNet and so on. 文本生成模型，实现了包括LLaMA，ChatGLM，BLOOM，GPT2，Seq2Seq，BART，T5，UDA等模型的训练和预测，开箱即用。
Apache License 2.0
937 stars 109 forks source link

保存模型问题 #33

Closed MonkeyTB closed 1 year ago

MonkeyTB commented 1 year ago

想请教一下，这种保存模型除了 adapter_model.bin 和 adapter_config.json ，其他文件是否都与lora 无关？ 如果想像原始6b那种流式输出的时候，这里应该怎么改？有好的建议嘛

shibing624 commented 1 year ago
  1. 是；
  2. 把它流式预测的方法抄来用下就行，本质就是yield 输出就行。
MonkeyTB commented 1 year ago

谢谢，我试试，感谢