shibing624 / MedicalGPT

MedicalGPT: Training Your Own Medical GPT Model with ChatGPT Training Pipeline. 训练医疗大模型,实现了包括增量预训练(PT)、有监督微调(SFT)、RLHF、DPO、ORPO。
Apache License 2.0
2.94k stars 452 forks source link

使用 llama2-7b的模型调用 pretraining.py进行预训练之后,在使用 inference.py进行 inference 时--template_name应该填什么? #302

Closed lljpwrs closed 5 months ago

lljpwrs commented 5 months ago

使用默认的 vicuna 的话,会报错,我尝试改成 llama 和 llama2都是一样的错:

Traceback (most recent call last):

File "inference.py", line 330, in

main()

File "inference.py", line 252, in main

prompt_template = get_conv_template(args.template_name)

"inference.py", line 94, in get_conv_template

return conv_templates[name]

KeyError: 'vicuna'

shibing624 commented 5 months ago

pt训练后的模型无法chat作答,需要 sft 后才可以。