search

shibing624 / MedicalGPT

MedicalGPT: Training Your Own Medical GPT Model with ChatGPT Training Pipeline. 训练医疗大模型，实现了包括增量预训练(PT)、有监督微调(SFT)、RLHF、DPO、ORPO。
Apache License 2.0
2.94k stars 452 forks source link

模型inference输出不能复现 #308

Closed wangrx33 closed 5 months ago

wangrx33 commented 5 months ago

Describe the Question

Please provide a clear and concise description of what the question is.

我增量预训练了一个模型，昨天运行inference.py，测试了一些问题，回答的比较满意。 但是今天重新测试了一下，输出就完全变了，没有调整任何参数，回答不如昨天的版本。 请问这是什么原因？我检查了好像也不是随机数的问题，repetition_penlaty一直设置的是1.2。

shibing624 commented 5 months ago

我不知道。。。