search

yuanzhoulvpi2017 / zero_nlp

中文nlp解决方案(大模型、数据、模型、训练、推理)
MIT License
2.95k stars 363 forks source link

训练时数据是不是需要处理下？ #54

Open yzho0907 opened 1 year ago

yzho0907 commented 1 year ago

input_ids = prompt_ids + target_ids + [tokenizer.eos_token_id] input_ids是不是要和"[Round {}]\n问：{}\n答：{}\n"这个格式保持一致