Open kingduxia opened 2 months ago
加载的是基于bichuan2-13b SFT lora训练后的模型权重，但是官方web_demo加载模型和vllm加载模型的推理输出不一致
查看代码web demo会使用基于模型中的generate_config参数 同样的输入，输出结果符合预期 使用vllm进行推理加速，环境 A100，tp=2 请求参数 prompt的组织方式在server侧调整为openai format 但是输出结果为 多了一段不完整的问题内容重复
我理解不是模型微调的问题，毕竟是同一份模型权重数据，我理解还是模型输入的参数哪里没对齐，应该也不是vllm框架本身的问题
看vllm的代码，也做了类似generate_util的baichuan模型适配工作 vllm baichuan generate_util
看需要怎么解？
加载的是基于bichuan2-13b SFT lora训练后的模型权重，但是官方web_demo加载模型和vllm加载模型的推理输出不一致
查看代码web demo会使用基于模型中的generate_config参数
同样的输入，输出结果符合预期
使用vllm进行推理加速，环境 A100，tp=2
请求参数
prompt的组织方式在server侧调整为openai format
但是输出结果为
多了一段不完整的问题内容重复
我理解不是模型微调的问题，毕竟是同一份模型权重数据，我理解还是模型输入的参数哪里没对齐，应该也不是vllm框架本身的问题
看vllm的代码，也做了类似generate_util的baichuan模型适配工作 vllm
baichuan generate_util
看需要怎么解？