Open weitianhan opened 1 week ago
现在的skip_special_token被放在RKLLMParam内,模型初始化后就不可更改。
个人认为这个参数不应该与模型初始化过程绑定,应该每次调用推理接口时可以灵活更改以适配不同的推理应用场景。
hi,谢谢建议。
现在的skip_special_token被放在RKLLMParam内,模型初始化后就不可更改。
个人认为这个参数不应该与模型初始化过程绑定,应该每次调用推理接口时可以灵活更改以适配不同的推理应用场景。