airockchip / rknn-llm

Other
417 stars 36 forks source link

一个小建议:skip_special_token应该属于RKLLMInferParam #118

Open weitianhan opened 1 week ago

weitianhan commented 1 week ago

现在的skip_special_token被放在RKLLMParam内,模型初始化后就不可更改。

个人认为这个参数不应该与模型初始化过程绑定,应该每次调用推理接口时可以灵活更改以适配不同的推理应用场景。

waydong commented 1 week ago

hi,谢谢建议。