Closed srdfjy closed 2 months ago
hi,请问现在开源的模型是不是要求输入是16k,且不支持流式推理的?
是的,预训练模型和finetune模型都要求输入是16k。开源的finetune模型是以非流式的方式finetune的
hi,请问现在开源的模型是不是要求输入是16k,且不支持流式推理的? 是的,预训练模型和finetune模型都要求输入是16k。开源的finetune模型是以非流式的方式finetune的
好的,THX!
hi,请问现在开源的模型是不是要求输入是16k,且不支持流式推理的?