Open f18298335152h opened 1 year ago
我在3090上部署了7B得chat对话模型,在推理时我发现模型速度为0.3ms左右但是后处理token得时候,每隔token得耗时达到了2s,导致响应速度非常慢,我发现是for循环在迭代调用GenerationMixin时耗时非常就,请问这个怎么解决?
我在3090上部署了7B得chat对话模型,在推理时我发现模型速度为0.3ms左右但是后处理token得时候,每隔token得耗时达到了2s,导致响应速度非常慢,我发现是for循环在迭代调用GenerationMixin时耗时非常就,请问这个怎么解决?