search

xiaomingnio / kantts

TTS appalication based on modelscope KAN-TTS
43 stars 6 forks source link

MelPNCADecoder转成的TensorRT可不可以支持批量推理 #8

Closed lancelee98 closed 10 months ago

lancelee98 commented 10 months ago

现在只支持batchsize=1，但是我想批量推理。大佬有空看看能不能支持一下，现在我改build_from_network卡在pre_x_k的维度和pnca_x_attn_mask_step_part1的维度上，这个如果加上batch，维度多少是正常的呢？

xiaomingnio commented 10 months ago

可以先看看原始项目支持batch推理不，目前不太好实现

lancelee98 commented 10 months ago

我等会提一个分支把原始项目的batch推理代码传一下

xiaomingnio commented 10 months ago

pre_x_k的维度应该是从(8x12, 1, 16) 变为 (batch, 8x12, 1, 16)，其他的内部变量也差不多。

lancelee98 commented 10 months ago

好我有空再研究下吧。大佬感兴趣的话也可以优化下。这样可以支持并发或者说长段转文字的时候可以加速。

lancelee98 commented 10 months ago

pre_x_k的维度应该是从(8x12, 1, 16) 变为 (batch, 8x12, 1, 16)，其他的内部变量也差不多。

我尝试改但改不对，原理什么的不太懂，还望大佬有空看看怎么改成batch

wukongbuku commented 2 months ago

pre_x_k的维度应该是从(8x12, 1, 16) 变为 (batch, 8x12, 1, 16)，其他的内部变量也差不多。

我尝试改但改不对，原理什么的不太懂，还望大佬有空看看怎么改成batch

麻烦问一下，后续还有跟进吗