自己训练的模型总产生标记堆积问题，这是什么原因呢？

qiuqiao / SOFA

SOFA: Singing-Oriented Forced Aligner

MIT License

135 stars 19 forks source link

Closed Alistair-zhong closed 1 month ago

Alistair-zhong commented 2 months ago

首先非常感谢作者开源 SOFA，这极大提高了我标记的速度。😄👍

我使用 3 小时的音频精标数据训练葡语的 sofa 模型，最终推理结果中有多处标记堆积的情况，不知道是哪出了问题，希望能得到帮助。标记堆积的情况如下图

@qiuqiao @yqzhishen

qiuqiao commented 2 months ago

这个问题是比较常见的问题，当模型能力不是很强的时候就容易出现标记堆积。sofa v2将会尝试使用一个静态先验矩阵（来自论文One TTS Alignment to rule them all）来解决这个问题，可以期待一下sofa v2

Alistair-zhong commented 2 months ago

这个问题是比较常见的问题，当模型能力不是很强的时候就容易出现标记堆积。sofa v2将会尝试使用一个静态先验矩阵（来自论文One TTS Alignment to rule them all）来解决这个问题，可以期待一下sofa v2

有计划什么时候推出 sofa v2 吗？很期待呢