search

yangdongchao / AcademiCodec

AcademiCodec: An Open Source Audio Codec Model for Academic Research
574 stars 80 forks source link

HiFi-codec 的 VQVAE 这个类没有看到 decode 这个函数 #22

Closed yt605155624 closed 1 year ago

yt605155624 commented 1 year ago

HiFi-codec 的 VQVAE 这个类没有看到 decode 这个函数，是不是直接用 VQVAE 的 forward 函数就代表 decode 过程，因为我看 https://github.com/yangdongchao/AcademiCodec/blob/d03142b05be6d1023080cb42416f0c4b227e5342/HiFi-Codec-24k-320d/vqvae_tester.py#L32 的逻辑是这样的

额，好像理解错误，按照 https://github.com/yangdongchao/AcademiCodec/blob/4e277f4353b4b95a9df65e0e76dc90ed228e9608/HiFi-Codec-24k-320d/vqvae.py#L32 的写法，decode 是不是调用 self.generator 即可，因为 acoustic_tokens 应该是 quant 之后的，所以 https://github.com/yangdongchao/AcademiCodec/blob/d03142b05be6d1023080cb42416f0c4b227e5342/HiFi-Codec-24k-320d/vqvae_tester.py#LL31C1-L31C1 中的 vq_code 并不是 acoustic_tokens， 需要过一下 self.quantizer.embed() 才是 acoustic_tokens，不知道这样理解对不对？