AudioGPT: Understanding and Generating Speech, Music, Sound, and Talking Head, arXiv'23

[AkihikoWatanabe]

https://arxiv.org/abs/2304.12995

[AkihikoWatanabe]

text, audio, imageといったマルチモーダルなpromptから、audioに関する様々なタスクを実現できるシステム

[AkihikoWatanabe]

マルチモーダルデータをjointで学習したというわけではなく、色々なモデルの組み合わせてタスクを実現しているっぽい