beiciliang / intro2musictech

公众号“无痛入门音乐科技”开源代码
173 stars 20 forks source link

请问MIR领域内有常用的数据增强(data augment)方法吗? #4

Open YoungKang1222 opened 2 years ago

YoungKang1222 commented 2 years ago

hi Beici, 看完“无痛入门系列”以及听完小宇宙那期采访,我目前也开始做音频&MIR相关的工作了。 想请问您,目前在MIR领域内有哪些常用的数据增强手段?类似于SpecAugment、RandAugment等,主要用来对原始数据进行增强,使得模型的性能和鲁棒性加强。我google大概搜了一下,发现MIR主题内的augment牵涉的不多,不知道我是不是没有找对地方。 对此,您有什么建议?比如可以去哪些顶会或期刊,搜索关键词等。谢谢

beiciliang commented 2 years ago

YoungKang你好,MIR领域内的数据增强都是调用通用于音频数据上的库,你可以参考下这个音乐分类任务教程中关于数据增强的部分

这里提到的各种库中,audiomentations维护得比较好(作者也是我老公的同事😂),它的README文档中也给出了更多其他可选择的库。

数据增强作为MIR任务的中间步骤,作为一种“工具”就很少有相关的文章发表。增强手段也要根据你自己要做的MIR任务本身进行调整,比如说如果做“声源分离”(source separation),除了常见的变调变速,也可以把不同歌曲的不同音轨进行搭配混合。你要是需要更多参考,还是先找围绕任务本身的文章,再看文章里的数据处理部分,有用到哪些手段。我发过一篇公众号「INFO」音乐科技相关会议期刊列表可以参考。

YoungKang1222 commented 2 years ago

谢谢指导,有帮助到!beici工作顺利