search

axinc-ai / ailia-models

The collection of pre-trained, state-of-the-art AI models for ailia SDK
1.99k stars 318 forks source link

ADD MICROSOFT CLAP #1328

Closed kyakuno closed 6 months ago

kyakuno commented 9 months ago

MICROSOFTによるCLAPの2022/2023年版が出たので、オプションで切り替えられるようにする。 https://github.com/microsoft/CLAP 実装先。 https://github.com/axinc-ai/ailia-models/tree/master/audio_processing/clap

kyakuno commented 9 months ago

前処理が変わっているようであれば、audio_processing/msclapを新規作成する。

kyakuno commented 9 months ago

2022と2023の両方のモデルを追加する。

kyakuno commented 9 months ago

通常のCLAPとMSのCLAPは別物みたいなので、msclapとして登録する。

We trained CLAP with 128k audio and text pairs and evaluated it on 16 downstream tasks across 7 domains, such as classification of sound events, scenes, music, and speech.