CLAP: Learning Audio Concepts From Natural Language Supervision

[tutugarin]

Разобрать статью https://arxiv.org/abs/2206.04769

[Sanasar1]

CLAP: Contrastive Language-Audio Pretraining

1. О чем статья

Статья описывает новый метод Contrastive Language-Audio Pretraining (CLAP), который использует естественный язык для обучения аудиомоделей. В отличие от традиционных моделей, которые требуют ручных меток классов для обучения, CLAP обучается на парах аудио и текстов. Модель способна выполнять классификацию звуковых событий, распознавать музыкальные жанры и эмоции в речи без необходимости дообучения на заранее определённых метках классов.

2. Какую задачу решают

Основная задача, решаемая в статье, — это устранение зависимости от фиксированных классов и создание модели, способной к Zero-Shot классификации. Это значит, что модель может предсказывать новые, ранее невидимые классы звуков, используя текстовые описания, что расширяет её возможности.

3. Как решают

Решение достигается с помощью двух энкодеров (аудио и текстового), которые обучаются совместно с использованием контрастного обучения. В качестве аудиоэнкодера используется CNN14, в качестве текстового энкодера - BERT base uncased. Аудио и текстовые описания проецируются в общее пространство, где за метрику похожести используется косинусное расстояние. CLAP позволяет:

• Выполнять Zero-Shot предсказания, сравнивая аудиофайлы с текстовыми описаниями классов.
• Обучаться на парах аудио и текста, что позволяет предсказывать новые классы без необходимости дополнительных меток классов.

Основные этапы:

1. Модель обучается на 128,010 парах аудио и текста.
2. При тестировании модель вычисляет косинусное сходство между векторными представлениями аудио и текстов классов для Zero-Shot классификации.
3. Модель протестирована на 16 датасетах в 8 различных "задачах".

4. Какие выводы

• Zero-Shot классификация: CLAP достигает значительных улучшений (SOTA) в Zero-Shot задачах, где не требуется обучение на новых классах
• Обучение с учителем: CLAP достигает высоких результатов, показывая сопоставимые результаты по сравнению с существующими моделями
• Обучение на парах аудио и текста делает модель гибкой и универсальной для многих задач

5. Есть ли код для статьи

Отсутствует

6. Открыты ли веса

Отсутствует

7. На каких данных обучаются

CLAP обучена на 128,010 парах аудио и текста, собранных из следующих источников:

1. FSD50K — 36,796 пар аудио и текста. Аудиоклипы длительностью от 0,3 до 30 секунд
2. ClothoV2 — 29,646 пар. Аудиоклипы длительностью от 15 до 30 секунд, которые описаны пятью различными текстами
3. AudioCaps — 44,292 пары. Аудиоклипы длиной 10 секунд с описаниями
4. MACS — 17,276 пар аудио и текста. Аудиоклипы длиной 10 секунд с описаниями

8. Примечания

• Авторы посмотрели как модель себя ведет, если дообучить оба энкодера, один из них, либо не дообучать вовсе. Лучшие результаты были достигнуты в случае с дообучением обоих энкодеров, худшие в случае если не дообучать ни один, что довольно интуитивно. Но, если дообучать лишь один из энкодеров, то побеждает случай, когда мы дообучаем только текстовый энкодер.
• Промпты влияют на обучение модели. Лучше всего использовать простые, короткие промпты.