Разделение аудио дорожек

В задаче сказано, что надо отдельно реализовать матчинг по аудио и отдельно матчинг по видео.

Чтобы реализовать матчинг по аудио надо отделить аудио дорожку от видео.

Нужно тоже нормализоавть отделенные аудиодорожки и привести их к единому формату

Для отделения аудио от видео, скорее всего, потребуется тоже ffmpeg.

Параметры для нормализованного аудио:

формат wav
sampling rate = 16000 (todo уточнить, какой sr у нейронки будет, котроой мы будем получать эмбэддинги аудио)
количество каналов = 1 (mono) -- чтобы преобразовать из стерео надо усреднить значения по размерности каналов
bits_per_sample = 16

Разделение дорожек для сцен

Не забываем, что у нас есть еще видосики с нарезанными сценами -- нужно сделать возможность отделения аудио и для нарезанных видосиков на сцены

Как мы поймем, какая аудио соответствует какому видео?

В качестве идентификаторов файликов будем использовать md5. Нужно сохранить в отдельный файлик (csv или jsonl) маппинг аудио файликов к видео файликам

mrsndmn / lct_2024