mrsndmn commented 5 months ago

Можно переиспользовать вот эту штуку:

https://habr.com/ru/companies/sberbank/articles/818401/

https://github.com/ai-forever/DataProcessingFramework

Скорее всего, как и упомянули в статье, нужно будет поддежать хитрое преобразование в ffmpeg для нормализации

Унификация параметров видео

Приводим к одному разрешению 640x360
Приводим к единому FPS = 10
Приводим к единому формату
Обрезание черных рамок

Ограничения

Минимальная длинна видоса для матчинга - 1минута
Детекцию сцен не делаем пока что
С ускорением-замедленеием тоже не паримся пока что

TODO какие еще параметры нормализуем?

Все параметры выносим в конфиг, чтобы можно было легко их заменить/подменить

Как мы поймем, какое нормализованное соответствует оригинальному видео?

В качестве идентификаторов файликов будем использовать md5. Нужно сохранить в отдельный файлик (csv или jsonl) маппинг нормализованных видео файликов к видео файликам

В этот файлик для каждого видео надо добавить его длительность в поле duration

Пример загрузки видосиков

https://github.com/mrsndmn/lct_2024/blob/7242b6cbcad66da16987214891d0c0b11ecff5a8/scripts/data/download_audios.py#L24

Результат:

скрипт для скачивания и нормализации видосиков

ktrntrsv commented 5 months ago

а почему просто не взять все параметры, по которым нормализует сбер? Длительность, наверно, важно, черные края, масштабировать слишком большие по разрешению видеос

mrsndmn commented 5 months ago

Надо все сделать, что делает сбер -- все так

mrsndmn commented 5 months ago

https://research.google.com/youtube8m/download.html

Допустим, нам нужно 1к видосов длительностью 3 минуты

mrsndmn commented 5 months ago

Аугментации

https://github.com/okankop/vidaug

или torchvision transforms

https://pytorch.org/vision/stable/transforms.html

mrsndmn commented 5 months ago

Вот сюда надо впилиться