It’s Time for Artistic Correspondence in Music and Video

[tkuri]

論文概要

ある動画に適した音楽、もしくはある音楽に適した動画を推薦する。各モダリティのTransformerネットワークを用い、映像と音楽の両方の長期的な時間コンテキストをモデル化し、人間の注釈を必要とせずデータから直接この対応関係を学習する自己教師のアプローチを提案。

https://musicforvideo.cs.columbia.edu/

Code

未確認。