Open tkuri opened 2 years ago
ある動画に適した音楽、もしくはある音楽に適した動画を推薦する。各モダリティのTransformerネットワークを用い、映像と音楽の両方の長期的な時間コンテキストをモデル化し、人間の注釈を必要とせずデータから直接この対応関係を学習する自己教師のアプローチを提案。
https://musicforvideo.cs.columbia.edu/
未確認。
論文概要
ある動画に適した音楽、もしくはある音楽に適した動画を推薦する。各モダリティのTransformerネットワークを用い、映像と音楽の両方の長期的な時間コンテキストをモデル化し、人間の注釈を必要とせずデータから直接この対応関係を学習する自己教師のアプローチを提案。
Code
未確認。