Reading the Videos: Temporal Labeling for Crowdsourced
Time-Sync Videos Based on Semantic Embedding
http://staff.ustc.edu.cn/~cheneh/paper_pdf/2016/Guangyi-Lv-AAAI.pdf
コメント間の時系列的相関を利用してコメントを意味的ベクトルに表現するためのDeep structured semantic model(T-DSSM)の設計を行い, コメントを利用して動画のハイライトにラベルづけを行う.
Time-sync comments:時間に同期したコメント (ニコニコ動画, 哔哩哔哩,etc フレームごとのコメント)を用いた動画ハイライト検出
論文本体・著者
解きたい問題
動画からハイライト検出する. ➡︎低レベル特徴量(画像, 音声)を用いた動画要約には限界がきてる. 抽象的なレベルの意味情報を伝統的な手法では常に獲得できるとは限らない →動画に付随するテキスト情報を組み込む必要がある! →フレームごとにコメントがついているTime-sync commentsを利用したハイライト検出を試みる.
Time-sync comment の問題点の解決
新規性
Time-sync commentsの問題点の解決 そのために語彙的連鎖とLag-Calibrationを導入した点.
感情, トピックの集中度合いを用いたハイライトの検出(?)
実装
実験・議論
データセット: Bilibili.com
ハイライト検出の結果
等間隔(Uniform)やランダム(Random)よりコメントの盛り上がる箇所:Spike-selection:コメント量が最大のショットを選択 がスコアが高いのは妥当である. また, E:感情, T:トピックの集中, LがLag-Calibrationの導入を加えることによるSpike+L+E+T が一番良かった.
読んだ中での不明点などの感想
関連論文