Open idekazuki opened 5 years ago
ACM Multimedia 2019 論文リンク http://cdn.iiit.ac.in/cdn/cvit.iiit.ac.in/images/ConferencePapers/2019/Generating_1_Minute_Summaries_of_Day_Long_Egocentric_Videos.pdf どんなものか 一日単位の長い一人称動画データセットをunsupervised reinforcement learningで1分ほどの動画に要約する。 先行研究と比べてどこがすごいか
技術や手法のキモはどこか 教科学習の報酬としてDistinctiveness Rewaard と Indicativeness Rewardの2つを採用。 Distinctiveness Rewardではどれだけ要約した箇所に希少性があるかを評価。 Indicativeness Rewardでは要約した動画がどれだけ元の動画を表せているかを評価。 また、長い動画を一気に学習するのではなく、sliding windowのアプローチを利用している。
どうやって有効だと検証したか Uniform samp, K-medoids, dppLSTM, DR-DSN, FFNet, SUM-GANと比較検証。 評価基準はRelaxed F-Score, BELU, AHRの三種類。 RFSに関しては、予測結果の要約をS,Ground truthの要約をGとして以下の式によって評価値Frを計算する。
議論はあるか 要約したときに抽出した元動画の位置を可視化すると提案手法はbaseline modelと比較して全体をまんべんなく網羅している。より全体のまとめがうまく行っていることがわかる。
次に読むべき論文は 評価に使用した他の動画要約のbaseline model の元論文。
ACM Multimedia 2019 論文リンク http://cdn.iiit.ac.in/cdn/cvit.iiit.ac.in/images/ConferencePapers/2019/Generating_1_Minute_Summaries_of_Day_Long_Egocentric_Videos.pdf どんなものか 一日単位の長い一人称動画データセットをunsupervised reinforcement learningで1分ほどの動画に要約する。 先行研究と比べてどこがすごいか
技術や手法のキモはどこか 教科学習の報酬としてDistinctiveness Rewaard と Indicativeness Rewardの2つを採用。 Distinctiveness Rewardではどれだけ要約した箇所に希少性があるかを評価。 Indicativeness Rewardでは要約した動画がどれだけ元の動画を表せているかを評価。 また、長い動画を一気に学習するのではなく、sliding windowのアプローチを利用している。
どうやって有効だと検証したか Uniform samp, K-medoids, dppLSTM, DR-DSN, FFNet, SUM-GANと比較検証。 評価基準はRelaxed F-Score, BELU, AHRの三種類。 RFSに関しては、予測結果の要約をS,Ground truthの要約をGとして以下の式によって評価値Frを計算する。
議論はあるか 要約したときに抽出した元動画の位置を可視化すると提案手法はbaseline modelと比較して全体をまんべんなく網羅している。より全体のまとめがうまく行っていることがわかる。
次に読むべき論文は 評価に使用した他の動画要約のbaseline model の元論文。