search

idekazuki / diary

記録
0 stars 1 forks source link

Epic-KitchenデータセットをSlowfast用に加工する #78

Open idekazuki opened 4 years ago

idekazuki commented 4 years ago

まずは動作確認のできているKinetics datasetの情報からみる。

ffmpeg version 4.1.3 Copyright (c) 2000-2019 the FFmpeg developers
  built with gcc 7.3.0 (crosstool-NG 1.23.0.449-a04d0)
  configuration: --prefix=/home/yanai-lab/ide-k/ide-k/pyenv/slowfast --cc=/home/conda/feedstock_root/build_artifacts/ffmpeg_1556785800657/_build_env/bin/x86_64-conda_cos6-linux-gnu-cc --disable-doc --disable-openssl --enable-avresample --enable-gnutls --enable-gpl --enable-hardcoded-tables --enable-libfreetype --enable-libopenh264 --enable-libx264 --enable-pic --enable-pthreads --enable-shared --enable-static --enable-version3 --enable-zlib --enable-libmp3lame
  libavutil      56. 22.100 / 56. 22.100
  libavcodec     58. 35.100 / 58. 35.100
  libavformat    58. 20.100 / 58. 20.100
  libavdevice    58.  5.100 / 58.  5.100
  libavfilter     7. 40.101 /  7. 40.101
  libavresample   4.  0.  0 /  4.  0.  0
  libswscale      5.  3.100 /  5.  3.100
  libswresample   3.  3.100 /  3.  3.100
  libpostproc    55.  3.100 / 55.  3.100
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from '2.mp4':
  Metadata:
    major_brand     : isom
    minor_version   : 512
    compatible_brands: isomiso2avc1mp41
    encoder         : Lavf58.20.100
  Duration: 00:00:10.01, start: 0.000000, bitrate: 288 kb/s
    Stream #0:0(und): Video: h264 (High) (avc1 / 0x31637661), yuv420p, 256x144 [SAR 1:1 DAR 16:9], 152 kb/s, 25 fps, 25 tbr, 12800 tbn, 50 tbc (default)
    Metadata:
      handler_name    : VideoHandler
    Stream #0:1(und): Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, stereo, fltp, 128 kb/s (default)
    Metadata:
      handler_name    : IsoMedia File Produced by Google, 5-11-2011
idekazuki commented 4 years ago

続いてEpic-Kitchenの情報。

ffmpeg version 4.1.3 Copyright (c) 2000-2019 the FFmpeg developers
  built with gcc 7.3.0 (crosstool-NG 1.23.0.449-a04d0)
  configuration: --prefix=/home/yanai-lab/ide-k/ide-k/pyenv/slowfast --cc=/home/conda/feedstock_root/build_artifacts/ffmpeg_1556785800657/_build_env/bin/x86_64-conda_cos6-linux-gnu-cc --disable-doc --disable-openssl --enable-avresample --enable-gnutls --enable-gpl --enable-hardcoded-tables --enable-libfreetype --enable-libopenh264 --enable-libx264 --enable-pic --enable-pthreads --enable-shared --enable-static --enable-version3 --enable-zlib --enable-libmp3lame
  libavutil      56. 22.100 / 56. 22.100
  libavcodec     58. 35.100 / 58. 35.100
  libavformat    58. 20.100 / 58. 20.100
  libavdevice    58.  5.100 / 58.  5.100
  libavfilter     7. 40.101 /  7. 40.101
  libavresample   4.  0.  0 /  4.  0.  0
  libswscale      5.  3.100 /  5.  3.100
  libswresample   3.  3.100 /  3.  3.100
  libpostproc    55.  3.100 / 55.  3.100
[mov,mp4,m4a,3gp,3g2,mj2 @ 0x7f249a557980] Using non-standard frame rate 59/1
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from 'P01_11.MP4':
  Metadata:
    major_brand     : mp41
    minor_version   : 538120216
    compatible_brands: mp41
    creation_time   : 2017-05-10T22:24:26.000000Z
    firmware        : HD5.02.02.00.00
  Duration: 00:09:21.54, start: 0.000000, bitrate: 30166 kb/s
    Stream #0:0(eng): Video: h264 (High) (avc1 / 0x31637661), yuvj420p(pc, bt709), 1920x1080 [SAR 1:1 DAR 16:9], 29976 kb/s, 59.94 fps, 59.94 tbr, 60k tbn, 119.88 tbc (default)
    Metadata:
      creation_time   : 2017-05-10T22:24:26.000000Z
      handler_name    :     GoPro AVC
      encoder         : GoPro AVC encoder
      timecode        : 22:45:52:22
    Stream #0:1(eng): Audio: aac (LC) (mp4a / 0x6134706D), 48000 Hz, stereo, fltp, 128 kb/s (default)
    Metadata:
      creation_time   : 2017-05-10T22:24:26.000000Z
      handler_name    :     GoPro AAC
      timecode        : 22:45:52:22
    Stream #0:2(eng): Data: none (tmcd / 0x64636D74) (default)
    Metadata:
      creation_time   : 2017-05-10T22:24:26.000000Z
      handler_name    :     GoPro TCD
      timecode        : 22:45:52:22
    Stream #0:3(eng): Data: bin_data (gpmd / 0x646D7067), 34 kb/s (default)
    Metadata:
      creation_time   : 2017-05-10T22:24:26.000000Z
      handler_name    :     GoPro MET
    Stream #0:4(eng): Data: none (fdsc / 0x63736466), 13 kb/s (default)
    Metadata:
      creation_time   : 2017-05-10T22:24:26.000000Z
      handler_name    :     GoPro SOS
idekazuki commented 4 years ago

Kinetics

Epic-Kitchen

idekazuki commented 4 years ago

フレームレートを下げるのと、サイズを変更する必要がある。

ffmpeg -i /home/yanai-lab/ide-k/ide-k/EPIC-KITCHENS/videos/test/P01/P01_11.MP4 -ss 00:00:16.75 -to 00:00:31.82 -vf fps=25 -s 256x144 ./epic_test.mp4

上のようなコードで実現することができた。 sizeについてはEpic-Kitchenはすべて同じサイズなのでサイズの指定は固定で大丈夫と判断。

変換結果は以下。 Epic-Kitchen(変換後)

切り取り範囲に関してはcsv fileから参照した。

idekazuki commented 4 years ago

次なる問題はKineticsがすべての動画において10sなのに対して、Epicのばらつきが大きいことである。 実際に上で切り取った動画は15sであるが、試しに入力して動くかどうか確認して見る。


/home/yanai-lab/ide-k/ide-k/out_git/SlowFast-master/dataset/0.mp4 1
/home/yanai-lab/ide-k/ide-k/out_git/SlowFast-master/dataset/2.mp4 1
/home/yanai-lab/ide-k/ide-k/out_git/SlowFast-master/dataset/epic_test.mp4 1
/home/yanai-lab/ide-k/ide-k/out_git/SlowFast-master/dataset/3.mp4 1
/home/yanai-lab/ide-k/ide-k/out_git/SlowFast-master/dataset/4.mp4 1
/home/yanai-lab/ide-k/ide-k/out_git/SlowFast-master/dataset/5.mp4 1
/home/yanai-lab/ide-k/ide-k/out_git/SlowFast-master/dataset/6.mp4 1
/home/yanai-lab/ide-k/ide-k/out_git/SlowFast-master/dataset/7.mp4 1

このようにtest.csvに作成した動画データのパスを追加してみる。

idekazuki commented 4 years ago

一応10sより長いものに関しては確認したが、1sほどの短いものに関しても試しておく。 きちんと動作することを確認できた。 以下試した動画情報

Duration: 00:00:01.91
 256x144 [SAR 1:1 DAR 16:9], 185 kb/s, 25 fps