[Consider] opensmileの調査

[kannhi]

目的

• opensmileがちゃんと使い物になりそうか調査

背景

• opensmileを使ってみたいとは言ったものの、雰囲気がイマイチ掴めていない

ゴール

• 実際活用できそうか確かめる

[kannhi]

調査メモ

• opensmile

• https://audeering.github.io/opensmile/

• ↑によると研究利用は無料

• 元はC++で書かれている

• クロスプラットフォーム（Windows、Linux、Mac、Android、iOS）

• オーディオ入出力形式

  • PCM WAVE ファイル (読み取り/書き込み)
  • FFmpeg でサポートされているメディア ファイル形式 (読み取り)
  • PortAudio によるライブサウンド録音と再生
  • Android/iOS での OpenSL ES/Core Audio によるライブサウンド録音

• Featureファイル形式

  • ⚠️ featureファイルとは？
  • カンマ区切り値 (CSV) ファイル (読み取り/書き込み)
  • WEKA ARFF ファイル (読み取り/書き込み)
  • 隠れマルコフツールキット (HTK) パラメータファイル (読み取り/書き込み)
  • LibSVM 機能ファイル形式 (書き込み)

• portaudioライブラリを使用して、マルチプラットフォームでオーディオファイルを扱える

• C APIを使用してPython、.NET、Android、iOSでシームレスに機能

• gnuplotで視覚化可能

[kannhi]

入力データ

• RIFF-WAVE（非圧縮PCMのみ）
• カンマ区切り値 (CSV)
• HTKパラメータファイル
• WEKAのARFFフォーマット
• (追加オプションでFFmpeg でサポートされているすべてのオーディオ形式,OpenCV経由のビデオストリームも可能)
• MP3、MP4、OGG などの圧縮形式で保存されたオーディオは、openSMILE で分析する前に非圧縮の WAVE 形式に変換する必要
• 他のオーディオ形式を直接処理したい場合は、FFmpeg サポート付きで openSMILE を自分でビルドし、構成ファイルで cWaveSource の使用を cFFmpegSource に置き換える
• PortAudio ライブラリにより、あらゆる PC サウンド カードからのオーディオのライブ録音がサポートされます。ホワイト ノイズ、正弦波トーン、定数値を生成するために、信号ジェネレーターが提供されます。

[kannhi]

信号処理

• ⚠️よくわかっていない

[kannhi]

情報処理

• ⚠️各処理がよくわかっていない

[kannhi]

オーディオ機能（低レベル）

• ⚠️よくわかっていない

[kannhi]

ビデオ機能（低レベル）

• 顔検出ができそうなことはわかった

  openSMILE によって次のビデオ低レベル記述子を計算できる

• 他のことはよくわかっていない

[kannhi]

関数

• 極端な値と位置
• 平均（算術、二次、幾何）
• モーメント（標準偏差、分散、尖度、歪度）
• パーセンタイルとパーセンタイル範囲
• 回帰（線形近似と二次近似、回帰誤差）
• 重心
• ピークス
• セグメント
• サンプル値
• 時間/期間
• オンセット/オフセット
• 離散コサイン変換 (DCT)
• ゼロクロッシング
• 線形予測符号化（LPC）係数とゲイン

[kannhi]

分類器とその他のコンポーネント

• オーディオ処理タスクのライブデモンストレーターでは、多くの場合、オーディオ ストリームのセグメント化が必要
• ファジーロジックに基づく音声アクティビティ検出
• 事前学習済みモデルを使用した LSTM-RNN に基づく音声アクティビティ検出
• ターン/スピーチセグメント検出器
• LIBSVM (オンライン)
• SVMシンク（線形カーネルを使用してWEKA SMOモデルをロードするため）
• GMM (eNTERFACE'12 プロジェクトからの実験的実装、近日リリース予定)
• RNNLIB および CURRENNT ネットをロードできる LSTM-RNN (ニューラル ネットワーク) 分類器
• 音声感情認識事前トレーニング済みモデル (openEAR)

[kannhi]

データ出力

• RIFF-WAVE (PCM非圧縮オーディオ)
• カンマ区切り値 (CSV)
• HTKパラメータファイル
• WEKA ARFF ファイル
• LIBSVM 機能ファイル形式
• バイナリ浮動小数点行列形式

[kannhi]

上を見る限り問題なさそう

[kannhi]

• 音響特徴量の解析
  • https://amakazeryu.hatenablog.com/entry/2019/06/22/190002
• opensmileと音声分析
  • https://note.com/55hanam/n/n555bc3111c4d