[front] お酒を飲む回数を認識

[Fuyan777]

内容

教師あり機械学習を用いて飲む動作を認識する

参考

• TeachableMachine
  • https://teachablemachine.withgoogle.com/
  • https://qiita.com/PoodleMaster/items/f08805bcf4e7596ba25b
• [不使用]hand tracking
  • https://google.github.io/mediapipe/solutions/hands.html
  • https://google.github.io/mediapipe/solutions/face_mesh.html

設計方針

• [採用] 機械学習による判定
  • 認識した特徴量を用いて飲む動作と飲んでいない動作の2値分類を行う
  • 難易度：中
  • 精度　：中（学習データの用意とモデル構築次第）
  • TeachableMachineとTensorflow.jsが良さげ
  • https://github.com/googlecreativelab/teachablemachine-community
• [不採用] 閾値による判定
  • Facemeshで口唇の位置座標と，手の位置座標を検出し，距離が小さくなったら判定
  • 難易度：中
  • 精度　：低

TODO

• [x] ...TeachableMachineで学習モデルを作成
• [x] ...学習モデルのエクスポート
• [x] ...Tensorflow.jsとTeachableMachineのjsライブラリをimport
• [x] ...ルーム画面に組み込み，エフェクトと連携
• [ ] ...学習データ集め

[Fuyan777]

demoレベルの実装完了 多様な状況の飲み動作画像を学習させたら、もう少し精度が上がる。あと、カウントの決め方をどうするか悩み中（現在秒数になってる）

https://user-images.githubusercontent.com/29572313/199522620-64e85a33-95ac-447e-9178-d70b4cf42854.mov

[Fuyan777]

精度悪くて草ww

https://user-images.githubusercontent.com/29572313/200118429-76018606-af28-479c-b7ea-2c8c8fef1e36.mov