search

hysdkzm / research_hysdkzm

研究について
Other
0 stars 0 forks source link

11/27(金)~ のToDo #19

Closed hysdkzm closed 3 years ago

hysdkzm commented 3 years ago

先のToDo

hysdkzm commented 3 years ago

土日でやること

hysdkzm commented 3 years ago

11/27中にやること

hysdkzm commented 3 years ago

https://github.com/hysdkzm/research_hysdkzm/issues/16#issuecomment-725053702

hysdkzm commented 3 years ago

11/30(月)　～　12/04(金)のToDo

・研究関係

・論文関係

・授業関係(研究プロジェクト)

hysdkzm commented 3 years ago

11/30(月)のToDo

  • [x] CBMIの論文調査 →新規アプリケーションの提案が論文として有効かどうか

  • [x] ブリンキー実装 →もう一回やってみて駄目だったら佐藤君に連絡 →最悪40hz出力のブリンキーを借りてもよい

12/01(火)のToDo

hysdkzm commented 3 years ago

Let's Encrypt　更新切れ対策

参考https://tanabebe.hatenablog.com/entry/2019/10/07/173000

1 念のためバックアップ

mkdir /etc/letsencrypt/live/_bk mv /etc/letsencrypt/live/sakura.yokoyama.ac /etc/letsencrypt/live/_bk

2 /home/certbotへ移動

certbot-autoがある場所へ移動 cd /home/certbot

3 証明書を新規作成（更新）

certbot-auto certonly --standalone -d sakura.yokoyama.ac

IMPORTANT NOTES:

  • Congratulations! Your certificate and chain have been saved at: /etc/letsencrypt/live/sakura.yokoyama.ac-0001/fullchain.pem Your key file has been saved at: /etc/letsencrypt/live/sakura.yokoyama.ac-0001/privkey.pem Your cert will expire on 2021-05-12. To obtain a new or tweaked version of this certificate in the future, simply run certbot-auto again. To non-interactively renew all of your certificates, run "certbot-auto renew"

  • If you like Certbot, please consider supporting our work by:

    Donating to ISRG / Let's Encrypt: https://letsencrypt.org/donate Donating to EFF: https://eff.org/donate-le

RENEWを選択(多分2番) 少し時間かかるけど気長に待つ

4 privkey.pemとfullchain.pemを使っているサーバーを確認

※基本的には/usr/local/etc/に格納されているものを利用する

先のToDo

hysdkzm commented 3 years ago

12/03ToDo

hysdkzm commented 3 years ago

ブリンキー

最初にPATHが通っているかどうか確認 . ~/esp/esp-idf/export.sh

ゼミコメ

全天球カメラで撮影して検出してみる

→色別

→複数色での検出

光っている信号を取得して長我部に投げる

落としどころ

全天球カメラで

→　時系列データを取得を渡すほうをメインで考える

奏人に聞くこと

hysdkzm commented 3 years ago

CBMI

Topics of interest to the CBMI community include, but are not limited to, the following: • Audio and visual and multimedia indexing • Multimodal and cross-modal indexing • Deep learning for multimedia indexing • Visual content extraction • Audio (speech, music, etc) content extraction • Identification and tracking of semantic regions and events • Social media analysis • Metadata generation, coding and transformation • Multimedia information retrieval (image, audio, video, text) • Mobile media retrieval • Event-based media processing and retrieval • Affective/emotional interaction or interfaces for multimedia retrieval • Multimedia data mining and analytics • Multimedia recommendation • Large scale multimedia database management • Summarization, browsing and organization of multimedia content • Personalization and content adaptation • User interaction and relevance feedback • Multimedia interfaces, presentation and visualization tools • Evaluation and benchmarking of multimedia retrieval systems • Applications of multimedia retrieval, e.g., medicine, lifelogs, satellite imagery, video surveillance • Cultural heritage applications

→→Multimedia interfaces, presentation and visualization toolsに分類されるのでは？？ 1セッション5人以下で口頭発表は合計20人くらい？？

2019のときは日本からの参加者2人？？ヨーロッパ出身の参加者がメイン 参考：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8877426

hysdkzm commented 3 years ago

ブリンキーについて

時系列 → 横軸：フレーム　画素値を配列に格納 → ピクセルを固定 時系列データとして渡せるのでは　

順序 ・複数個ピクセル指定して画素値を配列格納できるか ・横軸フレームとして時系列データとして表現できるか ・それを長我部に渡す

模試も可能なら：ピクセル指定の部分を佐藤君の検波に変えればよい

構成

例）佐藤君のシステムと組み合わせる場合 動画60秒のものだとしたら ・最初の30秒で佐藤くんのシステムで、ブリンキーの色のピクセルを取得

・残りの30秒で時系列データとして検出し、長我部に渡す

12/13(日)

動画上の3つの位置のピクセルを固定

・そのピクセル範囲の画素値変化を可視化（横軸フレーム数） res_rgb res_multi

hysdkzm commented 3 years ago

JOBS=$[$(grep cpu.cores /proc/cpuinfo | sort -u | sed 's/[^0-9]//g') + 1] make -j${JOBS}

export LD_LIBRARY_PATH=/usr/local/bin:$LD_LIBRARY_PATH

export PATH=/opt/cmake/bin:$PATH PATH=$PATH:/opt/cmake/bin

hysdkzm commented 3 years ago

YOLOv4学習再開

〇枚数の内訳

合計：166918枚(ラベル＋画像)

画像合計：83459枚 検証用：16691 学習用：66768枚

〇トラブルシュート

・いったんこの枚数のまま学習させて損失が前のような感じだったら

1 . cocoの画像数を1,2万枚へらす 2 . process.pyでのカテゴリごとの割り振り（現状すべての画像で4:1に分けている） 3 . yolov4_person.cfgの調整

hysdkzm commented 3 years ago

学習に関するメモ（https://github.com/hysdkzm/research_hysdkzm/issues/16）

hysdkzm commented 3 years ago

学習のステップ

→yolov4.conv.137を用いて学習 →中断

chart_yolo-obj

→→lossが落ち着かない原因を探る

→coco の歪ませたやつは含まないほうがいいかも（オブジェクトが小さすぎる可能性がある）

画像数は少なめからスタートして良い　

12/08(火)

〇csdarknet53-omega.conv.105の使用

どうやら今まで使ってきたyolov4.conv.137はCOCOデータセットを学習させたモデルを初期化して最初の137層を再学習させるものらしい →→重みは初期化されるがモデル内のネットワーク構成はCOCOを学習させた後のもの

〇最終的な目標

・360度カメラいおいて、高緯度でも低緯度でも人を検出するモデル →低緯度領域での'person'の検出はyolov4.weightsでも検出できる →高緯度領域の認識率が悪い →YOLOv4が事前に学習した'person'はCOCOデータセット64111枚の画像を学習したもの →その64111枚にひしゃげ画像２万枚を追加

〇目標に対するステップ

  1. coco2万枚　+ 歪ませた画像２万枚をcsdarknet53-omega.conv.105へ学習（ラベル別 0:person2 1:person）

  2. 1 がうまくいけばcocoの画像数を6万枚に

  3. 1がうまくいかないのであればラベルを統一して学習(1を先にやっているのは低緯度領域での歪みの誤検出をふせぐため)

  4. 1と3がうまくいかなければyolov4.conv.137で歪み画像だけを学習

参考：https://www.reddit.com/user/AlexeyAB/

hysdkzm commented 3 years ago

12/10　バイト後

hysdkzm commented 3 years ago

学習結果

合計4万枚の画像（coco:2万枚　歪ませたやつ:2万枚） train:32000枚 test:8000枚

歪みデータの内訳：THETAの画像：6000枚　疑似的歪ませたもの：14000枚 本当は8万枚くらいあったがイテレーション数は学習用画像数以上回さないといけないので半分にした

personのラベルとして学習(1つのラベル)

12/7-12/8

1つのラベル 下がる気がしない

別のラベルとして学習

画像数は一緒 difclass1208 difclas1211

まっさらな状態から学習

detail training_from_begining

→cocoがわるいのか歪みデータが悪いのか

hysdkzm commented 3 years ago

次にやること

ラベルクラスは別で学習させる

学習用データとして適しているものを採用

・同じラベルで学習した場合と別のラベルで学習した場合、どちらも同じようなavg lossになるのが謎すぎる

・転移学習はデータセット数多すぎると収束しにくくなるのか？少ない方がいいのか？

hysdkzm commented 3 years ago

12/23

/home/yokoyamalab/tmp/darknet/build/darknet/x64

hysdkzm commented 3 years ago

ブリンキー 01/07

・色分かれるように撮影する ・混ざちゃってもしょうがない

・サンプルデータを取ってからじゃないと始まらない