Refactor personal scripts

HiroIshida commented 2 years ago

実行スクリプト群のリファクタリング.

hoge_dir + '/' lstm_dir + '/' + 'model.np' みたいにせずに, jsk_learning_utils.project_data モジュールの関数群を用いる.
os.path.join を必ず用いる. hoge + '/' + hoge みたいなことは避ける.
できるだけパスの解決にrospkgの関数を使う. shellscript 内でもrospack findする.
usr/bin/env python3 (python3で動かすので)
sys.argvのかわりにargparseを使う
スクリプトの中で plt.show()しない. ユーザーのインタラクションが必要になってしまい自動化の障壁となるので
python内で処理可能なファイル名処理はシェルスクリプト内ではなくpython内で行う. shellscriptがすっきりします
ファイルはできるだけ　with open( ) as f 使う

実装とは関係ないコメント

train_LSTMとtrain_CAE.py ですべてのrosbagを使って訓練してると思うのですが, test_CAE でもtest_LSTMでも訓練時のロスバグと同じものを使ってテストしている(画像とか動画とかを作ってるので)のでこのままだとテストになってないかも... あまり詳細をみてないので間違ってたらすみません。

実装のお願い(練習もかねて)

~~金沢独自スクリプト群を本PRに対応させてみて、このブランチに対してPRを投げてみてください~~

~~ファイル名解決でできるだけハードコーディングを避けて, できるだけ, rospkg か scripts/get_project_dirの機能を使ってみてください~~
https://github.com/Kanazawanaoaki/jsk_learning_utils/blob/main/pipeline/exec_learning.bash をrosrunで実行できるようにしてみてください. 僕の追加したtest_data_processing.sh を真似してgoogle drive からのダウンロードから実行までを一括で行えるようにしてほしいです

少しややこしいし難しい(変更点も多い)のでこちらは僕の方でやっておきました。

HiroIshida commented 2 years ago

とりあえず金沢くんのスクリプトを https://github.com/Kanazawanaoaki/jsk_learning_utils/pull/4/commits/2616ff8bed04dd65c1f444f6a17e2ed7f3e96df4 で本PRに対応させました。

rosrun jsk_learning_utils test_kanazawa_learning.sh を実行すると学習からテストまで終わり, project_data/sample_rcup_pick/movies の以下に結果の動画がダンプされます. 以下が結果なのでたぶんうまくいっているようです. もしかしたらgdownのスクリプトでaccess deniedがでるかもしれませんが, これはgoogle drive 側のバグのようです。https://github.com/wkentaro/gdown/pull/42 エラーが出た場合は、手動でzipファイルをダウンロードしてください

lstm gif rosbag-1645162613114649057

reconstrcution gif rosbag-1645162613114649057_reconstruction

Kanazawanaoaki commented 2 years ago

他の例にも対応可能にするために，

rosbag_convert_to_data.pyに引数を追加する
configファイルの仕様を変更する

をやってみます．

configファイルの仕様

基本的にはjsk_learning_utils/configs/以下のconfig.yamlを使う．
それ以外のconfigを使う時にはhogehoge.yamlを追加して引数で指定する．
どちらの場合もconfigファイルをproject_dataのプロジェクトファイルにコピーして確認できる&実行時に読み込めるようにする．

Kanazawanaoaki / jsk_learning_utils