Check the operation of the estimation code using 6 cells.

Kenkentake / optimizePara

make c programs that can execute the parallel optimization

0 stars 0 forks source link

Check the operation of the estimation code using 6 cells. #12

Open Kenkentake opened 2 years ago

Kenkentake commented 2 years ago

Summary

Check the operation of the estimation code using 6 cells.

Goal

Verify that the inferred code runs to the end using 6 cells.

Todo

[x] prepare files for 6 cells
- [x] conMat.txt
- [x] conMat.tx
- [x] swc files
- [x] ist/neuronlist.txt
[ ] run on Fugaku

Deadline

xx/xx

Parent issue

None

References

None

Notes

None

Kenkentake commented 2 years ago

6細胞用のファイルの作成完了

Kenkentake commented 2 years ago

6細胞でジョブを投げた結果
- CellSwc2.hoc内のfor(i=0; i<SectionNum; i=i+1){....}のループが時間を要する（10306イテレーション）
- 見た感じ、ジョブの出力は数秒に1回まとめて出力ファイルにダンプされる
- デバッグの際はここでの時間消費が痛いので、次回からは時間短縮を図る（ここのforループだけで1時間30分かかる計算）
- system("free -g")が時間かかっていた。。
system("free -g")をコメントアウトして実行
- 2時間程ジョブが走り続けて（出力を吐き続けて）エラー出力
- エラー場所は｀update_weight(rcv_pop_vec_weight, i)`
- 原因は現在調査中

Kenkentake commented 2 years ago

わかったこと

update_weight()関数内のupdate_vec.x(index)でエラーが出ている（おそらくindex is out of range）
importSynList.hocから読み込んでいるoutput_1.txtも入力ファイルの1つ
- getSynList_LAL_VPC.pyを実行することで作成される接続パラメータを記述したファイル
- clusterの引き継ぎディレクトリでは1~7396までのファイルを使用

疑問

update_weight()関数内のnum_synapse_mat.x[i][j]について（shape = (NCELLS, NCELLS)）
output_1.txtファイルは6細胞で推定する時はどうすればよい？
- おそらく新たに作成した方が良いのだろうが作り方要確認

Todo

update_vecについてコードベースで調査（ジョブ実行開始に時間がかかっている）
- update_vecのサイズとindexの値の把握
output_1.txtの作成方法についてgetSynList_LAL_VPC.pyを調査
- getSynList_LAL_VPC.py内で読み込んでいるdata.csvが見つからない

Kenkentake commented 2 years ago

わかった事

hocfile_forSBやsrc_forSB以外のディレクトリ内のファイルも使用しているみたい！（ディレクトリ名を変えた（src → _src）らエラーが出た）

Kenkentake commented 2 years ago

やったこと

update_vecのサイズとindexの値の把握

わかった事

index is out of rangeが発生し得る状況
- update_vecサイズ：36
- index：0~125

疑問

福田コードで記述されていたnum_of_pop_per_procs = receiveInfoAndPassData() の必要性
- 富岳上で記述するとエラー発生し、COするとエラー解消される。

Kenkentake commented 2 years ago

わかった事

引き継ぎ資料より、本来孫プロセスに渡されるべきパラメータ（1つの子プロセスが持つ遺伝子数・次元数・神経細胞回路に直した場合の接続数）が渡されていない。
- make_neuro_spawn.c内のMPI_Comm_Spawn()関数の引数にspawn_argvが指定されていない
- cluster内の過去のmake_neuro_spawn.cを見ても同様なので、networkSimulation.hocに上記3つのパラメータをベタ書きする必要がありそう

Todo

NUM_OF_POP_PER_PROCS = 1つの子プロセスが持つ遺伝子数（=総遺伝子数 / 子プロセス数）で実行

Kenkentake commented 2 years ago

現状整理

receiveInfoAndPassData()内のpc.broadcast(vec, root)での待機中にタイムオーバーでジョブ終了
1.0（estimation_main.c, mplmcma.c）と1.0@1（make_neuro_spawn.c）の出力ファイルが生成されない
receiveInfoAndPassData()をCOすると、pc.scatter_d(nullvec, rcv_pop_vec_weight, dim_cmaes * num_of_pop_per_procs, root)でエラー発生する