Add mpi_wrapper.sh

[so298]

@YumaTsuta @odashi MPI利用時に各種環境変数を設定するためのスクリプトのmpi_wrapper.shを追加しました GPUクラスタA/Bの両方で使えるようにしています

また、mpi_wrapper.shの内部で module load を行っているので、利用するmoduleが確定したらそれに変更する必要があります

[odashi]

@so298 すみません、蔦さんによってリポジトリ名にpretrainが追加されたので、他のpull requestでもトップのディレクトリをpretrainではなく環境名に変更しています。こちらでもpretrainディレクトリを削除して1段浅くしてもらえると助かります！

合意形成が先ということで議論の結果を待っています

[so298]

@odashi pretrain/ までのパスを削除することに異論ないです

(#4 で議論が進んでるのに今気付きました。自分の方で動かすのは保留しておきます)

[odashi]

@so298

二転三転してすみませんが、リポジトリ名はllm-jp-scriptsでpretrain以外も管理することになりそうなので、こちらのコードのパスは以下に変更お願いします

pretrain/scripts/v3-megatron-sakura/{filename}

経緯 https://llmjp.slack.com/archives/C07DE5PF742/p1722071956072819

[odashi]

動作確認の関係で #1 にこちらの追加コードも含まれているんですが、どうしましょうか。

[YumaTsuta]

含まれているのであれば、 #1 に一本化してプルリク閉じても良いでしょうね。 @so298 問題なさそうでしょうか？

[so298]

@YumaTsuta 大丈夫です！

[so298]

こちらはcloseしたいと思います なにかあればまたopenしてください