masamichitakagi
commented
3 years ago 髙木さん、
張です。
ジョブ一式(QJ210121-006.tar.gz)提供します。 ○実行前 1.tar の解凍 LN のFEFSファイルシステム上で上記tar.gz ファイルを展開してください。 $tar xvfz QJ210121-006.tar.gz 2.設定 conf/loop_peta.conf のCLST,RU,RG,LANG_VER,PJMLANGPATHは、 それぞれ、クラスタ名、リソースユニット、リソースグループ、コンパイラのパス になっています。 実際の計算器環境に合わせて変更してください。 script/mck*.shのjobenvの値 は、計算機環境のジョブ実行環境名に合わせて変更してください。
○実行方法 上で解凍としてできた以下のスクリプトを実行してください。 $run_mck.sh
○その他 バッチジョブのcf2_peta_lpf_mck.shだけ実行したい時 以下のように変更してから実行してください。 1.run_mck.sh の以下のmck_batch.sh だけ#コメントを外す。 例. $SCR_DIR/mck_batch.sh 30 20
$SCR_DIR/mck_step.sh 20 10
2.script/mck_batch.sh のfor i in をコメントにして、以下を追加
修正前:
for i in egrep -v '(^#)' ${BASEDIR}/conf/mckjob.list
修正後:
for i in "/mpitest/cf2_peta_lpf_mck.sh"
for i in egrep -v '(^#)' ${BASEDIR}/conf/mckjob.list
○その他 job下の各プログラムをリコンパイルするとき jobディレクトリ下のジョブスクリプトのあるディレクトりで、cmp_pata.sh のコンパイラパスを変更して、 cmp_peta.sh を実行してください。 例. $cd job/mpitest $vi ./cmp_pata.sh $./cmp_peta.sh
優先度高
h2. 症状1
McKernelのジョブ実行中に、ノードの死活監視で落とされた。 ・発生時刻 ・13:26:11 ～ 13:31:19 ・ジョブ ・/fefs1/images/mckernel.imgをUDI指定 ・ジョブスクリプト：cf2_peta_lpf_mck.sh ・ジョブ実行環境(jobenv)：mck6 ・8ノードのMPIジョブ (1ノードあたり4プロセス) ・rankごとにmalloc/memset/freeするだけのジョブ。ジョブ一式を後程提供する予定。 ・ログ /var/log/messageを添付します。
・富士通側の見解 直前にihkmondがOOpsを出している。 Jan 21 13:23:51 system8-cn0202 ihkmond[3297]: [ 38]: Unable to handle kernel paging request at virtual address 00100469 Jan 21 13:23:51 system8-cn0202 ihkmond[3297]: [ 38]: OOps.
McKernelが起動済(Running)の状態で何かハングが発生したのだと推測。 McKernelがpanic？した延長でホストLinuxも巻き込んでハングしてしまったのではないかと推測。
h2. 症状2
ダンプ採取ができていない。
h2. 原因2
以下2つの可能性がある。 A. #1601と同件 B. カーネルが外からのpanic割り込みを受け付ける状況ではない。(e.g.アシスタントコアが割り込み禁止でハングする)
h2. 解決策/回避策2
A. cmakeに@-DENABLE_PANIC_NOTIFIER_WORKAROUND=ON@をつけることで、当該構造体を用いないようにする。この場合、LinuxのダンプからMcKernelのメモリを除外する。
修正は1.7.9以降に入っている。関連コミットは以下の通り。
B. smp_ihk_os_panic_notifierでMcKernel側の処理を待つ部分でタイムアウトを入れる。
修正は1.7.9以降に入っている。関連コミットは以下の通り。