search

kojimano / Megatron-DeepSpeed-ABCI

Other
5 stars 2 forks source link

データの置き場所 #9

Closed losyer closed 1 year ago

losyer commented 1 year ago

対象 ・ABCI転送する前処理済みのデータ

時期 ・リハーサル前

losyer commented 1 year ago

東北大 or Google Drive or Dropbox (or S3??)の中で使いやすいものを使う。（4/20 NLPチームMTG）

keisks commented 1 year ago

GCPのbucket　（GPT-JPNプロジェクト）を用意して、invitationを送りました。

keisks commented 1 year ago

ABCI上でgsutilを使いたい場合は、

singularity run --nv docker://google/cloud-sdk:latest でdockerイメージを使い、gcloud initし、認証を行えばOKです。 （GCPのGPT-JPNプロジェクトに招待が必要な人はお知らせください。）

ただし、/bb/系のパスはデフォルトでmount/bindされないので、/bb系を使う場合は

singularity pull docker://google/cloud-sdk:latest
singularity run --bind /bb/grandchallenge/GROUPID...:/home/PATH_TO_MOUNT cloud-sdk_latest.sif
gcloud init (初回だけ)