tanreinama / GPTSAN

General-purpose Swich transformer based Japanese language model
MIT License
117 stars 4 forks source link

Dockerで試すとパスのエラーが出る #5

Closed miracle777 closed 1 year ago

miracle777 commented 1 year ago

早速Dockerで、試しました。

次のエラーが出て、ファイルが見つからない状態です。

PS E:\> docker run --gpus all -it --rm -vpwd`/GPTSAN-2.8B-spout_is_uniform:/tf/GPTSAN/GPTSAN-2.8B-spout_is_uniform コンテナID python run_generate.py --model GPTSAN-2.8B-spout_is_uniform/ --context "武田信玄は、戦国 時代ファンならぜひ押さえておきたい名将の一人。天下統一を目指し勢いに乗る織田信長からも、一目置かれていたと"

docker: Error response from daemon: create pwd/GPTSAN-2.8B-spout_is_uniform: "pwd/GPTSAN-2.8B-spout_isuniform" includes invalid characters for a local volume name, only "[a-zA-Z0-9][a-zA-Z0-9.-]" are allowed. If you intended to pass a host directory, use absolute path.

See 'docker run --help'.

`

今、画像のように、Googleドライブからダウンロードしたものを、ドライブ直下に配置しています。

スクリーンショット_20221229_230903

tanreinama commented 1 year ago

dockerの-vオプションは、その後に続くディレクトリを、Dockerコンテナの中の指定の場所にマウントする、というコマンドです pwdは現在いるディレクトリを表示するコマンドで、pwdとすることで現在の位置をdockerのコマンド入力に入れる指示です これはLinuxのシェルの記法です Windowsならばpwdの箇所を直接今いるディレクトリに変えてください

miracle777 commented 1 year ago

申し訳ございません。 ありがとうございます。 下記の修正をして、エラーが改善されました。

PS E:\> docker run --gpus all -it --rm -v e:\/GPTSAN-2.8B-spout_is_uniform:/tf/GPTSAN/GPTSAN-2.8B-spout_is_uniform 97aaec59f38a python run_generate.py --model GPTSAN-2.8B-spout_is_uniform --context "武田信玄は、戦国 時代ファンならぜひ押さえておきたい名将の一人。天下統一を目指し勢いに乗る織田信長からも、一目置かれていたと" " WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/tensorflow/python/compat/v2_compat.py:96: disable_resource_variables (from tensorflow.python.ops.variable_scope) is deprecated and will be removed in a future version. Instructions for updating: non-resource variables are not supported in the long term TPU node not foud. Using GPU device.

すみません。今、機械翻訳したら、アップデートが必要とあります。 Pythonのアップデートをすると、また、パッケージのバージョンが合わないとエラーになると思います。

すみません。 訂正します。 https://www.tensorflow.org/install?hl=ja で調べたら、Windowsは、C++が必要と分かりました。 インストールしてみます

tanreinama commented 1 year ago

DockerがGPUを認識するには、https://docs.docker.com/compose/gpu-support/ を参考にDocker環境を構築してください なお、GPTSANは最低16GB以上のGPUメモリを必要とします

miracle777 commented 1 year ago

ありがとうございます。 最低条件は、ぜひ、説明のところに書いてください。 実行した環境は、書いてあると多くの人の役に立つと思います。

私のパソコンのGPUのVRAMでは足りないとなると、google colabで試すしかないです。 学習モデルをgoogle colabで解凍を試みたのですが、上手くいかずWindowsで試そうとしました。 そして、今に至っています。

色々教えてくださって、ありがとうございます。

miracle777 commented 1 year ago

私のグラフィックボードの性能です。 スクリーンショット_20221230_102832 Stable Diffusionのように、VRAM少なくても動くようになると良いと思いました。

今回  https://www.tensorflow.org/?hl=ja を知ることができましたので、私も勉強します。 色々とありがとうございました。

tanreinama commented 1 year ago

特になければこのISSUEはクローズします

miracle777 commented 1 year ago

はい。 大丈夫です。 ありがとうございます。