aws p2xlargeでCUDAドライバインストールから

[makkimaki]

ドキュメント：https://docs.nvidia.com/datacenter/tesla/tesla-installation-notes/index.html#ubuntu-lts

更新日時：NVIDIA Driver Installation Quickstart Guide (PDF) - Last updated June 7, 2022 -

実行手順

• 3. Package Managers より１つも違わず順に実行
• 最後に$ nvidia-smiを実行したが以下のエラーメッセージ
• 今まで何度もドライバインストール行ってきたがエラー出たことないので対応困る（ドキュメント内容が新しくなってることが間接的原因ではある）

  NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.

現状

• AWS p2.xlarge使用

• Ubuntu 18.04 LTS

  $ lspci | grep -i nvidia
  00:1e.0 3D controller: NVIDIA Corporation GK210GL [Tesla K80] (rev a1)

• CUDAドライバのパッケージ管理状況

  $ dpkg -l | grep cuda
  ii  cuda-drivers                     515.48.07-1                               amd64        CUDA Driver meta-package, branch-agnostic
  ii  cuda-drivers-515                 515.48.07-1                               amd64        CUDA Driver meta-package, branch-specific
  ii  cuda-keyring                     1.0-1                                     all          GPG keyring for the CUDA repository

[makkimaki]

reboot, exitなども効果なし

[makkimaki]

2. Runfile Installers

から実施し直した。（途中、ドライババージョンコンフリクトなどのメッセージが出るため指示に対応しながら適宜アンインストールなど実施） ３番まで実施したが$nvidi-smiは動作せず。

２番によれば$ DRIVER_VERSION=450.80.02としているから、対応するCUDAバージョンなども整合取る必要はある。参考：https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html#cuda-major-component-versions__table-cuda-toolkit-driver-versions

まずバージョン情報の確認から。

[makkimaki]

これに沿って新しくやり直すべき？ https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=18.04&target_type=deb_network

• installer type → deb [network]

現状のCUDAドライバの削除

sudo apt-get --purge remove nvidia-*
sudo apt-get --purge remove cuda-*

nvidia-driverインストール

ubuntu-drivers devices

sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update
sudo apt install nvidia-driver-460

sudo reboot

nvidia-smi

$ nvidia-smi
Thu Jul 21 01:42:12 2022       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 460.106.00   Driver Version: 460.106.00   CUDA Version: 11.2     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Tesla K80           On   | 00000000:00:1E.0 Off |                    0 |
| N/A   29C    P0    69W / 149W |      0MiB / 11441MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

CUDAインストール（nvidia-docker使う際は不要）

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-ubuntu1804.pin
sudo mv cuda-ubuntu1804.pin /etc/apt/preferences.d/cuda-repository-pin-600
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/3bf863cc.pub
sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/ /"
sudo apt-get update
sudo apt-get -y install cuda

[makkimaki]

nvidia container toolkitインストール

URL：https://github.com/NVIDIA/nvidia-container-toolkit

最後これができていればいい

• コンテナ上で$ nvidia-smiが実行できたかどうかの確認

  docker run --rm --gpus all nvidia/cuda:11.0.3-base-ubuntu18.04 nvidia-smi

[makkimaki]

ホスト側のprivate keyをexp_docker_env/.sshにコピーして、適宜Dockerfile, docker-compose.ymlの固有名を書き換えた。その後docker-compose build, docker-compose up -d で無事終了（エラーなし！）

しかしコンテナに繋がらない。ポート解放を別にしないといけないかもしれない？？コンテナ内には入れている。

参考：

$ docker exec -it 99bc039ca556 bash
Agent pid 1900
/root/.ssh/makkimaki-gcp2: No such file or directory

あ、このエラーのせいか...？

[makkimaki]

関係ないわ。多分authorized_keysの有無か。

[makkimaki]

SSH接続の理解を訂正

コンテナ側に接続する方式は、

• コンテナ側のport(202222)とホスト側のport(2220022)をdocker-compose.ymlでつなげる
• ローカルPCから公開鍵秘密鍵認証するのはホストコンテナ側の秘密鍵とであり、コンテナホスト側との鍵認証はない
• ローカルPCから公開鍵認証するのは コンテナ 側の 公開 鍵とであり、 ホスト 側との鍵認証はない ※ローカルPCの秘密鍵とコンテナに置かれた公開鍵がセット
• ホストとコンテナの接続の分け方は、portとuser名の~2~1つで分ける

だからコンテナ側にauthorized_keysでローカルPCにある公開鍵をコピペしないといけない

[makkimaki]

ローカルPCのitermからコンテナに接続したらVScodeからも行けるようになった。ちょっとまとめ直す。

[makkimaki]

小まとめ

以下に注意すればコンテナにつながる

• EC2のport解放作業（適当に検索すればすぐわかる。GCPよりわかりやすい）
• コンテナ内に~/.ssh/authorized_keys配置（中身はローカルPCの公開鍵） ⇒ローカル(~/.ssh/id_ed25519)とコンテナ(~/.ssh/authorized_keys)を対応させよう。

[makkimaki]

.sshフォルダ必要要件

• GitHub通信用：Hostと同じ秘密鍵
• ローカルPCとの接続用：ローカルにもともとおいてある何かしらの公開鍵⇒authorized_keysに書き込み