search

nkm071 / end-to-end_with_Generate-day-to-night-images

生成モデルについてのリポジトリ
0 stars 0 forks source link

本リポジトリの目的と作業工程 #1

Open nkm071 opened 3 months ago

nkm071 commented 3 months ago

目的

end-to-endのシステムに組み込むための準備のためのリポジトリ

作業工程

以下に作業工程を列挙する．

  1. サイトAまたは，サイトBに従い．GPUが使用可能なdocker環境を整える．
  2. git cloneが使用できるような環境を整える．httpsを用いたcloneならできることが確認されているがsshを用いたcloneはできないことが確認されている．具体的な解決策：githubのトークンを用いた方法があり，おそらくそれで解決が可能
  3. apt install が通るようにする．docker内でapt installが通らないことがあり，それを解決するようなdocker コンテナにする．
  4. day-to-nightの動作確認 選定の経緯：CVPRというコンピュータビジョンとパターン認識に関する最も重要な会議において発表された技術であり，再現可能なinstallationが示されているため．加えて，幾つかの手法と評価がなされているため．
  5. nav_cloning側への組み込み方の検討 オフライン学習とオンライン学習どちらの学習方法で学習を行うべきか検討を行う。
nkm071 commented 2 months ago

作業工程を変更した

nkm071 commented 2 months ago

https://github.com/nkm071/end-to-end_with_Generate-day-to-night-images/issues/3 作業工程の1について取り組み中

nkm071 commented 2 months ago

https://github.com/nkm071/end-to-end_with_Generate-day-to-night-images/issues/3 作業工程の1は終了

nkm071 commented 2 months ago

作業工程の3に関して解決した．

解決策

apt updateを行った．

nkm071 commented 2 months ago

次は作業工程の2を行う．以下のエラーで詰まり中だがアクセストークンを利用することで解決したことのあるエラーであるような可能性があるためその方針で解決を試みる．

root@90ce9f5b3f88:~/GIT# git clone git@github.com:nkm071/day-to-night.git
Cloning into 'day-to-night'...
The authenticity of host 'github.com (20.27.177.113)' can't be established.
ED25519 key fingerprint is SHA256:+DiY3wvvV6TuJJhbpZisF/zLDA0zPMSvHdkr4UvCOqU.
This key is not known by any other names
Are you sure you want to continue connecting (yes/no/[fingerprint])? yes
Warning: Permanently added 'github.com' (ED25519) to the list of known hosts.
git@github.com: Permission denied (publickey).
fatal: Could not read from remote repository.

Please make sure you have the correct access rights
nkm071 commented 2 months ago

作業工程3がふきとんだ．原因は以下のコマンドだと--rmによりオプションのクリーンアップが動作するためである．次は--rmなしでコンテナを扱う．

docker run -it --rm --runtime=nvidia --gpus all nvidia/cuda:12.1.0-cudnn8-devel-ubuntu22.04 /bin/bash 参考サイト

nkm071 commented 2 months ago

こちらの問題の解決作として以下のコマンドにより起動するようにした．差分は区別をつけやすくするために名前を変更した．

https://github.com/nkm071/end-to-end_with_Generate-day-to-night-images/issues/5 起動コマンド docker run --gpus all -it --shm-size=8g day-to-night:ver1 /bin/bash

nkm071 commented 2 months ago

残念なことにコンテナ内からexitしてしまうと作業内容は保存されないようだ．このことから一気に作業してしまうか何らかの保存方法を見つける必要がある．

yasuohayashibara commented 1 month ago

藤原君が作成したORNE-box用のdocker環境は電源を切ってもデータが残る仕組みが入っていた気がします．

nkm071 commented 1 month ago

https://github.com/open-rdc/aiformula_docker/tree/main 上記のリポジトリでも電源を切ってもデータが残る仕組みを確認できたので参考にしてdockerファイル等を作成します．

nkm071 commented 1 month ago

こちらのdocker containerを使用することでday-to-nightの動作確認ができた。

nkm071 commented 1 month ago

nav_cloning側にどのように組み込むか検討がついていないので作業工程に追記した。

nkm071 commented 1 month ago

こちらのissueより学習方法はオフライン学習に決定する。

nkm071 commented 1 month ago

マシンリソースの問題に直面している． https://github.com/nkm071/end-to-end_with_Generate-day-to-night-images/issues/8 https://github.com/nkm071/end-to-end_with_Generate-day-to-night-images/issues/9

yasuohayashibara commented 4 weeks ago

@nkm071 コンピュータのスペックを記載して下さい． 特にGPUのメモリが不足することが疑われる場合は，メモリに関して記載して下さい．

nkm071 commented 4 weeks ago

こちらにまとめてあります。 GPU自体のメモリは4GBです． RAMは32GBです．