DeepLearning Docker, Jupyter, DIGIT 환경 설정

unizard commented 6 years ago

Centos7 에 익숙하지 않은 개발자를 위한 문서

네이버의 개발환경인 CentOS7이 익숙하지 않다면, 그리고 연구개발 역할이 Serving을 담당하고 있지 않다면, 개발생산성 향상을 위해 아래와 같이 Docker를 활용하여 Ubuntu 환경을 설정하길 바란다.
최근 각종 딥러닝 라이브러리의 빠른 발전으로 tensorflow, pytorch등의 모든 기능을 사용하려면 ubuntu16.04의 cuda9.0이 가장 범용적이다.
하지만, 안타깝게도 이와 같은 세팅은 불과 1~2년전에 개발된 방법론들과 온전히 호환되지 않는 경우가 경우가 많다. 따라서, 개발용 도커 ubuntu16.06-cuda9.0과 테스트 도커 ubuntu 14.04-cuda8.0 를 동시에 사용하길 권장한다.

즐겨찾기

https://www.slipp.net/wiki/pages/viewpage.action?pageId=26640755

unizard commented 6 years ago

도커 설치

아래의 쉘을 실행한다. https://oss.navercorp.com/VisionOR/AwesomeManuals/blob/master/setup-nocert.sh

docker 이미지 관리를 위한 환경설정, docker 설치

딥러닝 도커이미지 다운로드 & 도커 컨테이너 생성 & 주피터 실행


$ sudo docker pull ufoym/deepo:all-py27-jupyter
$ nvidia-docker run -it -p 8888:8888 --volume=/home/ykchoi:/home/ykchoi/ ufoym/deepo:all-py27- jupyter 
$ jupyter notebook --no-browser --ip=0.0.0.0 --allow-root --NotebookApp.token= --notebook-dir='/home/ykchoi/'

아이피를 알아내기 위해서는 $ hostname -I
browse: xxx.xxx.xxx.xxx:8888

NVidia-docker 설치

도커 시작하기

주의: image ID와 container ID 다름..


$ sudo docker ps -a
> container ID(eb30c372a2e6)를 확인한다.

$ sudo docker start eb30c372a2e6
$ sudo docker attach eb30c372a2e6 
$ (엔터한번 더치기)

$ sudo docker stop eb30c372a2e6  (다른 터미널에서...실행할 것)

하나의 도커 컨테이너에 여러 터미널 열기


$ sudo docker exec -it eb30c372a2e6 bash

멀티포트바인딩

여러개의 도커를 띄울 때는 포트바인딩이 겹치지 않도록 조심한다. $ sudo nvidia-docker run -it -p 8000-9000:8000-9000 --volume=/home/ykchoi:/home/ykchoi/ ufoym/deepo:all-py27-jupyter -p: 포트바인딩 - volume: 스토리지바인딩

생성된 컨테이너의 새로운 포트 바인딩은 가능한가? 불가능하다.

새로운 이미지를 만들고, 다시 컨테이너를 생성하는 것이 답이다.

기존 컨테이너 새로 만들어 시작하기 (commit)

$ docker stop 27fb088aa237
$ sudo docker commit 27fb088aa237 caffe-py27-digit-jupyterlab
$ sudo nvidia-docker run -it -p 8000-9000:8000-9000 --volume=/home/ykchoi:/home/irteam/nvision caffe-py27-digit-jupyterlab
$ sudo docker ps // 해당 명령을 통해 새롭게 만들어진 컨테이너의  ID를 확인
$ sudo docker start 3cd6c39a314d
$ sudo docker attach 3cd6c39a314d

caffe 설치

https://yunsangq.github.io/articles/2017-02/caffe

[참고문헌]

https://hub.docker.com/r/ufoym/deepo/
http://programmingsummaries.tistory.com/391
https://yobi.navercorp.com/common_share/posts/831
- 사내 깃에서 tmux tip 게시물 발견, 시간될 때 적용해보기
http://wiki.navercorp.com/pages/viewpage.action?pageId=243156628
- 주말에는 회사 서비스 개발 문서를 탐독 하자

unizard commented 6 years ago

ufoym/deepo 과 기존 딥러닝 도커 비교

https://github.com/ufoym/deepo sudo docker pull ufoym/deepo:all-py27-jupyter

ubuntu, cuda 버전을 맞춰서 이미지를 당길 방법이 없나? 없는듯? 응..아래를 보면 알겠지만 없음

unizard commented 6 years ago

[Tip#1] 개발 환경 변경 (root => irteam)

개별 계정이 아닌 root 권한으로 도커를 사용하다보니 jupyter 사용시 제약(shell 사용:auto-completion)이 많았다. 개발환경 개선을 하고자 도커내부에서 개별계정을 설정하여 사용하기로 하고 아래와 같이 진행한다.

// root 암호 설정
$ passwd root
// 계정 생성
$ adduser irteam
// sudo 추가
$ sudo apt-get update
$ apt-get install vim
$ apt-get install sudo

// visudo 수정
$ visudo
// root의 profile중 일부 PATH설정을 옮겨야 한다. nvidia-smi 등의 명령어가 전혀 동작하지 않으므로..
$ vi ~/.profile
// 아래와 같이 PATH 추가, /usr/local/nvidia/bin:/usr/local/cuda/bin:

[Tip#2] Jupyter Lab 사용 권장

기존 Jupyer Notebook을 상상한다면 오산.. 한번 맛보면 상상하던 개발환경을 제공에 놀라움을 감추지 못할 것임

// jupyter lab 설치
// [설치doc] https://github.com/jupyterlab/jupyterlab
// [데모] https://programmers.co.kr/learn/courses/21/lessons/11041#
pip install jupyterlab

[Tip#3] Host<->docker container 공유 폴더 설정시 주의 점

절대 개인계정 home을 공유폴더로 세팅하면 안된다. 각종 설정 숨긴파일이 없어지니까? -_-
- 잘못된 예시 $ sudo nvidia-docker run -it -p 8000-9000:8000-9000 --volume=/home/ykchoi:/home/irteam/ caffe-py27-digit-jupyterlab
- 좋은 예시 $ sudo nvidia-docker run -it -p 8000-9000:8000-9000 --volume=/home/ykchoi:/home/irteam/nvision caffe-py27-digit-jupyterlab

따라하며 설정하기

$ sudo docker stop 27fb088aa237
$ sudo docker commit 27fb088aa237 caffe-py27-digit-jupyterlab
$ sudo nvidia-docker run -it -p 8000-9000:8000-9000 --volume=/home/ykchoi:/home/irteam/nvision caffe-py27-digit-jupyterlab
$ sudo docker ps
$ sudo docker start 3cd6c39a314d
$ sudo docker attach 3cd6c39a314d
...
$ jupyter lab --no-browser --ip=0.0.0.0 --port='8888' --allow-root --NotebookApp.token= --notebook-dir='/home/irteam/nvision'
...
$ sudo docker stop 3cd6c39a314d

unizard commented 6 years ago

JupyterLab terminal

세팅

$ sudo apt-get install vim $ vi ~/.vimrc ... 설정은 참고...

터미널을 열면,

$ source ~/.profile $ ldconfig 수행해주기..

아직 원인을 알 수 없으나, 쉘 로그인이 정상적으로 동작하지 않는거 같다?

unizard commented 6 years ago

기존 서버 => 신규 서버 데이터 이동

주의사항

서버 설정은 irteam 계정을 사용한다. 기존 서버: csbg7016: 10.116.49.202
신규 서버: tsbg7010: 10.108.23.24

사전지식

ssh의 인증방식으로 public-key를 활용하면 암호를 입력하지 않고 자동으로 로그인 할 수 있다.

신규 서버 ssh key 생성 (ssh-keygen)
- $ ssh-keygen -t rsa
- 신규 서버의 공개키는 아래에 저장된다. 확인은 $ vi /home/irteam/.ssh/id_rsa.pub
기존 서버에 신규 서버의 ssh 키 추가
- $ sudo vi /home/irteam/.ssh/authorized_keys 에 신규서버의 공개키를 저장한다.
- 신규 서버에서 기존 서버에 로그인 없이 접근 가능하다. 쌍방으로 주고받으려면, 양쪽 모두에 공개키를 이식할 것!
rsync 설정
- sudo yum install rsync
- $ vi /etc/xinetd.d/rsync 를 통해 disable = yes를 disable = no로 변경해준다.
- $ vi /etc/rsyncd.conf 에 다음과 같이 등록한다. (없으면 새로 작성하기)
  - 접속 alias 및 서버를 설정한다. (alias 를 꼭 기억해야 한다.)
  - 참고) tsbg7010 서버 캡쳐
- $ systemctl start rsyncd.service
- $ systemctl enable rsyncd.service
기존 서버에서 신규 서버로 rsync 파일
- 데이터 수신법 테스트 [irteam@tsbg7010 ykchoi]$ rsync -arv irteam@10.116.49.202::R/home1/irteam/test2.txt /home1/irteam/
- 데이터 송신 테스트 [irteam@csbg7016 ykchoi]$ rsync -arv /home1/irteam/test2.txt irteam@10.108.23.24::R/home1/ykchoi

사용법 rsync -avz ::<alias이름>/경로

옵션 v : 동기화 상세정보(진행사항)를 보여준다. (verbose) r : 지정한 디렉토리의 하위 디렉토리까지 재귀적으로 실행한다. (recursive) p : 퍼미션 정보를 보존한다. (perms) z : 데이터 압축 전송한다. (compress) u : 새로운 파일을 덮어쓰지 않는다. (update) b : 이미 파일이 존재하는 경우 오래된 파일은 ~가 붙는다.

한줄요약

(수신) $ rsync -arv irteam@10.116.49.202::R/home1/irteam/test2.txt /home1/irteam/ (송신) $ rsync -arv /home1/irteam/test2.txt irteam@10.108.23.24::R/home1/ykchoi

Reference

http://www.i-swear.com/747

unizard / Env