search

cloudtrack / dsstne-starter

DSSTNE Starter is easy to help making a sample project of Deep Learning based on Amazon DSSTNE and AWS G2 Instances.
3 stars 0 forks source link

g2 인스턴스 설치하기 #3

Closed sgkim126 closed 7 years ago

sgkim126 commented 7 years ago

ubuntu 16.04를 쓰면 안 되는 이유

  1. 16.04는 gcc가 최하 4.9인데 hdf5 빌드 스크립트가 잘못 만들어져서 4.8에서밖에 컴파일이 안 됨. https://github.com/amznlabs/amazon-dsstne/issues/71
  2. cuda toolkit이 아직 ubuntu 16.04를 지원 안 함
sgkim126 commented 7 years ago

ubuntu 14.04 ami로 설치해봤는데 gpu driver를 못 잡아서 실패. 어차피 cuda를 써야하니 http://tleyden.github.io/blog/2015/11/22/cuda-7-dot-5-on-aws-gpu-instance-running-ubuntu-14-dot-04/ 를 이용해서 재시도할 계획

sgkim126 commented 7 years ago

cudnn까지 설치하고 컴파일해봤는데 cuda랑 cudnn 라이브러리 용량이 너무 많이 차지해서 하드디스크 꽉참 용량 늘리고 다시 시도해보겠음

sgkim126 commented 7 years ago

g2 instance는 gpu가 파스칼이 아님 https://github.com/amznlabs/amazon-dsstne/commit/8716b84de1895cbd151d1a1ef1daf65a7e644690 이거 리버트하고 빌드해야함

sgkim126 commented 7 years ago

sudo apt-get -y update && sudo apt-get -y install gcc g++ make cmake libatlas-base-dev unzip && wget http://www.open-mpi.org/software/ompi/v1.8/downloads/openmpi-1.8.2.tar.gz && tar xvfz openmpi-1.8.2.tar.gz && pushd openmpi-1.8.2 && ./configure --prefix=/usr/local/openmpi && make && sudo make install && popd && wget ftp://ftp.unidata.ucar.edu/pub/netcdf/netcdf-4/hdf5-1.8.12.tar.gz && tar xvfz hdf5-1.8.12.tar.gz && pushd hdf5-1.8.12 && ./configure --prefix=/usr/local && make && sudo make install && popd && wget ftp://ftp.unidata.ucar.edu/pub/netcdf/netcdf-4/zlib-1.2.8.tar.gz && tar xvf zlib-1.2.8.tar.gz && pushd zlib-1.2.8 && ./configure && make && sudo make install && popd && wget ftp://ftp.unidata.ucar.edu/pub/netcdf/netcdf-4.1.3.tar.gz && tar xvf netcdf-4.1.3.tar.gz && pushd netcdf-4.1.3 && ./configure --prefix=/usr/local && make && sudo make install && popd && wget http://www.unidata.ucar.edu/downloads/netcdf/ftp/netcdf-cxx4-4.2.tar.gz && tar xvf netcdf-cxx4-4.2.tar.gz && pushd netcdf-cxx4-4.2 && ./configure --prefix=/usr/local && make && sudo make install && popd && wget https://github.com/open-source-parsers/jsoncpp/archive/svn-import.tar.gz && tar xvfz svn-import.tar.gz && pushd jsoncpp-svn-import && mkdir -p build/release && cd build/release && cmake -DCMAKE_BUILD_TYPE=release -DJSONCPP_LIB_BUILD_SHARED=OFF -G "Unix Makefiles" ../.. && make && sudo make install && popd && wget https://github.com/NVlabs/cub/archive/1.5.2.zip && unzip 1.5.2.zip && sudo cp -rf cub-1.5.2/cub/ /usr/local/include/

sgkim126 commented 7 years ago

일단 최신 dsstne 돌아가는 인스턴스 ami-11461106 제작 텐서플로우는 설치해도 gpu를 못 잡아서 계속 시도 중

sgkim126 commented 7 years ago

tensorflow는 cuda 7.5를 사용하는게 기본이고, dsstne는 7.0을 쓰고 있어서 7.0 환경에서 tensorflow 설치하려면 install from source를 따라가다가 cuda랑 cudnn 버젼을 명시해줘여함 https://github.com/tensorflow/tensorflow/issues/1965#issuecomment-210875952

sgkim126 commented 7 years ago

ami-eb3b6dfc