Naver-AI-Hackathon / AI-Speech

31 stars 5 forks source link

외부 라이브러리 sndfile 관련 질문 #28

Closed kaen2891 closed 4 years ago

kaen2891 commented 4 years ago

안녕하세요.

현재 librosa를 setup.py 에 등록하여 실행하려고 하였으나,

다음과 같은 에러가 발생하여 dev team에게 문의드리라는 notice를 발견하여 여쭤보려합니다.

Traceback (most recent call last):
  File "main.py", line 38, in <module>
    import librosa
  File "/opt/conda/lib/python3.6/site-packages/librosa/__init__.py", line 13, in <module>
    from . import core
  File "/opt/conda/lib/python3.6/site-packages/librosa/core/__init__.py", line 115, in <module>
    from .audio import *  # pylint: disable=wildcard-import
  File "/opt/conda/lib/python3.6/site-packages/librosa/core/audio.py", line 8, in <module>
    import soundfile as sf
  File "/opt/conda/lib/python3.6/site-packages/soundfile.py", line 142, in <module>
    raise OSError('sndfile library not found')
OSError: sndfile library not found

위의 에러 창 이후 setup.py에 sndfile 를 porting 하였으나, 아래와 같은 에러가 발생합니다.

generating cffi module 'build/temp.linux-x86_64-3.6/sndfile._sndfile.c'
  creating build/temp.linux-x86_64-3.6
  building 'sndfile._sndfile' extension
  creating build/temp.linux-x86_64-3.6/build
  creating build/temp.linux-x86_64-3.6/build/temp.linux-x86_64-3.6
  gcc -pthread -B /opt/conda/compiler_compat -Wl,--sysroot=/ -Wsign-compare -DNDEBUG -g -fwrapv -O3 -Wall -Wstrict-prototypes -fPIC -I/opt/conda/include/python3.6m -c build/temp.linux-x86_64-3.6/sndfile._sndfile.c -o build/temp.linux-x86_64-3.6/build/temp.linux-x86_64-3.6/sndfile._sndfile.o
  build/temp.linux-x86_64-3.6/sndfile._sndfile.c:494:21: fatal error: sndfile.h: No such file or directory
  compilation terminated.
  error: command 'gcc' failed with exit status 1
  ----------------------------------------
  ERROR: Failed building wheel for sndfile
  Running setup.py clean for sndfile
  Building wheel for librosa (setup.py): started
  Building wheel for librosa (setup.py): finished with status 'done'
  Stored in directory: /root/.cache/pip/wheels/49/1d/38/c8ad12fcad67569d8e730c3275be5e581bd589558484a0f881
Successfully built speech-hackathon python-Levenshtein librosa
Failed to build sndfile
ERROR: thinc 6.12.1 has requirement msgpack<0.6.0,>=0.5.6, but you'll have msgpack 0.6.1 which is incompatible.
Installing collected packages: python-Levenshtein, sndfile, soundfile, numpy, librosa, speech-hackathon
  Running setup.py install for sndfile: started
    Running setup.py install for sndfile: finished with status 'error'
    ERROR: Complete output from command /opt/conda/bin/python -u -c 'import setuptools, tokenize;__file__='"'"'/tmp/pip-install-bgf1lv93/sndfile/setup.py'"'"';f=getattr(tokenize, '"'"'open'"'"', open)(__file__);code=f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))' install --record /tmp/pip-record-dwhyyqo9/install-record.txt --single-version-externally-managed --compile:
    ERROR: running install
    running build
    running build_py
    creating build
    creating build/lib.linux-x86_64-3.6
    creating build/lib.linux-x86_64-3.6/sndfile
    copying sndfile/__init__.py -> build/lib.linux-x86_64-3.6/sndfile
    copying sndfile/build.py -> build/lib.linux-x86_64-3.6/sndfile
    copying sndfile/formats.py -> build/lib.linux-x86_64-3.6/sndfile
    copying sndfile/io.py -> build/lib.linux-x86_64-3.6/sndfile
    copying sndfile/vio.py -> build/lib.linux-x86_64-3.6/sndfile
    running build_ext
    generating cffi module 'build/temp.linux-x86_64-3.6/sndfile._sndfile.c'
    creating build/temp.linux-x86_64-3.6
    building 'sndfile._sndfile' extension
    creating build/temp.linux-x86_64-3.6/build
    creating build/temp.linux-x86_64-3.6/build/temp.linux-x86_64-3.6
    gcc -pthread -B /opt/conda/compiler_compat -Wl,--sysroot=/ -Wsign-compare -DNDEBUG -g -fwrapv -O3 -Wall -Wstrict-prototypes -fPIC -I/opt/conda/include/python3.6m -c build/temp.linux-x86_64-3.6/sndfile._sndfile.c -o build/temp.linux-x86_64-3.6/build/temp.linux-x86_64-3.6/sndfile._sndfile.o
    build/temp.linux-x86_64-3.6/sndfile._sndfile.c:494:21: fatal error: sndfile.h: No such file or directory
    compilation terminated.
    error: command 'gcc' failed with exit status 1
    ----------------------------------------
ERROR: Command "/opt/conda/bin/python -u -c 'import setuptools, tokenize;__file__='"'"'/tmp/pip-install-bgf1lv93/sndfile/setup.py'"'"';f=getattr(tokenize, '"'"'open'"'"', open)(__file__);code=f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))' install --record /tmp/pip-record-dwhyyqo9/install-record.txt --single-version-externally-managed --compile" failed with error code 1 in /tmp/pip-install-bgf1lv93/sndfile/

team/sr-hack-2019-dataset/114: Fail to build session

어떻게 해결하면 될까요?

ClovaAIAdmin commented 4 years ago

librosa 사용 테스트를 해봤는데 재현이 안되네요. 제가 사용한 setup.py입니다.

#nsml: nvcr.io/nvidia/pytorch:19.06-py3
from distutils.core import setup
import setuptools

setup(
    name='speech_hackathon',
    version='1.0',
    install_requires=[
        'librosa',
        'python-Levenshtein'
    ]   
)

아마도 nsml 장비에 따라서 이슈가 있는 것 같은데요. 혹시 모르니, setup.py에 librosa 버전을 0.6.3 으로 지정해서 테스트 부탁드립니다.

kaen2891 commented 4 years ago

잘 되는 것 같습니다. 감사합니다^^

kaen2891 commented 4 years ago

안녕하세요.

외부라이브러리 작성 후, 계속 main()start, train()start 로만 멈춰있는 상황이 생겨서 문의드립니다.

저희팀은 team185 이며, 아래의 그림은 team185/sr-hack-2019-datset/130 입니다.

우선 setup.py는 아래와 같이 작성하였고,

nsml: nvcr.io/nvidia/pytorch:19.09-py3

from distutils.core import setup import setuptools

setup( name='speech_hackathon', version='1.0', install_requires=[ 'python-Levenshtein', 'librosa==0.6.3', 'numpy==1.16.0' ] )

(torchaudio 를 넣었을때에도 안됩니다.ㅜㅜ)

이 때, 맨 윗줄의 #nsml: nvcr.io/nvidia/pytorch:19.09-py3 부분에서 19.09로 바꾼 이유는

https://github.com/Naver-AI-Hackathon/AI-Speech/issues/31 를 참고하여 하였으나, 그대로인 상황입니다.

문제되는 부분은 아래 그림과 같습니다.

[image: image.png]

제가 어제 20분정도, 오늘 5분정도 기다려보았는데 진행이 안되고 있습니다. 이 때, credit은 계속 날라가는 상태입니다. ( team185/sr-hack-2019-datset/120, team185/sr-hack-2019-datset/130, team185/sr-hack-2019-datset/132) 참고로 나머지 부분은 baseline code 그대로 사용하고 있습니다.

해결책을 알려주시면 감사하겠습니다..

감사합니다.

김준우 드림.

--

June-Woo Kim, Master Student

Artificial Brain Research Lab.

Department of Sensor and Display Engineering

KyungPook National University, Republic of Korea

Mobile: +82-(0)10-2304-8514

2019년 9월 19일 (목) 오후 5:50, Admin of Clova AI Open Source < notifications@github.com>님이 작성:

librosa 사용 테스트를 해봤는데 재현이 안되네요. 제가 사용한 setup.py입니다.

nsml: nvcr.io/nvidia/pytorch:19.06-py3

from distutils.core import setup

import setuptools

setup(

name='speech_hackathon',

version='1.0',

install_requires=[

    'librosa',

    'python-Levenshtein'

]

)

아마도 nsml 장비에 따라서 이슈가 있는 것 같은데요. 혹시 모르니, setup.py에 librosa 버전을 0.6.3 으로 지정해서 테스트 부탁드립니다.

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub https://github.com/Naver-AI-Hackathon/AI-Speech/issues/28?email_source=notifications&email_token=ALDNXIJHYGJRCJ3AI4DMJMDQKM4LXA5CNFSM4IYHXFAKYY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGOD7CXGDY#issuecomment-533033743, or mute the thread https://github.com/notifications/unsubscribe-auth/ALDNXIOQBCI3JXY67JMWGM3QKM4LXANCNFSM4IYHXFAA .

kaen2891 commented 4 years ago

한 가지 질문 더 드리고 싶습니다.

model을 돌리다가 멈춘 뒤, fork를 하고자 합니다.

이 때, baseline code에 --iteration 이 없어서, 아래와 같은 에러가 생겼습니다.


usage: main.py [-h] [--hidden_size HIDDEN_SIZE] [--layer_size LAYER_SIZE] [--dropout DROPOUT] [--bidirectional] [--use_attention] [--batch_size BATCH_SIZE] [--workers WORKERS] [--max_epochs MAX_EPOCHS] [--lr LR] [--teacher_forcing TEACHER_FORCING] [--max_len MAX_LEN] [--no_cuda] [--seed SEED] [--save_name SAVE_NAME] [--mode MODE] [--pause PAUSE] main.py: error: unrecognized arguments: --iteration best User session exited

그리하여 그 모델을 버리고, 다시 학습할때 model.py 내에 --iteration을 추가하였고,

fork를 시키는 것까지는 성공하였으나,

다음과 같은 창이 뜨고 멈춰버리는 현상이 발생합니다.

Various files include modifications (c) NVIDIA CORPORATION. All rights reserved. NVIDIA modifications are covered by the license terms that apply to the underlying project or file. NOTE: MOFED driver for multi-node communication was not detected. Multi-node communication performance may be reduced. Paused.

Paused 뜬 이후로 5분이 지나도 진행이 안되는데... 일부로 막아두신건지....오류가 있는지 체크 부탁드려도 될까요?

요구를 많이 드리는 것 같아서 죄송합니다... 불편한 점이 생각보다 많이 생기는 것 같습니다ㅜㅜ

감사합니다.

김준우 드림.

--

June-Woo Kim, Master Student

Artificial Brain Research Lab.

Department of Sensor and Display Engineering

KyungPook National University, Republic of Korea

Mobile: +82-(0)10-2304-8514

2019년 9월 20일 (금) 오후 6:36, June-Woo Kim kaen2891@gmail.com님이 작성:

안녕하세요.

외부라이브러리 작성 후, 계속 main()start, train()start 로만 멈춰있는 상황이 생겨서 문의드립니다.

저희팀은 team185 이며, 아래의 그림은 team185/sr-hack-2019-datset/130 입니다.

우선 setup.py는 아래와 같이 작성하였고,

nsml: nvcr.io/nvidia/pytorch:19.09-py3

from distutils.core import setup import setuptools

setup( name='speech_hackathon', version='1.0', install_requires=[ 'python-Levenshtein', 'librosa==0.6.3', 'numpy==1.16.0' ] )

(torchaudio 를 넣었을때에도 안됩니다.ㅜㅜ)

이 때, 맨 윗줄의 #nsml: nvcr.io/nvidia/pytorch:19.09-py3 부분에서 19.09로 바꾼 이유는

https://github.com/Naver-AI-Hackathon/AI-Speech/issues/31 를 참고하여 하였으나, 그대로인 상황입니다.

문제되는 부분은 아래 그림과 같습니다.

[image: image.png]

제가 어제 20분정도, 오늘 5분정도 기다려보았는데 진행이 안되고 있습니다. 이 때, credit은 계속 날라가는 상태입니다. ( team185/sr-hack-2019-datset/120, team185/sr-hack-2019-datset/130, team185/sr-hack-2019-datset/132) 참고로 나머지 부분은 baseline code 그대로 사용하고 있습니다.

해결책을 알려주시면 감사하겠습니다..

감사합니다.

김준우 드림.

--

June-Woo Kim, Master Student

Artificial Brain Research Lab.

Department of Sensor and Display Engineering

KyungPook National University, Republic of Korea

Mobile: +82-(0)10-2304-8514

2019년 9월 19일 (목) 오후 5:50, Admin of Clova AI Open Source < notifications@github.com>님이 작성:

librosa 사용 테스트를 해봤는데 재현이 안되네요. 제가 사용한 setup.py입니다.

nsml: nvcr.io/nvidia/pytorch:19.06-py3

from distutils.core import setup

import setuptools

setup(

name='speech_hackathon',

version='1.0',

install_requires=[

    'librosa',

    'python-Levenshtein'

]

)

아마도 nsml 장비에 따라서 이슈가 있는 것 같은데요. 혹시 모르니, setup.py에 librosa 버전을 0.6.3 으로 지정해서 테스트 부탁드립니다.

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub https://github.com/Naver-AI-Hackathon/AI-Speech/issues/28?email_source=notifications&email_token=ALDNXIJHYGJRCJ3AI4DMJMDQKM4LXA5CNFSM4IYHXFAKYY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGOD7CXGDY#issuecomment-533033743, or mute the thread https://github.com/notifications/unsubscribe-auth/ALDNXIOQBCI3JXY67JMWGM3QKM4LXANCNFSM4IYHXFAA .

kaen2891 commented 4 years ago

아래 그림과 같이 Paused. 뜨고 넘어가지가 않습니다...ㅜㅜ

[image: image.png]

감사합니다.

김준우 드림.

--

June-Woo Kim, Master Student

Artificial Brain Research Lab.

Department of Sensor and Display Engineering

KyungPook National University, Republic of Korea

Mobile: +82-(0)10-2304-8514

2019년 9월 21일 (토) 오전 2:21, June-Woo Kim kaen2891@gmail.com님이 작성:

한 가지 질문 더 드리고 싶습니다.

model을 돌리다가 멈춘 뒤, fork를 하고자 합니다.

이 때, baseline code에 --iteration 이 없어서, 아래와 같은 에러가 생겼습니다.


usage: main.py [-h] [--hidden_size HIDDEN_SIZE] [--layer_size LAYER_SIZE] [--dropout DROPOUT] [--bidirectional] [--use_attention] [--batch_size BATCH_SIZE] [--workers WORKERS] [--max_epochs MAX_EPOCHS] [--lr LR] [--teacher_forcing TEACHER_FORCING] [--max_len MAX_LEN] [--no_cuda] [--seed SEED] [--save_name SAVE_NAME] [--mode MODE] [--pause PAUSE] main.py: error: unrecognized arguments: --iteration best User session exited

그리하여 그 모델을 버리고, 다시 학습할때 model.py 내에 --iteration을 추가하였고,

fork를 시키는 것까지는 성공하였으나,

다음과 같은 창이 뜨고 멈춰버리는 현상이 발생합니다.

Various files include modifications (c) NVIDIA CORPORATION. All rights reserved. NVIDIA modifications are covered by the license terms that apply to the underlying project or file. NOTE: MOFED driver for multi-node communication was not detected. Multi-node communication performance may be reduced. Paused.

Paused 뜬 이후로 5분이 지나도 진행이 안되는데... 일부로 막아두신건지....오류가 있는지 체크 부탁드려도 될까요?

요구를 많이 드리는 것 같아서 죄송합니다... 불편한 점이 생각보다 많이 생기는 것 같습니다ㅜㅜ

감사합니다.

김준우 드림.

--

June-Woo Kim, Master Student

Artificial Brain Research Lab.

Department of Sensor and Display Engineering

KyungPook National University, Republic of Korea

Mobile: +82-(0)10-2304-8514

2019년 9월 20일 (금) 오후 6:36, June-Woo Kim kaen2891@gmail.com님이 작성:

안녕하세요.

외부라이브러리 작성 후, 계속 main()start, train()start 로만 멈춰있는 상황이 생겨서 문의드립니다.

저희팀은 team185 이며, 아래의 그림은 team185/sr-hack-2019-datset/130 입니다.

우선 setup.py는 아래와 같이 작성하였고,

nsml: nvcr.io/nvidia/pytorch:19.09-py3

from distutils.core import setup import setuptools

setup( name='speech_hackathon', version='1.0', install_requires=[ 'python-Levenshtein', 'librosa==0.6.3', 'numpy==1.16.0' ] )

(torchaudio 를 넣었을때에도 안됩니다.ㅜㅜ)

이 때, 맨 윗줄의 #nsml: nvcr.io/nvidia/pytorch:19.09-py3 부분에서 19.09로 바꾼 이유는

https://github.com/Naver-AI-Hackathon/AI-Speech/issues/31 를 참고하여 하였으나, 그대로인 상황입니다.

문제되는 부분은 아래 그림과 같습니다.

[image: image.png]

제가 어제 20분정도, 오늘 5분정도 기다려보았는데 진행이 안되고 있습니다. 이 때, credit은 계속 날라가는 상태입니다. ( team185/sr-hack-2019-datset/120, team185/sr-hack-2019-datset/130, team185/sr-hack-2019-datset/132) 참고로 나머지 부분은 baseline code 그대로 사용하고 있습니다.

해결책을 알려주시면 감사하겠습니다..

감사합니다.

김준우 드림.

--

June-Woo Kim, Master Student

Artificial Brain Research Lab.

Department of Sensor and Display Engineering

KyungPook National University, Republic of Korea

Mobile: +82-(0)10-2304-8514

2019년 9월 19일 (목) 오후 5:50, Admin of Clova AI Open Source < notifications@github.com>님이 작성:

librosa 사용 테스트를 해봤는데 재현이 안되네요. 제가 사용한 setup.py입니다.

nsml: nvcr.io/nvidia/pytorch:19.06-py3

from distutils.core import setup

import setuptools

setup(

name='speech_hackathon',

version='1.0',

install_requires=[

    'librosa',

    'python-Levenshtein'

]

)

아마도 nsml 장비에 따라서 이슈가 있는 것 같은데요. 혹시 모르니, setup.py에 librosa 버전을 0.6.3 으로 지정해서 테스트 부탁드립니다.

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub https://github.com/Naver-AI-Hackathon/AI-Speech/issues/28?email_source=notifications&email_token=ALDNXIJHYGJRCJ3AI4DMJMDQKM4LXA5CNFSM4IYHXFAKYY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGOD7CXGDY#issuecomment-533033743, or mute the thread https://github.com/notifications/unsubscribe-auth/ALDNXIOQBCI3JXY67JMWGM3QKM4LXANCNFSM4IYHXFAA .