트레이닝이 잘 되다가 에폭이 끝날때 Segmentation fault가 뜹니다.

[sooftware]

Informations

CLI

• OS (Mac, Windows, Linux, etc) and version:
• client version(please show nsml --version):

WEB

• Brower (chrome, firfox, etc):
• URL:

What is your NSML login ID? sh951011

Question

아예 안 돌아가면 모르겠는데..

위의 캡처와 같이 1에폭이 끝날 때마다 저렇게 세그멘테이션 폴트가 뜨네요..
다른 걸 수정한게 아니라 get_spectrogram_feature() 함수를 수정했는데 이래서 팀원들과
몇일 째 골머리를 앓고 있습니다. 답변 부탁드립니다 ㅜ.ㅜ

[SaewonY]

위와 같은 상황으로 1epoch 학습이 끝나면 segmentation 오류가 뜹니다. baseline에서 feature 불러오는 부분만 librosa로 바꿨을 뿐인데 오류가 납니다. utilization 부분 보면 메모리 소비는 크지 않은것 같은데 확인 가능할까요? 세션명은 team117/sr-hack-2019-dataset/263 입니다.

[nsml-user]

Informations

CLI

• OS (Mac, Windows, Linux, etc) and version:
• client version(please show nsml --version):

WEB

• Brower (chrome, firfox, etc):
• URL:

What is your NSML login ID? sh951011

Question

아예 안 돌아가면 모르겠는데..

위의 캡처와 같이 1에폭이 끝날 때마다 저렇게 세그멘테이션 폴트가 뜨네요.. 다른 걸 수정한게 아니라 get_spectrogram_feature() 함수를 수정했는데 이래서 팀원들과 몇일 째 골머리를 앓고 있습니다. 답변 부탁드립니다 ㅜ.ㅜ

세션명도 같이 알려주세요~

[sooftware]

team18/sr-hack-2019-dataset/185 입니다.

[sooftware]

slack 채널에서 보면 저 뿐만 아니라 librosa를 사용하거나, 따로 feature를 사용하려 하는 경우
많은 분들이 에러가 나는 것 같습니다 ㅜ.ㅜ

아예 안되는건 아닌데, 어떤 코드는 돌아가고, 어떤 코드는 돌아가지 않아 혼란스럽습니다.
네이버 측에서 올려주신 MFCC 피쳐 추출이나 Mel-spectrogram 피쳐 추출 코드 역시
돌아가지 않습니다... 몇일 째 골머리를 앓고 있습니다. 답변 부탁드립니다 ㅜ.ㅜ

[qute012]

slack 채널에서 보면 저 뿐만 아니라 librosa를 사용하거나, 따로 feature를 사용하려 하는 경우 많은 분들이 에러가 나는 것 같습니다 ㅜ.ㅜ

아예 안되는건 아닌데, 어떤 코드는 돌아가고, 어떤 코드는 돌아가지 않아 혼란스럽습니다. 네이버 측에서 올려주신 MFCC 피쳐 추출이나 Mel-spectrogram 피쳐 추출 코드 역시 돌아가지 않습니다... 몇일 째 골머리를 앓고 있습니다. 답변 부탁드립니다 ㅜ.ㅜ

따로 본 기억이 없어서 그런데 혹시 네이버 측에서 올린 MFCC와 Mel-Spectrogram 위치가 어딘지 알 수 있을까요? 저 또한 같은 증상이 보이는데 배치사이즈를 줄이니 더 돌아가다가 똑같이 세그먼트 오류가 뜨네요. nsml 리소스를 보면 여유가 있는듯 한데, 혹시 도커 컨테이너 당 메모리 제한이 걸려서 멈추는건 아닌지 싶네요.

[sooftware]

https://github.com/clovaai/speech_hackathon_2019/blob/master/docs/speech_hackathon_2019_chapter_1.pdf
이 링크타고 가시면 됩니다

[sooftware]

이거 해결이 안되는건가요?? ㅜ.ㅜ

[nsml-admin]

안녕하세요. 제가 team18/sr-hack-2019-dataset/185 세션을 받아서 테스트해봤는데요,

https://github.com/Naver-AI-Hackathon/AI-Speech/issues/31#issuecomment-533498010 위 링크에 @HanSeokhyeon 님께서 말씀해주신것처럼 setup.py에 #nsml: nvcr.io/nvidia/pytorch:19.09-py3 로 바꾸시고 다시 해보니깐 정상적으로 되는것같습니다.

한번 테스트해보실래요?

[sooftware]

아 해결했습니다 감사합니다!!