Tensorboard logging 및 visualization

[chanil1218]

• Required visualization

• [ ] Attention alignment(논문 Fig. 3)

• [ ] Noisy / Clean / Attention enhanced spectrogram visualization

• [ ] PESQ / STOI logging

[chanil1218]

PESQ가 기본적인 것은 https://ecs.utdallas.edu/loizou/speech/software.htm 이쪽으로 계산하는 것이 많은 것 같은데,

PESQ, STOI 메트릭 완전히 표준적인 계산이나 이런 것들이 없어서 논문에서 사용하는 library 같은 것을 찾아봐야 할 것으로 보임.

Python version PESQ / STOI library 결과가 논문에서 사용하는 것과 같은 결과가 나오면 간단하게 파이썬 버전을 써서 evaluation metric 계산하도록.

[chanil1218]

Attention visualization 같은 경우에는 matplotlib으로 해야하고. attention visualization matplotlib, attention alignment visualization matplotlib 같은 키워드로 가장 지슷한 샘플 찾아두고 데이터 어떤 형식으로 넘겨줘야 하는지 함수 하나 만들어두면 되지 않을까 싶어요.

https://nlpstudynote.tistory.com/m/19

[chanil1218]

https://github.com/jtkim-kaist/Speech-enhancement

이쪽 참고해서 시작하는 편이 제일 찾아볼게 적을 것 같아요. API처럼 특정 형식으로 데이터 넘겨주면(tensor, matrix of spectrogram/attention weights) tensorboard에 matplotlib 이미지 같은 것을 로깅하도록요.

[chanil1218]

https://librosa.github.io/librosa/generated/librosa.display.specshow.html 이거 참고해봐요.

[rownrrns]

PESQ, STOI 참고용 링크 : https://github.com/pchao6/LSTM_PIT_Speech_Separation