기묘한 이야기 2 (Stranger Things 2) 본적이 있나? 자동차 추격신은 완전 스릴있고, HDR 이라 화려한 경험을 했을 것이다.
사운드 없는 장면은 스릴과 감정 자극이 될리가 없다
스트리밍 품질은 대게 비디오에 중점을 둔다. 실제로 넥플릭스는 4K, HDR 등 시각적 품질 개선 부터 스트리밍 환경을 개선하기 위해 아답티브 스트리밍(복잡한 인코딩인 AV1을 써서)을 도입 했다.
하지만, 비디오에 집중하다보면 사운드의 중요성을 간과하기 쉽다. 사운드의 변화량은 매우 적지만, 오디오와 비디오가 싱크가 안맞는 것처럼, 시청자에게 장면을 다르게 인식시키게 한다.
소리의 본질을 이해하는 사람으로는 Duffer 형제가 있다. Stranger Things 2 audio mix 에서 이들에게 피드백을 받았는데, 5.1 채널 스트림의 일부 장면에서 고주파처럼 들렸다. (high frequencies)
우리 엔지니어링팀과 Creative Technologies의 사운드 전문가들이 힘을 합쳐 문제를 해결하려 했으나, 고품질 오디오를 위해 대화가 더 커졌다.
넥플릭스는 훌륭한 오디오 제공을 위해 노력한다. 2010년에 5.1 서라운드 오디오 스트리밍을 시작했고, 2016년에 Dolby Atmos 스트리밍을 시작했다. 최첨단 홈 시어터가 없어도, 고객의 만족도를 높히고 싶다. HDR 과 Netflix Calibrated Mode 가 창의적인 의도를 유지하는 것처럼, 사운드도 동일한 이유다. 이것이 우리가 고품질 오디오를 출시한 이유다.
그 사람과 숨겨진 노력을 알고 싶다면 우리 비디오를 확인해봐라. 이 기술 블로그에서는 고품질 오디오가 무엇인지, 전세계 회원들에게 어떻게 전달하는지, 왜 우리에게 중요한지를 알아볼것이다.
What do we mean by “studio quality” sound?
전문적인 레코딩 스튜디오를 가봤다면, 사운드가 얼마나 다른지 알수 있을것이다. 한가지 이유는 mastering sessions 에 사용되는 파일이 채널당 1 Mbps 비트레이트, 24-bit 48 kHz 이기 때문이다. Studio mixes 는 압축하지 않았고 master 로 간주한다.
우리의 고품질 사운드는 무손실 압축이 아니지만 지각적으로 투명하다. 즉, 오디오는 압축되어 있지만 원본 소스와 구분할수 없다. 테스트 결과 Dolby Digital Plus 의 640 kbps 이상에서는 오디오 품질이 지각적으로 투명하다. 그 외에도, 청취 경험의 부가가치를 이끌지 않고, 높은 비트레이트를 가진 파일을 너에게 보낸다. (뭔소린지?)
640 kbps 로 결정하는것 이외에도(24-bit 5.1 채널과 비교하면 10:1 압축 비율), 5.1-channel audio 를 192 ~ 640 kbps 까지 비트레이트 ladder 를 설정 가능하다. 이는 "good" 에서 "transparent" 까지 다양한 것이고, 나쁜 오디오 경험은 없다.
동시에 Dolby Atmos 비트 전송률을 재검토하여 768 kbps 로 늘렸는데, 인코딩 기술이 효율화 될것이기 때문에 시간이 지나면 괜찮아 질것이다.
사운드는 무의식적으로 이야기 전달에 도움이 되며, 전화벨의 선명함, 많은 수의 새소리 등의 세세한 경험을 만든다. 사운드의 차이가 미묘하지만, 듣기에 영향을 주는것을 측정 가능하다.
무엇보다 mix stage 에서 만드는 studio quality 가 가장 중요하다. 영화 및 TV 업계에서는 광고 소재는 믹스를 만드는데 며칠씩 걸린다. 때로는 중요한 사운드 신호가 사라질수도 있다. studio quality 를 제공하여 mix stage 에서 창의적인 의도를 유지한다.
Adaptive Streaming for Audio
오디오는 constant bitrate 를 사용했는데, 재생 시작시 비트레이트를 결정하는 식이었다. 비디오에선 adaptive 스트리밍을 최적화 하는데 수년 걸렸다. 지금까지는 비디오만 adaptive 스트리밍을 사용 했다.
Adaptive 스트리밍은 네트워크 연결에 가장 적합한 방식으로 미디어를 사용자에게 전달하도록 설계 되었음. 미디어는 수많은 작은 몇초짜리 세그먼트(chunk)로 나뉘어져 있고, 몇가지 퀄리티를 제공한다.
Adaptive 스트리밍 알고리듬의 목표는 제약이 있는 환경에서도 최상의 재생 환경을 제공하는 것이다. 뛰어난 재생 환경은 비디오와 오디오 모두를 고려하여 최상의 퀄리티가 제공되어야 하고, 버퍼링 부족, 재생 중단 등을 피해야 한다.
제한된 환경은 네트워크 변화나 혹은 디바이스 성능 제약때문일 수 있다. Adaptive 스트리밍은 이런것들을 고려해야 하지만, 사실 훌륭한 환경을 제공하는것은 쉽지 않다.
먼저 adaptive 비디오와 static 오디오 스트리밍인 상황에서 네트워크가 가변적일때 어떻게 되는지 살펴보자. 이 경우 throughput 이 갑자기 떨어짐
상단 그래프는 network throughput 와 오디오 비디오 비트레이트를 보여준다. 오디오 비트레이트는 고정이고, 재생 시작시 선택된다. 반면 비디오 비트 전송률은 다양하고, 주기적으로 변화한다.
하단 그래프는 오디오와 비디오의 버퍼를 보여준다. 재생되는것보다 버퍼가 더 빠르다면 채울수 있지만, 그렇지 않으면 버퍼는 줄어든다.
비디오 adaptive 스트리밍 알고리듬은 throughput 감소에 반응하여 비트레이트를 낮추어 비디오와 오디오 버퍼 수준을 신속하게 안정화 시켰다.
두번째 시나리오에서는 동일한 네트워크 환경에서 높은 퀄리티의 static 오디오 비트레이트로 시작한다.
비디오의 adaptive 스트리밍 로직은 잘 동작한다. 하지만 사용 가능한 throughput이 오디오와 비디오 비트레이트 합보다 작아지게 되고, 버퍼가 소모되기 싲가하다가 결국 rebuffer 한다.
이 시나리오에선 비디오 비트레이트가 오디오 비트레이트 보다 낮아졌기 때문에, 재생 품질이 안좋다.
이 간단한 예제에서 static 오디오는 요동치는 네트워크 환경에서는 최적의 재생 품질을 가져가지 못함을 알수있다. 이것이 adaptive streaming for audio 의 동기가 되는것이다.
오디오 adative 스트리밍를 사용하면, 비디오 처럼 재생중에 대역폭을 조절가능하게 해준다.
오디오 adaptive 스트리밍의 이점을 설명하기 위해 동일한 네트워크 환경으로 테스트 한것을 보여준다.
이 케이스에서는 네트워크 컨기션이 지원되면 높은 오디오 비트레이트를 사용할 수 있고, 비트레이트 down 할때에도 gracefully 하게 전환하는데 비디오와 오디오의 버퍼 레벨을 건강하게 유지하면서 rebuffer 이벤트를 피한다.
위 간단한 케이스에서는 명백하게 이점이 있지만, 스트리밍 생태계로 확장하면 또다른 어려운점이 있다. 오디오 adaptive 스트리밍을 나가기 위한 몇가지 질문에 대한 대답이다.
What about device reach? 우리는 다양한 CPU, 네트워크, 메모리 환경을 가진 수억개의 디바이스가 있고 adaptive 오디오가 검증된적이 없다. 이 장치들은 오디오 스트리밍 스위칭을 지원합니까?
넥플릭스가 지원하는 모든 디바이스에서 adaptive 오디오 스트리밍 테스트 하는 작업이 추가 되었다.
또한 새로운 디바이스가 추가될때마다 인증 과정에 adative 오디오 테스트를 추가함.
모든 TV 디바이스에서 adaptive 오디오 스트리밍이 가능하단걸 알았다면, 알고리듬에 대한 대답을 해야 했다.
비디오 퀄리티를 떨어트리지 않고, 오디오 품질이 향상 가능하다는것을 보장할 수 있나요?
높은 퀄리티 오디오를 사용하여 추가적인 rebuffer 없음과 startup 지연이 없음을 보장할 수 있나요?
이 알고리듬의 성능 특징이 다른 디바이스에게 정상적으로 동작하는지를 어떻게 보장하나요?
이 질문에 답하기 위해 비디오 품질은 저하시키지 않고 오디오 스트리밍 품질을 높히기 위한 알고리듬을 미세조정 실험을 1년간 진행했다.
Enjoying a Higher Quality Experience
우리는 듣기 테스트와 과학적인 데이터를 바탕으로 최적의 "transparent" 비트레이트를 선택했고, 네트워크 컨디션에 따라 adaptive 오디오 알고리듬을 설계했고, 다양한 CPU, 네트워크, 메모리 환경에 이 기능을 활성화할 수 있었다. 5.1 채널 환경의 수많은 고객들은 이제 높은 품질의 오디오를 들을수 있다.
스트리밍 환경에 부정적인 영향을 안주어야 한다. adaptive 비트레이트는 스트리밍 환경에서 좋은 transparent를 위해 심리스하게 전환가능해지고, 네트워크 상태가 좋다면 믹싱 단계에서 최상의 오디오를 제공 받을 수 있다. 만약 네트워크 이슈가 있다면 adaptive 스트리밍이 당신을 도운다.
adaptive 비디오 스위칭을 완성하기 위해 수년간 노력했던것 처럼, mix 의 모든 세부 사항을 보장하기 위해 노력했다. 넥플릭스의 독창적인 기술력과 엔지니어링 팀에서 이문제를 해결했고, 전세계 수백만 회원들의 오디오 퀄리티도 향상시켰다.
Stranger Things 에 관심 많고 열심히 일하는 사람들이 독창적인 의도를 유지하는게 최우선이었으며, 그순간 많은 즐거움이 있습니다. Upside Down 에 빠져있거나 Demogorgon 에 쫓기고 있어도 전에 경험하지 못한 최고의 사운드 품질을 들을 준비 하세요.
https://medium.com/netflix-techblog/engineering-a-studio-quality-experience-with-high-quality-audio-at-netflix-eaa0b6145f32
What do we mean by “studio quality” sound?
Adaptive Streaming for Audio
Enjoying a Higher Quality Experience