바이노럴 사운드(Binaural Sound) 영화 언제 가능할까?

이 모든 일의 시작은 이 글(https://goo.gl/TJNrFz)에서 시작했다. Sony MDR-HW700DS 무선 9.1 채널 헤드폰...용서가 허락보다 쉽다는 플레이스테이션 광고 카피가 생각났다. 하지만, 한 편에서는 과연 헤드폰에서 9.1채널의 음분리감을 제대로 느낄 수 있을까 알고 싶어 답답해 죽을 지경이었다. Co-chair를 맡고 있어서 3월에 도쿄에서 열리는 워크샵에 참석을 해야 하는데, 일본에 가는 김에 제품을 구경하면 되겠거니 생각했지만, 이거 뭐 궁금한 것 참을 수가 없어서...

멀티채널 헤드폰이 있다는 이야기는 10년 전에도 들었었고, 헤드폰 좌우에 채널 별로 여러 개의 유닛을 가지고 있긴 했지만, 실제 멀티채널 홈시어터의 효과를 느낄 수 있는 지의 여부는 회의적이었다. 실제 회의적인 리뷰도 많이 봤었고... 그런데 10년이 지났는데다 9.1 채널을 지원하는 헤드폰이라길래, 기술이 정말 많이 발전한 걸까? 라는 생각이 들었다. 단순히 소니 헤드폰에는 유닛이 뭐 한 10개 정도 달린건가 싶었다. 하지만, 일반 스테레오 헤드폰처럼 그냥 좌/우 유닛 각각 하나씩 있는 것을 보고는, 완전 맨붕이었다. 가상 서라운드로 9.1을 구현했다는 건데, 그게 정말 가당키나 한 걸까?

먼저 한 게임 덕후의 포스팅(https://goo.gl/Uzyypr)을 한 번 살펴보자. (덕후들의 세계는 참 재미있는 것 같다.) 결론은 오래전 나온 현대 멀티채널 헤드폰 JPC-268DX보다 음 분리감이 약간 떨어진다는 주관적인 의견이 담겨 있다.

소니 멀티채널 헤드폰은, 소프트웨어적으로 구현한 VPT(Virtual Phones Technology, https://goo.gl/MuLQnA)라는 기술을 이용한다. 소니의 가상 서라운드 알고리즘으로 멀티채널 사운드를 2채널로 다운믹스한 소리 예제가 유투브에 있을까 싶어 찾아보니 찾기가 쉽지 않았다.

대신, Binaural Sound 관련 동영상을 보게 됐다. 사람의 귀가 두 개이기 때문에, 앞에서 나는 소리 뒤에서 나는 소리를 잘 모델링 하면, 뇌가 멀티채널의 공간감을 경험할 수 있는 사운드 기술이다. 녹음도 사람 고막 위치에 설치된 귓바퀴가 달린 마이크로 녹음을 한다. 일단 Binaural Sound 관련 동영상을 한 번 보자. 한 번도 경험해 보지 못했다면, Binaural Sound의 공간감에 깜짝 놀랄 수 있다. 먼저 헤드폰이나 이어폰을 반드시 착용하고 적당한 크기로 볼륨을 높이자. (이 포스팅에 나오는 대부분의 데모 영상들은 이어폰 보다는 헤드폰으로 들어야 서라운드 효과를 제대로 느낄 수 있다.)

다음 동영상의 05:00 부터는 바이노럴 사운드의 공간감을 가장 잘 보여주는 부분이다. 앞에서 들리는 소리와 뒤에서 나오는 소리를 스테레오 헤드폰이나 이어폰으로도 잘 들려준다. 머그잔 가지고 하는 실험은 정말 내 머리를 한 바퀴 도는 느낌이 꽤 정교하게 들린다.

다음의 짧은 영상은 노이즈가 좀 많이 녹음된 클립이지만, 놀라는 부분이 한 군데 있다. 특히 지금 현재 오피스에 있는 상황이라면...

바이노럴 사운드를 알게 된 후, 궁금했던 점은 멀티채널 사운드를 바이노럴 사운드로 소프트웨어적으로 변환할 수 있을까였다.

결론부터 이야기 하면, 어느정도 가능한 기술들이 있고, 어떤 고가의 장비들로는 거의 완벽하게 구현도 가능할 수도 있다는 것이다.

(1) PC나 노트북에서 가상 서라운드 경험하기

나는 영화에 관심이 많은데, 가상 서라운드 기술은 오히려 영화보다는 게임과 함께 발전한 경우가 더 많은 것 같다. 대부분의 콘솔 게임기들과 게임 타이틀들이 멀티채널 기술들을 탑재하고 있기 때문이다.

다 차치하고, Windows10 사용자라면 기본 탑재되어 있는  공간음향  Sonic 사운드를 통해 다채널 가상 서라운드 사운드를 간단한 설정으로 들을 수 있다.(https://goo.gl/za72rn) 넥플릭스 앱을 이용해서 영화를 보면, 5.1 사운드 소스를 받을 수 있어 Sonic 사운드를 통해 바이노럴 기술이 적용된 가상 헤드폰 서라운드를 경험할 수 있다. https://goo.gl/bN149W 이 곳에 가면 PC 동영상 재생기로 돌려볼 수 있는 다채널 오디오 클립 샘플들이 있는데, Sonic 사운드로 들어보면, 서라운드 스피커, 후면 스피커등의 사운드가 실제로 뒤에서 들리는것 같은 효과를 내는 소리를 경험해 볼 수 있다.

다음은 젠하이저에서 나온 게임용 USB 7.1 가상 서라운드 모듈 GSX 1000이다. PC나 맥에 USB로 연결해서 사용할 수 있는 장비이다. 게이밍 헤드폰 엠프로 불린다. Dolby나 DTS의 멀티채널 소스를 가상 서라운드 스테레오 헤드폰으로 들을 수 있게 다운믹스 해주는 기술도 탑재하고 있다. 아래 영상에서 GSX 1000으로 변환된 사운드 샘플을 여러 개 들을 수 있다.

맥용 무료 가상 서라운드 소프트웨어로는 Hajo Headphone Enhancer(https://goo.gl/5pDK3x)가 있다. 무료로 Trial버전을 사용할 수 있다. 개발자가 직접 만든 엔진으로 가상 5.1 서라운드 소리를 들어볼 수 있고, New Audio Technology(https://goo.gl/lsRR05)에서 만든 가상 서라운드 엔진으로도 소리를 들어 볼 수 있다. 앞에 소개한 GSX 1000도 New Audio Technology의 기술로 만들어진 제품으로 알고 있다. Hajo Headphone Enhancer를 설치하면, Hajo로 이름이 시작하는 새로운 하드웨어 사운드 output 장치가 생긴다. 맥의 Audio MIDI Setup 앱에서 Hajo를 선택한 후 Configure Speakers로 가면 가상 서라운드 테스트를 해볼 수 있다. 아래 그림에 나온 스피커들을 누르면 스테레오 헤드폰을 통해 스피커별 소리를 따로 들을 수 있다. Left surround를 눌렀을 때, 뒤로 나는 소리를 기대했지만, 그냥 Left front보다 왼쪽으로 더 멀리있는 소리로 들려 아쉬움이 컸다. 실제 5.1 영화를 재생해서 들어보면, 공간감은 더 느껴지지만, 실제 멀티채널 스피커를 사용할 때 들리는 뒤에서 나는 소리는 느끼기가 어려웠다. 

 최근에 Out Of Your Head라는 윈도우 및 맥용 바이노럴 사운드 소프트웨어를 알게 됐는데, 데모 영상으로는 이때 까지 들어봤던 여러 가상 서라운드 기술 중 최고의 성능을 보여주는 것 같다. 이곳에서 데모 샘플을 한번 들어 보시라. https://goo.gl/yhBpdq

아마도 개발자가 자신이 만든 기술에 자부심이 있는지 소프트웨어가 비싸다. 100불이 넘고 추가 Preset은 따로 구매해야 하는데 하나에 25불씩 한다.

(2) PC/Mac/XBox/PS 모두 호환 가능한 Gaming Headphone Amp

Astro Mixamp Pro TR이란 제품과 Turtle Beach Elite Pro TAC 이라는 제품은 GSX1000이랑 유사한 목적을 가지고 있는 장비이다. GSX1000이 USB를 통해 PC와 Mac에서만 연결해서 사용할 수 있는 제한점이 있는데 반해, Mixamp와 Elite Pro는 Optical Toslink를 지원해 게임 콘솔에서 나오는 서라운드 다채널 디지털 오디오 소스를 2채널 헤드폰 가상 서라운드인 Dolby Headphone이나 DTS Headphone:X로 변환해주는 장비이다. Dolby와 DTS의 가상 헤드폰 기술 모두 바이노럴 사운드를 소프트웨어적으로 구현한다.

두 헤드폰 앰프 모두 Optical단자를 통해 디지털 사운드 소스(Dolby Digital)를 입력 받을 수 있기 때문에, 이론상 Optical 출력을 지원하는 블루레이 장비와 연결을 하면, Dolby 기반의 멀티 채널 영화 사운드 소스를 헤드폰을 통해 들을 수 있다는 말이다. 블루레이 플레이어가 Optical출력을 지원하지 않는다면, HDMI나 Coaxial 출력을 Optical 출력으로 변환해주는 Converter장비(3-5만원 정도)를 이용해 Optical 출력을 사용할 수 있다. 장비 자체가 게임용으로 제작되어, 실제 블루레이에 연결해서 사용한 사례나 리뷰 포스팅은 찾아보지 못했다. 하지만, 충분히 가능할 것으로 보인다. (정말 가능할지는 잘 모르겠다.) Mixamp와 Elite Pro는 15만원에서 20만원 내외 정도면 구매할 수 있다. 기회가 되면, Astro Mixamp Pro TR나 Elite Pro을 구해서 플루레이 영화감상시 일반 2채널 헤드폰을 통해 가상 서라운드 품질이 어떨지 테스트 해보고 싶다. (참고로 Elite Pro는 홈페이지에 DTS Headphone:X를 지원한다고 나와 있는데, 실제로는 Optical로 Dolby신호를 받은 후 DTS Headphone:X가 적용이 되는 식으로 구현이 된 것 같다. Quick Start Guide에 보면 Only Dolby로만 Optical 설정하라고 나온다.)

소장하고 있는 플루레이 플레이어가 모든 소스에 대해 리인코딩을 어떤 포맷으로 해주느냐에 따라 적절한 헤드폰 앰프를 구매해야 한다. 몇 가지 블루레이 장비들을 찾아보았는데, 삼성이나 LG의 제품들은 대부분의 사운드 소스들을 DTS로 리인코딩 해주는 기능이 있고, 소니의 플루레이 장비들은 Dolby 데이터로 리인코딩하는 기능이 있음을 몇 몇 블루레이 플레이어 설명서를 통해 확인해 보았다. 그러니까 DTS 트랙만 가지고 있는 블루레이 타이틀의 경우, 다양한 디지털 음성 신호를 Dolby 신호로 리인코딩 해주는 소니 블루레이 플레이어를 써야 Mixamp와 Turtle Beach가 제대로 작동할 수 있다는 말이다.

Dolby나 DTS 같은 서라운드 기술 전문 업체에서 만든 헤드폰을 위한 자체 서라운드 기술인 Dolby Headphone, DTS Headphone:X외에 MP3를 발명한 Fraunhofer 연구소도 Cingo라는 기술을 보유하고 있다. 하지만, 해당 기술로 서비스 하는 콘텐츠는 극히 제한되어 있다. 제이슨본, 엑스마키나 같은 블루레이 타이틀은 DTS Headphone:X 사운드를 포함하고 있지만 전세계에 있는 DTS Headphone:X 트랙을 탑재한 영화들은 2017년 초 아직 20개도 안된다. (DTS Headphone:X 지원 블루레이 영화 목록: https://goo.gl/5FxaeQ) 다음은 DTS Headphone:X Sound check 데모 영상이다. 스피커 별로 소리가 나와서 그런지, 음분리감을 분명하게 느낄 수 있었다.

아래는 모두 같은 영상인데, DTS X 다채널을 어떻게 스테레오로 다운믹스하느냐에 따라 얼마나 다른 소리가 나는지 비교해 볼 수 있다. 첫번째는 다채널을 그냥 단순히 스테레오로 다운믹스 한 것이고, 두 번째는 바이노럴 사운드 디자이너 소프트웨어 같은 것을 이용해 다운믹스 한 것으로 생각된다. 두 영상의 소리 차이를 구분할 수 있으면, Headphone:X등의 가상 서라운드 기술을 이용해 일반 스테레오 헤드폰으로 영화를 보는 것이 실제 다채널 홈시어터로 영화를 보는 것과 유사한 경험을 할 수 있는 사람이라고 생각해도 무리가 없을 것 같다.

Flat Stereo로 다운믹스

바이노럴 사운드로 다운믹스(한 것으로 추정된다). 영상을 올린사람에게 어떻게 만들었냐고 물어보니

나중에 튜토리얼 영상 만들어서 올려주겠단다.

다음 영상은 DTS Headphone:X, Dolby Headphone 기술들과 일반 스테레오 사운드를 비교한 영상이다. 소프트웨어를 이용해 공간감은 많이 살린 것 같지만, 스피커 별로 소리를 재생한 영상과는 다르게 음분리감은 좀 부족한 것 같다. 이 문제는 어쩌면, 사운드 원본 소스 때문에 발생하는 것일 수도 있고 어떤 식으로 다운믹스 했는지에 영향을 받았을 수 있다. 순전히 개인적인 의견이지만 아래 영상에서는 Headphone:X가 전반적인 소리 균형이 잘 잡혀있고, Dolby Headphone은 Headphone:X보다 공간감은 더 잘 살렸다.

Fraunhofer의 Cingo는 몇 몇 구글 Nexus 장비 등에 적용이 되어, 구글플레이 무비 영화들을 Cingo 가상 서라운드로 감상할 수 있다. 덕분에 사용하고 있는 Nexus 7 2013에 Cingo가 탑재 되어 재미를 쏠쏠하게 보고 있었는데, 안드로이드 버전이 올라가면서 버그가 생겼는지 안드로이드 4.4 버전부터는 제대로 작동을 하지 않는다. 아무래도 최대 5.1 채널 (현재 구글 플레이 무비에서 영화에 따라 최대 지원 채널이 5.1임) 영화 소스를 이용해서 바이노럴 사운드로 만드는 거라, DTS Headphone:X 등의 기술보다는 음 분리감이 좀 떨어지지 않나 싶다. 재밌는 것은, 한국의 KT,  LG U+, SK 등에서 하는 IPTV 서비스 앱(올레 TV, U-HDTV, Btv)에 Cingo 기술이 적용됐다는 점이다. 아마 보통의 사용자들은 어차피 폰 스피커나 이어폰으로 듣는데 가상 서라운드 소리가 무슨 소용인가라고 생각할 수 있겠지만,  영화에서 소리가 차지하는 비중을 잘 알고 있는 사람들, 특히 헤드폰 사용자들에게는 흥미로운 서비스가 아닐 수 없다.

(3) 궁극의 3D사운드 장비 Realiser A series.

앞에서 살펴 본 GSX 1000이나 Hajo 모두 예제로 든 샘플 사운드를 통해서는 기대한 만큼의 음 분리감은 느낄 수 없었다. Miamp와 Elite  Pro는 들어볼 만한 샘플 사운드가 적어서 뭐라고 이야기하기 힘든 것 같다. 아무래도, 소프트웨어적으로는 실제 Binaural Sound를 모델링 하는데는 아직 어려움이 있어 보인다.

그러다가 우연히 발견한 제품이 Realiser A8과 A16제품이었다. 이미 몇년 전에 A8모델이 나왔고, 올해 A16모델이 나온다고 한다. A8이나 A16이나 Head Related Transfer Function(HRTF)라는 머리전달 함수를 통해 실제 귀가 소리를 전해 듣는 과정을 모델링하는 기술을 이용한다. 앞에 (1)이나 (2) 항목에 나온 장비에서 사용하는 서라운드 기술들도 HRTF를 이용하는 것으로 생각되나, Realiser는 아주 정교하게 HRTF를 구현한 것 같다. 소리를 듣는 사람들의 양쪽 귀에 Ear 마이크를 달고(인간 바이노럴 마이크라고 할 수 있겠다), 실제 멀티채널 스피커가 설치된 방에서 사운드 샘플을 받아 실제 소리 신호를 개인별 맞춤 소리로 보정을 해준다. 좌측 귀와 우측 귀의 거리차이로 사람마다 느끼는 공간감 구현이 다르다는 전제하에 맞춤식 HRTF 사운드 모델링을 하는 것이다. 머리 방향을 감지하는 센서가 있어서 VR처럼 머리를 돌릴 때 영상이 돌아가는 것처럼, 소리도 돌아가서 실제 멀티채널 스피커가 설치된 방에서 듣는 경험을 거의 재현 해주는 것 같다. 함정은 해당 장비가 3000불 넘는 고가라는 사실...GSX 1000,  Mixamp, Elite Pro가 게임에 초점을 맞추었다면, Realiser A 제품은 HDMI 입력을 받을 수 있어 홈시어터에 특화된 장비이다.

맥에서 멀티채널 사운드를 컨트롤해서 Realiser A8로 디코딩해 스테레오로 뽑아주는 예제 유투브 클립이 하나 있어서 올려본다.

하지만, 굳이 저런 고가의 장비를 구매할 필요없이, 블루레이나 DVD 사운드 레코딩을  바이노럴 방식으로 하면 저렴하게 3D 사운드를 구현할 수 있지 않을까? 블루레이나 DVD타이틀 제작시 기존 업체의 헤드폰용 서라운드 기술보다, 방음이 잘 된 홈시어터 룸에서 영화를 재생하고 Binaural Sound 마이크로 녹음하면 오히려 3D사운드를 충분히 경험할 수 있을 것 같은데... 이런 방식으로 녹음된 유투브 클립을 찾아보려 했지만, 찾기가 쉽지 않았다. 다음 동영상은 Auro 3D 다채널 시스템이 구축된 홈시어터 룸에서 녹음을 한 영상이다. 동영상에 정보는 없지만 바이노럴 마이크를 이용해서 녹음을 한 것 같다(확인을 해보니, Galaxy S7으로 녹음을 했다고 한다. S7이 스테레오 녹음을 지원하는데, 바이노럴 녹음이 되도록 나름 신경을 쓴 걸까?) 뒤에서 앞으로 이동하는 트랙터의 움직임이 잘 녹음됐으니 스테레오 헤드폰이나 이어폰을 통해 감상해 보자. 개인적인 소견으론 이 영상의 소리가, 공간감이나 음분리감 측면에서 바로 앞 동영상보다 더 잘 표현된 것 같다.

홈시어터 있는 사람들이 있으면 바이노럴 마이크로 녹음한 샘플을 좀 더 올려주면 좋겠다는 바램이 있다. 뒤나 위에서 들리는 소리가 잘 구현이 되는지 정말 궁금하다. 실시간으로 소리를 조합해야 하는 게임과는 다르게, 영화는 그냥 녹음된 것을 홈시어터에서 재생하고 바이노럴 마이크로 녹음만 하면 되기에, 바이노럴 사운드로 녹음된 트랙을 블루레이나 DVD에 넣는건 쉽게 가능하다고 본다. 바이노럴 레코딩이 소프트웨어적으로 처리하는 Dolby Headphone이나 DTS Headphone:X보다 훨씬 공간감이나 음분리감을 잘 표현할 것 같다는 생각이다.

다음은 Binaural 3D Audio로 녹음된 뮤직 비디오 같은 영상이다. 앞뒤 좌우로 소리의 공간감을 분명하게 느낄 수 있다.

다음 영상은 바이노럴 사운드를 이용해서, 스피커 소리를 비교하는 리뷰영상이다. 바이노럴 마이크를 이용해서 실제 스피커의 차이를 비교할 수 있도록 해준 영상이다. 위치에 따라 스피커의 소리 차이를 분명히 들려준다. 바이노럴 레코딩을 스피커 비교에 잘 응용한 스마트한 사례이다.

이 세상에는 홈시어터 덕후들도 많아 이미 2012년도에 이미 비슷한 고민을 한 사람들이 많다. https://goo.gl/M7VJNB 이 링크로부터 어떤 고가의 멀티채널 헤드폰보다 저렴한 KOSS 헤드폰이면 올킬이라는 댓글을 보고, 난생 처음 들어보는 KOSS 헤드폰을 찾아봤다. https://goo.gl/do2C3i  30년전에 출시한 제품을 아직까지 파는 회사라는 이야기에 놀랐고, 가성비가 좋은 제품도 많은 것 같아 깜짝 놀랐다. 캐나다 아마존에서 50불(4만원대)정도에 KOSS UR40을 팔길래 주문하는 것을 끝으로 바이노럴 사운드에 대한 긴 여정을 마무리 했다. 정말 어서 홈시어터 룸에서 Binaural 마이크로 녹음된 영화 서비스들이 나왔으면 좋겠다. 제일 쉬운 건, 구글 플레이 무비, Netflix, 왓챠 같은 스트리밍 업체들이 Binaural Sound를 녹음해서 스트리밍 해주는 방식일 것이다. 혹시, 누가 특허라도 걸어나서 상용화 못하는 건지... 헤드폰도 샀겠다 누가 꼭 서비스를 해주기를 바라면서 이번 포스팅을 마무리 해본다. 늘 항상 논문 마감일이 다가오면 뇌가 글쓰기 모드가 되는지 잡담이 많아진다.

다양한 헤드폰 서라운드 기술에 관련해서는 다음 링크 참고 (영문): https://goo.gl/afVQp4

이 글이 흥미로우셨다면, 공감을 눌러주세요.