최근 들어 MPEG 내에서 다양한 3차원 영상 압축 및 응용 기술에 대한 표준화가 활발하게 진행되고 있어
고효율 동영상 압축 기술과 스케일러블 압축 기술의 뒤를 이은 하나의 화두로 자리잡기 시작하고 있다.
국내에서는 3차원 영상을 촬영할 수 있도록 2개의 카메라를 장착한 휴대전화가 출시되고 있을 뿐만
아니라 3차원 DMB 서비스가 준비 중에 있으며, 해외에서는 안경이나 특별한 장치 없이 육안으로 입체
영상을 시청할 수 있는 대형 텔레비전 모니터의 시제품이 출시되고 있는 시장 환경 역시 이러한 표준화
를 부추기고 있다. 그런데, 이러한 3차원 영상 압축 및 응용 기술에 대한 표준화가 하나의 정리된 틀
내에서 추진되기보다는 각기 다른 요구 사항과 목표를 가지고 개별적으로 추진되고 있어 특별한 강자도
약자도 존재하지 않는 춘추전국시대를 형성하고 있다. 본 보고서에서는 다양하게 추진되는 각 3차원
영상 압축 및 응용 기술 표준의 특징과 전략적 대응 방안에 대해 간략히 살펴보고자 한다.

보조 비디오 코딩을 이용한 기법

화면상의 각 픽셀이 카메라로부터 디스플레이 평면으로부터 얼마나 앞으로 나와 있는지 혹은 뒤로
물러나 있는지의 깊이 정보 혹은 각 픽셀을 바라보는 왼쪽 눈과 오른쪽 눈의 시차(parallax)를 비디오
스트림에 부가하여 보조 비디오(auxiliary video)로 부호화하는 방법이 ISO/IEC 23002-3으로 표준화
되었다. 또한, 이렇게 부호화된 비디오 스트림을 MPEG-2 TS로 전송하는 방법이 ISO/IEC 13818-1
Amendment 2로 표준화 완료되었다. 이러한 표준들을 이용하면 픽셀의 깊이 정보나 시차 정보를 2차원
동영상과 함께 전송하여 입체 영상 표현이 가능한 단말에서 이들 정보를 이용하여 적절히 3차원 영상을
표현하는 것이 가능하다.
특히 이 방법은 2차원 동영상을 부호화하는 방식에 구애되지 않을 뿐만 아니라 2차원 동영상만을 재생할
수 있는 단말기에 전혀 영향을 주지 않고 3차원 동영상을 전송하고 재생할 수 있다는 점에서 완벽하게
역호환성이 보장되는 장점을 가지고 있다.

멀티뷰 코딩 기법(Multi View Coding)

오랜 기간의 표준화 가능성 검증을 마치고 최근 본격적인 표준화를 시작한 MVC는 2개의 시점을 갖는
3차원 영상뿐만 아니라 다수의 시점을 갖는 동영상을 효율적으로 부호화할 수 있는 방식에 대한 표준화
를 목표로 하고 있다. 현재까지 표준화된 동영상 압축 방식 중 가장 효율이 높은 압축 방식인 ISO/IEC
14496-10 AVC를 기반으로 시점이 다른 영상 간의 중복성을 효율적으로 제거하기 위하여 기준 시점과
타 시점 간의 단방향 및 양방향 예측을 적용하는 구조로 압축하되 서로 다른 시점 간의 조도차를 보상
하는 움직임 벡터 추정/보상 기법이나 시점 간의 동일한 매크로 블록의 전역 움직임을 추정/보상하는
기법 등의 다양한 방법을 통해 압축 효율을 향상시켜 다시점 영상의 압축 전송에 따른 부담을 최소화
하기 위해 노력하고 있다. ISO/IEC 14496-10 Amendment 4로 추진되는 이 표준은 현재 CD 단계에 돌입
하여 2008년 중 표준화가 완료될 것으로 예상된다.

Stereoscopic MAF

아직 요구 사항을 정리하는 단계이기는 하나 입체 영상을 저장하기 위한 응용 파일 포맷 표준화가 추진
중이다. 이 표준에서는 입체 영상을 부호화하거나 표현하는 방식에 무관하게 필요한 정보들을 적절히
파일로 저장할 수 있는 응용 파일 포맷을 표준화하려고 하며, 이를 통해 입체 영상의 자유로운 저장,
편집 및 재생 등을 가능하게 하고자 한다. MAF 표준의 성격상 표준 제정 즉시 제품 개발 및 사업화를
고려하고 있는 산업계의 구체적이고 명확한 요구 사항이 존재하여야만 표준화를 추진하겠다는 것이
MPEG의 입장이어서 요구 사항을 정리하는데 다소 시간이 소요되고 있으나 표준화의 범위가 넓지 않고
기술적인 고려 사항이 그리 많지 않아 빠른 표준화가 이뤄질 것으로 예상된다.

자유 시점 TV(FTV, Free viewpoint TV)

다양한 다시점 기술의 개발에 따라 이를 이용한 방송 시스템 전체를 고려하는 FTV 표준화가 고려되고
있다. 즉, 다수 시점을 갖는 카메라로 촬영한 동영상을 전송하여 시청자가 임의의 시점에서 방송을 시청
할 수 있는 서비스를 제공하는데 필요한 시스템 및 기술의 표준화를 추진하려고 하고 있으며, 시점 간의
조합 및 보간을 통해서 카메라가 실제로 존재하지 않는 시점에서의 시청도 가능하도록 하는 것을 목표로
하고 있다. 현재 서비스 모델 및 요구 사항을 정리하는 단계에 있고 이러한 시스템의 표준화를 위해서는
기반 기술이라고 할 수 있는 MVC의 표준화 및 이에 대한 검증이 이뤄져야 한다는 점에서 표준 완료까지
는 상당한 기간이 걸릴 것으로 예상된다.

결론

유사한 서비스 및 응용과 관련된 다양한 표준화 시도가 존재한다는 것은 긍정적으로 보면 다양한 시장에
서의 요구가 존재한다는 의미로 해석할 수도 있으나 부정적으로 보면 구체적이고 명확한 시장의 요구가
아직 정리되지 않은 초기 단계로서 다양한 실험이나 시도가 존재하는 상황이라고 해석할 수도 있다.
더구나 3차원 영상 및 다시점 영상에 대한 서비스나 응용은 단순히 입체감을 제공하는 것과 시점 자체를
변경할 수 있도록 하는 것을 연속선상에 있는 동일한 서비스로 보느냐 두 개의 개별적인 서비스로
보느냐에 따라 시장 접근이 전혀 다를 수 있다는 점에서 이렇게 다양한 시도가 존재할 수밖에 없는
측면도 있다. 따라서, 멀티미디어 기술이 매우 빠르게 변화되고 이에 따라 기존 표준이 다양한 방향으로
개정될 수 있을 뿐만 아니라, 다수의 새로운 표준이 지속적으로 제정될 수 있어 갈수록 표준의 라이프
싸이클이 짧아진다는 점을 고려하면, 현재 추진되고 있는 다양한 표준화 아이템 중에서 단기간에 충분한
규모의 시장이 형성될 수 있을 것으로 예상되는 분야의 표준화에 집중하는 것이 중요하다.

임영권 (주식회사 넷앤티비 사업전략팀장, young@netntv.co.kr)

※ 이 글은 [ITFIND]와의 협의에 따라 전재한 것 입니다.