방송 콘텐츠는 AI, XR 등 첨단 기술로 시청자와 감정적으로 소통하며 혁신을 이루고 있다. 이선우 PD는 <얼라이브 >와 <A.C. 10 >같은 프로젝트를 통해 기술을 감동 전달의 매개체로 활용하며, 윤리와 책임을 중시한다. 생성형 AI 등 신기술은 방송과 시청자 소통의 미래를 크게 변화시킬 잠재력을 지닌다.인터뷰이. 이선우(JTBC PD)

방송 콘텐츠는 단순히 소비되는 시대를 지나, 이제는 시청자와 적극적으로 소통하는 방향으로 진화하고 있다. 시청자는 더 이상 ‘소비자’가 아니라 콘텐츠의 주체적 참여자이자 동반자가 되고 있으며, 이러한 변화는 방송 기술의 발전과 깊은 연관이 있다. AI, 메타버스, XR(확장현실), 딥페이크와 같은 첨단 기술은 시청자와의 물리적·감정적 거리를 좁히며, 이전에는 상상하지 못했던 몰입형 경험을 가능하게 하고 있다.

2025년을 앞둔 지금, 방송 현장에서 이러한 기술이 어떻게 활용되고 있는지, 기술이 콘텐츠 제작 방식과 소비 행태에 어떤 변화를 불러왔는지 살펴보는 것은 매우 의미 있는 시도가 될 것이다. 특히 기술을 활용한 ‘시청자 참여형 콘텐츠’와 ‘시청자 친화적 콘텐츠’가 성공적인 사례로 자리 잡는 과정에서 창작자들이 겪은 도전과 성과는 업계에 통찰을 제공한다. 첨단 기술을 접목해 혁신적인 콘텐츠를 선보여 온 JTBC 이선우 PD의 경험을 통해 방송 기술의 현재와 미래, 그리고 시청자와의 진화된 소통 방식을 살펴본다.

방송 프로그램에서 기술과 감동을 균형 있게 전달하기 위한 PD로서의 철학이 있다면 무엇인가?

방송에서 기술이 선한 영향력을 발휘해야 한다고 생각한다. 기술은 차갑게 느껴질 수 있지만, 이를 인간의 감정을 건드릴 수 있는 따뜻한 요소로 변환할 때 진정한 가치를 발휘한다고 믿는다. 내가 제작했던 <얼라이브(ALIVE)>와 같은 프로그램도 기술이 감동을 전달하는 도구로 사용될 수 있다는 철학을 바탕으로 만들어졌다. 기술이 그 자체로 우월하다고 강조되기보다는 시청자들이 자연스럽게 받아들일 수 있도록 설계되어야 한다. 기술의 존재를 과도하게 드러내면 오히려 시청자들이 거부감을 느낄 수 있기 때문이다. 기술이 콘텐츠의 일부로 자연스럽게 녹아들면 시청자들은 그 기술을 편안하게 받아들인다.

故임윤택 님의 모습을 복원하기 위해 3D 기술 대신 딥페이크¹⁾ 와 커스터마이징²⁾ 기술을 선택한 이유도 여기에 있다. 3D는 고차원적이고 인상적인 기술이지만, 움직임의 부자연스러움이나 립싱크 문제 등 단점들이 있었다. 이런 기술적 단점들이 오히려 감동을 방해할 수 있다는 판단 아래, 딥페이크 기술을 활용해 감정을 세밀하게 표현할 수 있는 대안을 선택했다. 그 과정에서도 최적의 표현을 위해 수많은 시행착오를 거쳤다. 故임윤택 님의 영상 자료를 철저히 분석하고, 대역 배우(쉐도우 액터)가 그의 감정과 디테일을 완벽히 재현할 수 있도록 수개월간 훈련했다. 여기에 AI 기술을 활용한 목소리 복원과 얼굴 디테일 조정을 추가해 기술적 완성도를 높임과 동시에 감동을 극대화하려 했다.

결국 중요한 것은 기술이 얼마나 고도화되었는지가 아니라, 그 기술이 콘텐츠와 시청자들에게 ‘얼마나 적합하게 적용되었는가’이다. 기술은 감동을 전달하는 매개체가 되어야 하며, 이를 통해 시청자들이 거부감 없이 콘텐츠 속에서 따뜻함을 느꼈으면 좋겠다.

기술을 활용한 콘텐츠 제작이 대중들에게 새로운 경험을 제공한다고 보는데, 최근 가장 주목할 만한 기술은 무엇이며, 이를 통해 어떤 변화를 기대하는가?

최근 가장 주목할 만한 기술은 AI를 이용한 음성 복원 및 변환 기술인 것 같다. 과거에는 특정 목소리를 복원하거나 재현하기 위해 많은 시간과 노력이 필요했다. 예를 들어, 故유재하 님의 음성을 복원할 때는 음원과 목소리를 분리하는 기술을 사용했는데, 당시 음성의 울림 현상(리버브 현상³⁾ )이 발생하는 어려움이 있었다. 이를 해결하는 기술을 개발하며 점차 완성도 높은 음성을 복원할 수 있었다.

현재는 이 기술이 놀라울 정도로 발전해 일반 사용자들도 앱을 통해 손쉽게 사용할 수 있다. 사용자가 20분 정도의 음성 데이터를 제공하면 이를 기반으로 사용자의 음색을 학습하고, 다른 보컬 가이드의 노래에 사용자의 목소리를 입히는 것이다. 이 기술은 창작 과정에서 매우 유용하게 쓰일 수 있지만, 반면 범죄에 악용될 가능성도 있어 신중히 접근해야 한다.

<얼라이브>를 포함한 기술 도입 프로젝트를 진행하면서 가장 큰 도전은 무엇이었고, 이를 어떻게 극복했는가?

[그림 1] AI 복원기술로 다시 태어난 故임윤택(자료: 티빙, JTBC)

사실 모든 순간이 도전이었다. <얼라이브>를 비롯한 프로젝트는 기존에 시도되지 않았던 기술을 방송 콘텐츠에 접목하는 과정이어서 엔지니어와 아티스트들 모두 결과를 예측할 수 없는 상황에서 시작해야 했다. 단순한 R&D 결과물을 제시하는 게 아니라, 대중들에게 선보일 완성도 높은 방송 콘텐츠를 만들어야 한다는 무게감도 있었다. 기술적으로 한계를 마주할 때마다 새로운 시도를 거듭했다. 콘텐츠를 제작하면서 동시에 기술 솔루션을 개발한 것이다. 결과적으로 이런 도전과 시행착오의 반복이 기술의 진화를 이끄는 동력이 되었고, 프로젝트의 완성도를 높일 수 있었던 것 같다.

AI, 딥페이크, XR 등의 기술이 감정을 왜곡하거나 부족하게 만드는 부작용은 없었는가? 있다면 이를 어떻게 보완했는지?

기술이 감정을 왜곡할 가능성은 항상 존재한다. 하지만 이를 줄이기 위해 기술을 단순히 화려한 요소로 사용하는 것이 아니라, 감정을 전달하는 도구로 활용하려 노력하고 있다. 딥페이크나 XR 기술은 디테일을 최대한 살려서 사람들에게 이질감을 주지 않도록 다듬었다. 기술의 감동 요소는 ‘차이를 줄이는 것’에서 시작된다고 생각한다. 사람들에게 기술이 불필요하게 눈에 띄지 않도록 조화롭게 연출하는 것이 관건이다.

버추얼 휴먼이나 음성 복제 기술을 활용하면서 윤리적 문제와 제작자로서의 책임은 어떻게 다루고 있는가?

윤리적 문제는 매우 신중하게 접근하고 있다. 항상 고인의 가족, 매니지먼트사, 저작권 관련자들의 동의를 받는다. 사용이 끝난 데이터는 관련 업체와 스태프들에게 보안 서약서를 받아 완전히 삭제한다. 목적에 맞는 부분만 활용하고, 확장 가능성을 제한하는 방식으로 윤리적 기준을 지키려고 노력한다. 제작자로서 책임감을 느끼고 작은 부분까지 신경 써야 큰 문제가 발생하지 않는다고 믿는다.

지금까지 선보인 기술 기반 콘텐츠 중 가장 의미 있다고 느끼는 프로젝트는 무엇인가?

[그림 2] <얼라이브>에서 ‘서쪽 하늘’을 부르는 그룹 울랄라세션과 가수 이승철(자료: 티빙, JTBC)

<얼라이브> 가 가장 의미 있는 프로젝트 중 하나이다. ‘서쪽 하늘’은 천만 뷰를 기록했고, 기술로도 감동을 전달할 수 있다는 가능성을 열어줬다. 또 다른 프로젝트로는 배우 조진웅과 함께한 3부작 다큐멘터리 이다. 이 작업은 내가 신기술로 들어갈 수 있는 길을 열어준 프로그램이다. 코로나 발생 이후 10년 뒤의 미래를 예측해 드라마로 재구성한 다큐멘터리인데, 다큐멘터리 최초로 XR스튜디오를 만들었고 VFX 기술을 접목해서 다큐멘터리의 새로운 시각적 가능성을 보여주었다고 생각한다.

베트남 방송사(VTV3)와 공동 제작한 <파라다이스 아일랜드>라는 연애 프로그램이 화제였다. 현지화를 고려해 제작 과정에서 도입한 기술적 요소가 있는지?

[그림 3] <파라다이스 아일랜드>(자료: SUN GROUP)

<파라다이스 아일랜드>프로젝트는 베트남 현지 방송사와의 긴밀한 협력을 통해 새로운 IP를 공동으로 개발했다. 베트남 시청자들의 디지털 중심 소비 성향과 젊은 인구층에 맞춘 콘텐츠를 제작했고, 채널뿐만 아니라 유튜브와 같은 플랫폼을 적극 활용해 TV와 디지털 간의 시너지를 극대화했다. 특히 영어, 베트남어, 한국어 등 다양한 언어로 제작해야 했기 때문에 AI 기반 더빙 기술을 활용했다. 다국적 시청자들에게 각 나라 언어에 맞는 경험을 제공하면서도 비용과 시간을 대폭 절감할 수 있었다. 또 베트남에서는 PPL 광고와 3D VFX를 결합해 로고나 제품을 자연스럽게 화면에 삽입하는 기술을 사용했다. 예를 들어, 세트에 없던 브랜드 로고를 방송 후 3D 기술로 삽입하거나, 클로즈업 장면에 없던 PPL 제품을 추가해 효과적으로 노출했다.

기술과 전통적 다큐 제작 방식을 접목한 작업에서 인상 깊었던 시청자들의 반응이 있다면?

가장 많이 들었던 반응은 ‘기술이 따뜻할 수도 있구나’라는 것. 많은 사람이 딥페이크 기술의 부정적인 면을 주로 보는데, 우리의 작업을 보고 기술이 감동을 줄 수도 있다는 점을 느꼈다고 이야기했다. 기술이 단순한 도구가 아니라 감정에 다가가는 매개체로 활용될 수 있다는 점을 보여줄 수 있었던 작업들이 특히 기억에 남는다.

다양한 플랫폼과 기술이 발전하며 시청자 경험도 변화하고 있다. 방송 제작에서 기술과 시청자 소통의 미래는 어떻게 보는가?

현재로서는 생성형 AI가 가장 큰 역할을 할 것으로 보인다. 아직 방송 콘텐츠에 직접적으로 적용된 사례는 많지 않지만, 가능성은 무궁무진하다고 생각한다. 생성형 AI가 방송에 도입된다면 시청자와의 소통 방식이 크게 달라질 것이다. 예를 들어, AI가 즉각적인 번역과 맥락 이해를 통해 사람들과 상호작용하는 방식으로 발전할 수 있다. 기존 번역기는 단순히 단어나 문장을 번역하지만, 생성형 AI는 앞뒤 문맥을 이해하기 때문에 깊이 있는 응답을 제공할 수 있다. 이런 기술이 방송 콘텐츠와 결합하면 전혀 새로운 형태의 소통이 가능해지지 않을까.

그런데 이런 기술이 시청자와의 실시간 소통에 적용되려면 라이브 방송 같은 즉각적인 반응이 가능한 플랫폼이 필요할 것 같다. 녹화 방송에서는 제한이 있을 수 있지만, 구현 방식에 따라 다양한 가능성이 열릴 것으로 생각한다.