Extension

요즘 ChatGPT(챗GPT)¹⁾는 가장 관심을 끄는 주제이다. 이 기술로 언젠가는 영상콘텐츠의 시놉시스, 나아가 대본을 쓸 수도 있을 것이다. 그리고 영상 생성 AI는 이 대본을 가지고, 배경 영상을 만든 뒤에 대역의 얼굴 위에 유명 배우의 얼굴과 표정, 음성을 입힐 수도 있다(물론 그리 쉽게 되지는 않겠지만). 언제 이런 일이 가능할 것인지 아닌지는 그리 중요하지 않다. 거기에는 이미 엄청난 기술과 자본이 들어가고 있으므로, 우리는 그 가능성을 주시하면서 AI로 할 수 있는 최적의 일을 찾아내면 된다. 그렇게 현재 가능한 효율적이며 혁신적인 AI 시대를 준비하는 것, 그것이 방송 제작 과정에서의 AIX(AI Transformation)의 시작이다.

“방송에 AI가 어떻게 쓰일 수 있는가?” 이에 대한 답을 찾기 위해, 얼마 전 2023 NAB Show²⁾에 다녀왔다. 주제는 ‘클라우드와 AI’인데, AI 보다는 클라우드 관련 시연이 많았다. 정확히는 아직은 AI에 관한 시연을 찾기 힘들다고 해야 할 정도다. NAB에서의 AI 활용은, 편집 단계에서 얼굴, 문자, 음성, 감정, 사물, 장소를 쉽게 찾고, 이를 기반으로 클립을 자동 생성하는 클라우드 기반 시스템 정도이다. 소니(SONY)의 프리미어 연동 AI 편집기는, 문자 인식을 통해 스포츠 경기의 스코어 변화를 인식해, 득점 장면 영상만을 생성할 수 있었다. 경기 종목을 비인기 종목인 핸드볼에 적용한 것을 보면, 중요성 면에서 ‘굳이 사람이 할 필요 없지만 정교함은 떨어져도 된다’는 한계를 스스로 정해 놓았다고 볼 수 있다. 그리고 드라마 CG 제작용 영상합성에서는 사전 제작 단계 중 반복 작업에 딥러닝을 적용하여, 시간을 줄일 수 있는 방법이 제안되었다. 또한 MNG³⁾에서 클라우드 내, 1개월 분량의 취재물 검색 시스템이 실험적으로만 시연되었다. 결론은 아직은 그리 적극적이지도 않고, 자신감도 없어 보였다.

한국에서 온 방송사가 AI를 적극적으로 활용해 제작 프로세스에 녹였다고 하니, 도대체 ‘무엇을’ 할 수 있다는 것인지 여기저기서 매우 궁금해했다. AI 기술 그 자체 보다는 결국은 사례가 더 중요한 것이다. 한국처럼 동시에 100개의 카메라를 사용하지도 않고, 제작 환경이 복잡하지도 않고, 제작 시간이 부족하지 않은 환경이라면 모르겠다. 그러나 한국은 너무나 바쁘고 복잡해서 AI가 끼어들 공간이 많다. 예능 프로그램 촬영분에서 편집점을 찾아 맞추려면 이틀이 걸린다. 이 일을 순식간에 해결하기 위해서 슬레이트 치는 스태프의 얼굴을 인식하는 방법을 상상이나 해 보았겠는가? 다시 말하지만 제작 환경에서는 AI가 들어올 공간이 참 많다.

SBS는 미디어 회사지만 디지털에는 늘 앞서고 강했다. 수년 전 구축한 운영 방식은, 비록 그 본연의 목적을 수행하는 데는 실패했을지 몰라도 SBS의 DX(Digital Transformation)의 기반을 만들기에는 최적의 환경이었다. DX와 AIX의 선순환 구조를 내다보고, AI를 적용하는 실험을 한 지가 4년쯤 된다. 얼굴 인식, 문자 인식, 음성 인식, 자연어처리, 이미지 DNA, 번역 등 AI 관련 기술을 현업에 적용해 보면서 성공 가능성을 확신하게 되었다.

지난 연말, <2022 SBS 연예대상> 시상식에서는 얼굴 인식 기술을 통해 1년 동안 가장 방송에 많이 출연한 예능 출연자에게 ‘SBS 아들·딸’ 상을 수여했다. 또한 출연자 본인도 잊고 있던 무명 시절을 찾아내 방송에 최초 출연했을 당시 화면을 보여 주기도 했다.

문자 인식을 통해서는 중간/협찬 광고가 원칙에 맞게 들어가 있는지를 감시해서 제작진의 실수를 막을 수 있게 했다. 또한 유튜브 클립의 글로벌 서비스를 위해서, 음성 인식과 AI 번역을 통해 15개국 언어로 자동 번역했다. 이로 인해 글로벌 시청자가 늘어날 수 있다는 사실도 확인할 수 있었다. 그 외에도 주요 장면을 꼽아 모아주는 핫클립의 자동 생성 기술 등이 현재 활용되고 있다. 기술이 할 수 있는 일은 기술에게 맡김으로써 방송 제작진은 좀 더 창의적인 일에 집중하게 하는 방법들을 계속 실험해 오고 있다.

이제 2023년은 AI 기술을 제작 환경에 본격적으로 도입하는 원년으로 삼고자 한다. 올해 중에, ‘○○○ 의원의 과거 발언’, ‘○○○ 보좌관 과거 영상’, ‘○○○ 시장의 우는 모습’과 같은 자료를 보도 검색 시스템에 적용하여 방송 중에 빠르게 자료화면을 준비할 수 있게 할 예정이다. 그리고 교양에서는 거대한 미방송 아카이브를 만들어서, 아주 편한 검색을 통해 방대한 촬영본 중에서 원하는 대사가 나오는 지점으로 정확하게 이동하게 할 것이다. 수일이 걸리던 프리뷰 노트⁴⁾ 작성을 몇 분 만에 자동 생성하게 하고, 아카이브에서는 갑자기 ‘역주행’한 배우의 과거 출연 영상을 캡처된 사진 한 장으로 검색해 영상을 다운로드 받을 수 있다. 라디오에서는 오늘의 분위기를 제시하면, AI가 그 조건에 맞는 음악을 선곡할 것이다. 유통 분야도 AI를 도입하면서 새로운 차원으로 변한다. 엄청난 양의 유튜브 클립들을 AI가 분석해 인물, 행동, 뉴스 주제의 통계 데이터를 만들면 ‘2023년 일본에서는 어떤 인물의 클립 조회수가 높을까?’와 같은 질문에 대한 답을 알 수 있게 된다. 이러한 통계를 기반으로 사람의 개입이 필요하지 않은 특정 영상의 일본어 버전 ‘AI 리메이크’와 같은 영상 생성이 무한히 가능하게 된다. AI 리메이크 채널의 진화 가능성은 무궁무진하다.

내년에는, 좀 더 정교하게 ‘○○○ 환하게 웃는 영상’ 등을 검색하는 게 가능하게 함으로써 제작의 편의성을 더욱 높일 것이다. 번역의 오류를 최소화하기 위한 진보된 번역 AI를 수행하고, 키스 장면, 먹방 장면 같은 다양한 ‘행동인식 AI’를 제작/유통 과정에 넣을 수 있게 된다. AI 보이스와 AI 라디오 대본 자동 생성을 통해 라디오 프로그램을 자동 생성할 계획도 있다.

제작 유통 프로세스에 AIX를 지속적으로 구현해 놓으면, 어느 순간 강력한 AI 모델이 나와도 빠르게 대응할 수 있다. 이것이 미디어 회사가 AI를 가장 잘 준비하는 길일 것이다. 그리고 강조하고 싶은 점은, 한 번에 업무의 조력자로 성공하는 AI는 없다는 것이다. 방송사의 바쁜 제작 환경은 오류를 수용하기 힘들다. 방송에 AI를 도입시 가장 많이 우려되는 부분이 그것이다. 미디어 AIX 시작의 원년, 가장 중요한 것은 바로 ‘제작진의 협조’이다.