Extension

스마트폰으로 누구나 영상을 촬영하고, 편집과 제작을 하게 됐다. 최근 영상은 대부분 보정 단계를 거친다. 과거에 촬영한 영상을 복원하거나 화질을 개선하는 일도 잦아졌다. 이러한 과정에서 인공지능을 활용한 보정 및 개선 방식이 주목받고 있다. 생성형 AI로 많은 주목을 받는 인공지능은 딥러닝 기반의 보정 방식으로 영상 발전에 큰 변화를 일으키고 있다.

이제 유튜브, 틱톡과 같은 영상 플랫폼뿐만 아니라 인스타그램, 트위터 등 소셜미디어에서도 인기 기능은 영상콘텐츠다. 영상을 제작해 업로드하는 사람들은 영상을 날것 그대로 올리지 않는다. 고성능 카메라로 촬영하거나, 별도 편집 도구를 활용해 보정을 한다. 유튜브에서는 8K 고해상 영상도 어렵지 않게 찾아볼 수 있다.

하지만, 카메라 기술이 발달하기 이전 촬영한 영상은 대부분 화질이 낮은 편이다. 최신 카메라로 촬영해도 해상도가 높으면 용량이 크기 때문에 해상도를 낮춰 촬영하기도 한다. 해상도가 낮은 영상은 SD(720X480), HD(1,280X720)급이 일반적인데, 화질을 높이는 것은 기존 기술로는 매우 어려웠다. 디지털 이미지의 크기를 키워도 픽셀(화소)의 총량은 변하지 않기 때문에 오히려 화질이 떨어진다. 예를 들어 HD 화질을 QHD(2,560X1,440)로 만들기 위해서는 4배의 픽셀 수가 필요하다.

업스케일링은 낮은 해상도의 영상이나 이미지를 더 높은 해상도로 변환하는 작업을 의미한다. 이러한 방식은 공백에 픽셀을 더해 채우는 방식이다. 픽셀 수를 채우기 위해서는 일반적으로 원본 이미지에서 누락된 추가 정보를 생성하여 해상도를 향상한다. 단순히 공백을 메꾸다 보니 이미지가 다소 거칠게 처리되어 업스케일링을 해도 해당 영역이 흐리거나 픽셀처럼 표시되기도 한다.

기존 업스케일링 과정에는 막대한 비용과 시간이 필요하다. 인공지능은 업스케일링에 필요한 픽셀을 자동으로 빠르게 채워줄 수 있다. 지속적인 학습을 통해 시간이 지날수록 더욱 높은 품질의 개선이 가능하다. 단순히 픽셀을 채우는 것이 아니라 빈 곳에 어떤 색을 채우면 자연스러울지 예측과 계산을 할 수 있다. 이미지를 다듬는 후보정 기술도 가능해 완성도 높은 고해상도 이미지를 얻는다. 이러한 기술이 바로 AI 업스케일링이다.

업스케일링 기술이 본격적으로 상용화될 수 있었던 이유는 컴퓨터 비전 및 기계학습의 발전 덕분이다. 많은 학습을 통해 준비된 딥러닝 기반의 인공지능 초고해상도(super-resolution) 모델을 사용하는 경우, 학습 수준에 따라 결과가 천차만별이지만 사람이 작업하면 며칠이 걸리는 일을 불과 몇 시간 내에 끝낼 수 있다. AI를 활용하면 비용과 시간을 절약하면서 기존의 화질을 보다 선명하고 자연스럽게 높일 수 있다. 이제는 TV와 모니터 같은 특정 하드웨어에 이런 기능이 기본으로 내장되기는 하지만, 최근 추세는 AI 업스케일링을 디스플레이 외 다양한 산업 분야에 활용하는 것이다.

업스케일링은 산업 분야를 가리지 않는다. 영화나 드라마 같은 엔터테인먼트 영역은 물론이고, 의료나 스포츠 경기, 게임 등에서도 활용한다. 국내 대형 엔터테인먼트사인 SM엔터테인먼트는 유튜브와 공동으로 리마스터링 프로젝트를 진행 중이다. 1990~2000년대 뮤직비디오의 화질을 4K 화질로 업스케일링하는 작업이다. 이 프로젝트를 통해 과거 인기 뮤직비디오를 고화질로 시청할 수 있게 됐다.

최근 출시되는 게임은 그래픽 성능 부담을 낮추기 위해 AI 업스케일링 기술을 적극적으로 활용하고 있다. 고해상도의 화상을 만들기 위해서는 높은 컴퓨터 자원이 필요한데, 저해상도의 화상을 먼저 만들고 업스케일링을 적용해 고해상도로 바꾸면 자원을 덜 소모한다. 게임을 구동하기 위한 자원이나 최적화를 위해서 AI 업스케일링 활용이 점차 늘어날 것으로 보인다.

TV와 모니터 등을 생산하는 가전회사의 경우 독자적인 업스케일링 기술을 개발해 활용하고 있다. 삼성전자는 2018년에 이미 AI 업스케일링이 적용된 8K TV를 출시했다. FHD 이하 영상의 해상도를 업스케일링하고 AI를 활용해 사물의 선명도와 원근감도 조절할 수 있다. 최근 삼성전자는 ‘네오 퀀텀 프로세서’라는 엔진을 개발해 TV에 내장했다. 네오 퀀텀 프로세서는 20개의 AI 신경망을 활용해 8K 화질을 개선한다. LG전자는 ‘알파9 5세대 프로세서’를 개발했는데, 노이즈를 제거하고 해상도를 높이는 작업에 AI를 활용한다. 소니 역시 모니터에 업스케일링 기술을 활용한다. 소니의 4K 의료용 모니터는 Full HD 해상도를 4K 품질로 높이는 업스케일링 기술이 적용되어 있다. 한화시스템은 2022년 세계 학술대회에서 독자 개발한 AI 업스케일링 기술로 1위를 기록한 바 있다. 한화시스템의 AI 업스케일링 역시 저화상 이미지를 고해상도로 만들어 낸다. AI 분야에서 주로 시각적, 이미지 처리에 탁월한 성능을 보이는 합성곱 신경망(CNN)과 최근 생성형 AI로 주목받고 있는 ‘트랜스포머’를 활용했다.

세계적인 그래픽카드 제조사이면서 인공지능 학습과 이미지 처리 기술을 개발하는 엔비디아 역시 업스케일링 기술에 집중하고 있다. 엔비디아가 지난 2018년 처음 내놓은 딥러닝 슈퍼 샘플링(DLSS, Deep Learning Super Sampling)은 인공지능 딥러닝을 활용해 화면 해상도를 끌어올린다. 엔비디아의 AI 업스케일링은 주로 게임에 특화되어 있지만, 그 외의 분야에서도 활용할 수 있다.

스포츠 경기의 경우 이미 내려진 판정을 다시 비디오로 판독하는 경우가 많다. 축구나 야구 경기에서 VAR(Video Assistant Referees) 시스템으로 심판이 판정을 다시 검토한다. 이때 판정 화면을 확대하는 경우가 많은데 화질이 흐릿해 판단이 어려울 수 있다. AI 업스케일링을 활용하면 화면을 크게 확대해서 선명하게 상황을 판단할 수 있다.

의료 분야에서도 AI 업스케일링의 효과가 기대된다. MRI, CT, X-ray 등 의학용 영상이나 이미지를 확인할 때 AI 업스케일링의 도움을 받을 수 있다. 다만, 의학용 이미지의 경우 잘못된 픽셀 보정으로 의학적 판단에 오류가 발생할 수 있으므로 사전에 충분한 AI 학습이 필요하다. 이밖에 우주산업에서도 AI 업스케일링을 활용할 수 있다. 우주에서 보내온 이미지는 전송 속도와 데이터 용량으로 인하여 해상도가 낮다. 이때 AI 업스케일링으로 이미지를 복원하거나 해상도를 높이면 우주 탐사에서도 유용하게 사용할 수 있다.

지금까지 AI 업스케일링은 딥러닝 기반의 인공지능이 주로 활용됐다. 앞으로는 한 차원 높은, 새로운 형태의 AI 업스케일링 기술이 개발될 것이다. 최근 가장 주목받는 키워드인 ‘생성형 AI’가 AI 업스케일링을 더욱 빠르게 진화시킬 것이다. 생성형 AI는 챗GPT와 같은 대화형 인공지능 외에 이미지나 영상을 생성하는 영역에도 특화되어 있다. 따라서 생성형 AI가 발전할수록 새로운 이미지 생성이나 이미지 보정에 뛰어난 능력을 보인다. 오픈소스 기반 생성형 AI인 ‘스테이블 디퓨전’을 개발한 스태빌리티 AI(Stability AI)는 최근 이미지의 선명도를 손상하지 않고 이미지의 크기를 확대할 수 있는 AI 업스케일링 API를 발표했다. 이를 활용하면 누구라도 AI 업스케일링 기술을 적용할 수 있다.

업스케일링은 단순히 우리가 시청하는 영상의 화질을 높여주는 데 그치지 않는다. 점차 실제와 가까운 생생함과 현장감을 느끼는 영상과 이미지가 필요한 시대가 되고 있다. 증강현실(AR)과 가상현실(VR)과 같은 메타버스 관련 영역에서도 가상현실의 이미지와 영상을 고화질로 만들어 더욱 실감 나는 환경을 만들 수 있다. 영화나 드라마를 비롯한 엔터테인먼트 분야는 물론 우리가 일상생활에서 접하는 영상과 이미지의 고화질에 대한 기대와 요구사항은 점차 높아지고 있다.