KOCCA N 인터뷰 1

Q 안녕하세요, 하동환 교수님! 현재 어떤 분야를 중점적으로 연구하고 계신가요? A 특수 영상을 다룹니다. 영상 기술은 물론 의료·법의학 등 다양한 분야와 협업해 좀 더 좋은 영상과 이미지가 쓰일 수 있도록 돕는 일이죠. 이미지를 쉽게 얻을 수 있는 방법을 연구한다고 보면 됩니다.

Q 디지털 휴먼을 연구하게 된 계기는 무엇인가요? A 제가 몸담고 있는 예술공학대학이 2019년에 만들어졌어요. 학장을 맡으면서 예술공학대학에서 어떤 연구를 할 수 있을지 교수들과 논의했는데, 그 과정에서 디지털 휴먼 이야기가 나왔습니다. 당시 디지털 휴먼은 지금처럼 화제가 될 때는 아니어서 단편적인 정보뿐이었지만, 예술적 속성과 공학적 속성을 모두 갖고 있다는 점이 우리 대학이 추구하는 바와 일치했습니다. 이미지를 기반으로 한 문제 해결이라는 측면에서 제 전공 분야와도 연관성이 있기 때문에 무척 흥미롭게 생각하고 연구를 진행했는데, 2019년 이 연구 과제가 콘텐츠원캠퍼스 사업에 선정돼 기뻤습니다. 덕분에 우리 대학은 좋은 추진체를 얻었고, 우리 예술공학대학이 기반을 다질 수 있었습니다.

Q 연구의 시작은 어땠나요? A 3년 전 디지털 휴먼 연구에 뛰어들었을 때 몇 군데서 디지털 휴먼이 활동하고 있었어요. 예를 들어 아나운서 디지털 휴먼인 ‘아나노바(Ananova)’가 있었는데 이건 사실 적용하기 손쉬운 직종이었죠. 아나운서는 감정 표현을 잘하지 않는 직종이라 덜 정교해도 구현이 가능했거든요. 저는 디지털 휴먼의 ‘변화 없는 눈빛’이 아쉬웠어요. 사람들은 보통 서로의 눈을 보면서 대화하잖아요? 눈빛을 보면서 어떤 감정을 느끼게 되죠. 당시에는 눈빛을 제대로 구현한 디지털 휴먼이 없었으니, 우리가 이것만 제대로 구현해도 의미가 있겠다 싶었어요. 사람 눈이라는 게 겉으로만 보면 감정을 표현하기가 어렵지만, 신경계를 살려놓으면 ‘감정을 전달하는 눈빛’을 제대로 구현할 수 있다고 생각했거든요. 그래서 그때 시각신경시스템을 비롯해 가상신경시스템을 도입하게 된 거죠.

Q 1년 차 때 아주대학교 의과대학과 협업하신 것도 그런 이유가 있었군요. A 네. 아주대학교 의과대학 해부학 교실과 함께 디지털 휴먼의 눈빛을 연구했는데 무척 어려웠지만 재미있었습니다. 2년 차 연구에서는 학생 1명을 모델로 삼아 디지털 휴먼을 만들고 훈련시켰습니다. 정보가 들어오면 어떤 표정을 짓고, 특정 단어에는 어떤 반응을 보이는지 등을 훈련한 거죠. 올해 3년 차에는 디지털 휴먼의 고도화, 개인화, 경량화에 연구 초점을 맞추고 있습니다. 디지털 휴먼을 구현하려면 많은 데이터가 필요하기 때문에 고성능의 PC가 필요한데요. 데이터의 무게를 줄여서 어떤 PC에서도 구현 가능하도록 연구하는 것이 경량화 연구예요. 그리고 현재 디지털 휴먼은 사람의 대답을 듣고 인식하기까지 1~2초가량의 시간이 필요합니다. 이걸 줄이는 게 고도화 연구이고요. 그리고 개인화란 사용자가 선호하는 얼굴과 성격으로 디지털 휴먼을 만드는 걸 뜻합니다. 1년 차부터 올해 3년 차까지 우리가 디지털 휴먼을 연구하는 과정을 보면 마치 아이를 낳아 키우는 것 같아요. 1년 차 때 아이를 만들기 위해 준비했다면, 2년 차에는 아이가 태어난 거고, 3년 차에 접어들면서 그 아이가 다섯 살에서 여섯 살 정도의 지능을 갖추도록 연구하고 있는 셈이죠.

Q 디지털 휴먼에는 버추얼 인플루언서, 버추얼 어시스턴트, 인텔리전트 어시스턴트 등 다양한 종류가 있다고 하는데, 이 중 버추얼 어시스턴트를 목표로 설정한 이유가 궁금합니다. A 요즘 광고나 방송, 게임 등에 디지털 휴먼이 등장하고 있어서 많은 분에게 익숙할 텐데, 우리는 조금 다르게 접근했습니다. 내년도 국가 예산 중 복지 예산만 200조 원입니다. 상당히 큰 부분을 차지하죠. 노년층이 늘어가는 추세여서 복지 문제가 중요하게 부각되고 있거든요. 국가가 모든 걸 책임지는 데는 한계가 있어요. 그럴 때 디지털 휴먼을 훈련시켜 인지 장애가 있는 분들이나 어르신들을 돕는다면 좋은 이슈가 될 거라 생각했습니다. 독거노인 분들은 인공지능 스피커 정도만 있어도 굉장히 좋아하세요. 손주 얼굴이나 자식 얼굴을 한 디지털 휴먼이 있다면 더 좋아하시겠죠. 그래서 어르신들의 개인 비서라고 할 수 있는 ‘세이’ 개발을 시작하게 된 겁니다. 세이는 ‘세상을 이롭게’의 약자예요. 버추얼 어시스턴트(virtual assistant)는 사용자를 돕는 일종의 ‘가상 비서’라고 보시면 됩니다.

Q 디지털 휴먼 ‘세이’가 개인 비서이자 손자 혹은 자식 역할을 얼마나 잘 수행할 수 있을까요? A 나이가 들면 기억력이 감퇴하고 외로움도 많이 타죠. 그게 심해지면 치매로 연결될 수 있고요. 디지털 휴먼 ‘세이’는 언제나 웃는 얼굴로 사용자가 원하는 답변을 해줍니다. 실제 가족만큼은 아니겠으나, 가족이 할 수 있는 일의 일부만 해줘도 충분하다고 생각합니다. 약 드실 시간을 미리 알려주고, 질병 관련 정보를 병원에 보내준다면 어르신의 건강은 훨씬 잘 관리되겠죠. 어르신이 집 안에서 낙상이나 위험한 일을 당한다 하더라도 디지털 휴먼은 이를 인식해 대처가 가능합니다. 로봇에 비해 구축비용도 적게 들기에 부담이 적은 데다 TV와 PC, 카메라 정도만 구축하면 24시간 어르신과 함께할 수 있어요.

Q 디지털 휴먼 ‘세이’에는 어떤 기술들이 적용되고 있나요? A 디지털 휴먼에는 공학 측면의 기술과 예술적인 측면의 기술이 모두 적용됩니다. 공학 측면의 기술에는 사람의 시각을 대신하는 비전 인공지능, 소리를 해석하는 스피치 인공지능 그리고 이들을 바탕으로 반복 학습할 수 있는 ‘딥 러닝’ 같은 기술들이 있습니다. 예술 측면에서는 디지털 휴먼의 모양새를 만드는 시각화 기술 등이 사용되죠. 실감형 콘텐츠를 만들기 위해 게임 엔진부터 시작해 온갖 그래픽 기술들도 필요합니다.

Q 디지털 휴먼은 이제 ‘불쾌한 골짜기’를 넘어 갈수록 정교해지고 있는 것 같습니다. A 지금 TV나 광고에 등장하는 디지털 휴먼은 엄밀히 말해 제가 생각하는 ‘디지털 휴먼’은 아닙니다. 스스로 생각해서 움직이는 것이 아니라 사람의 동작을 모방하고 학습하는 것이기 때문이죠. 디지털 휴먼이 스스로 대답하고 움직이면서 대중에게도 쉽게 다가서려면, 제가 앞서 언급한 경량화, 개인화, 고도화 과정이 필요합니다. 아직은 시간이 더 필요한 셈이죠.

Q 디지털 휴먼 연구가 완성 단계에 이르면 우리 사회에서 어떤 방식으로 활용될 수 있을까요? A 대중문화와 예술은 물론 건강과 복지, 보안 등 모든 분야에 활용할 수 있죠. 사실 디지털 휴먼은 사람들에게는 위협적일 수 있어요. 노동집약적인 업무뿐 아니라 창의적인 업무도 디지털 휴먼은 잘 수행하거든요. 그림 그리고, 글을 쓰고, 작곡을 하는 등 모든 업무가 가능해요. 사람이 무언가를 보고 어떤 아이디어를 떠올려 예술 작품을 만들듯, 디지털 휴먼도 똑같은 사고 체계로 생각하고 작업을 하니까요. 굉장히 탁월한 지적 능력을 가진 디지털 휴먼이 등장해 교수 역할을 수행한다면 저도 예외는 아닐 겁니다.

Q 우리 모두에게 큰 위협이 될 수 있겠네요. A 기술 발전이 굉장히 빠르죠. 세대 간 격차도 갈수록 커지고요. 하지만 너무 걱정할 필요는 없습니다. 연구자를 비롯해 우리 인간은 영리하기 때문에 사람과 디지털 휴먼의 공존 해법을 찾아낼 겁니다. 어떻게 보면 공존이 우리가 세상과 함께 해결해야 할 과제라 볼 수 있겠습니다.

Q 앞으로의 연구 목표는 무엇인가요? A 환경 측면으로 범위를 넓혀볼까 합니다. 예를 들어 영화에서 로케이션 촬영을 하려면 장소 사전 답사도 해야 하고 날씨나 이것저것 신경 쓸 게 많죠. 그런데 이제는 가상 배경을 띄어놓고 촬영하는 것이 가능해졌어요. 기술이 그만큼 정교해졌기 때문에 실제 공간과 거의 구분이 가지 않습니다. 심지어 주인공도 디지털 휴먼으로 대체가 가능하게 되겠죠. 앞으로는 디지털 휴먼과 함께 배경, 환경 등도 연구를 진행하려고 합니다