[모두를 위한 인공지능] 6. 인공지능이 만든 딥페이크의 명과 암

[IT동아]

[편집자주 / '인공지능(AI)'은 더 이상 SF영화에서나 보던 상상의 기술이 아닙니다. 이미 현실과 실제가 되어, 알게 모르게 우리 일상에 스며들고 있습니다. 이에 인공지능에 관한 보편적 지식은 현대인이라면 누구라도 가볍게 알아 둘 만합니다. 이 연재에서는 인공지능의 역사부터 일상/산업 내 융합, 국내외 인공지능 산업 현황, 인공지능 관련 최신 트렌드, 근미래의 인공지능 융합기술 등, 필자가 오랜 동안 현업에서 얻은 다양한 경험과 지식을 하나씩 독자와 공유합니다.]

1부 - 환갑이 훌쩍 넘은 인공지능의 어제와 오늘 (https://it.donga.com/102301/)

2부 - 인공지능 기술을 활용해 비즈니스 가치를 높여라 (https://it.donga.com/102418/)

3부 - 인공지능 산업/기업을 지원, 육성하기 위해 필요한 것 (https://it.donga.com/102543/)

4부 - 인공지능이 아무리 발전해도 결국 사람의 '경험'이 중요하다 (https://it.donga.com/102629/)

5부 - 우리에게 '데이터'는 어떤 의미인가 (https://it.donga.com/102667/)

딥페이크(Deepfake)란 말을 언론 등을 통해 심심찮게 들었을 테다. 딥페이크란 단어 의미와 같이, 나의 실제를 바꾸거나 왜곡하는 기술 정도로 이해하고 있는 사람이 많은 듯하다. 또한 ‘딥페이크’ 하면 부정적인 이미지를 먼저 떠올리고 그로 인한 부작용이 먼저 부각되어, 딥페이크의 산업적 활용에 대해서는 그만큼 축소되고 있는 것 같다.

먼저 딥페이크는 인공지능 기술 중 하나인 딥러닝 (Deep Learning) 기술이 발전하면서, 이를 이용해 기존 인물의 얼굴이나 특정한 부위를 영화의 컴퓨터 그래픽 처리처럼 합성한 영상편집물을 의미한다.

현재는 고화질 동영상 기반의 얼굴이나 신체부위를 합성하는 단계에서, 음성과 움직임 등의 특징을 살려 합성하는 단계로 발전하고 있다. 이러한 기술 발전으로 이미 여러 분야에서 딥페이크는 인간이 하지 않은 행동과 말이 포함된 행위를 만드는 수준까지 확장 정의되어 있다. 딥페이크 기술은 산업분야에 벌써 널리 쓰이고 있으며, 인간의 작업 효율과 완성도를 높여 부가가치를 높이는데 상당히 기여하고 있다.

인공지능 기술이 발전하면서 콘텐츠 분야에서도 폭 넓게 적용되는 추세다. 디자인을 추천하거나 제품 디자인의 미장센을 제안하는 수준을 넘어, 컴퓨터 그래픽의 특수 효과나 콘텐츠 제작자의 맞춤형 기술로도 발전되고 있다.

콘텐츠 제작자가 특정부분을 합성하는 방법으로 고품질의 콘텐츠를 만들려고 한다면, 합성자체를 작업하는 데도 상당한 섬세함과 시간이 필요하다. 여기에 움직임까지 표현돼야 한다면 더욱 어려운 일이 된다. 사람의 얼굴을 가정해 보자.

사람은 얼굴 표정을 만드는데 많은 근육을 사용한다. 일반적으로 얼굴표정을 만드는 근육은 80여 개고, 이중 20개 정도의 근육을 제대로 표현할 수 있어야 자연스러운 표정이 가능하다고 한다. 움직이는 동안 이러한 표현을 자연스럽게 합성하려면 상당한 시간과 노력이 필요한데, 딥페이크 기술을 활용하면 짧은 시간 내에 이런 합성 작업이 간단하게 처리된다. 실제로 인간 표정의 특징을 자동으로 추출하고 표현을 학습하여, 자연스런 합성과 움직임을 구현하는 딥페이크 기술은 이미 상용화되어 시장에서 활용되고 있다.

위의 그림처럼 얼굴 표정을 구현하는 각 특징을 추출해 학습하여 자연스럽게 합성할 수 있는데, 최근 실사 영화화된 디즈니 애니메이션인 ‘라이언 킹’의 컴퓨터 그래픽 처리가 대표적인 사례다.

아래 왼쪽 사진의 아기사자의 표정을 좀더 귀엽게, 털도 좀더 부드럽게 표현되면 좋을 텐데, 딥페이크 기술을 적용하면 인공지능이 더욱 사실적인 귀여움을 구현할 수 있다. 여기에 움직임까지 자연스럽게 추가된다.

인공지능을 학습하려면 인공지능 가속기를 사용하는데, 요즘은 대부분 GPU가 그 기능을 담당한다. 필자가 속한 ‘인공지능산업융합사업단’에서도 국가인공지능데이터센터를 통해 인공지능 융합기업의 인공지능 모델 학습에 필요한 GPU를 인공지능 가속기로 제공하고 있다.

GPU는 원래 컴퓨터 등에서 그래픽 효과를 빠르게 처리하기 위해 만들어진 프로세서다. 때문에 GPU를 활용해 인공지능 기술을 콘텐츠에 적용하는 산업이 빠르게 발전하고 있고, 딥페이크 기술을 좀더 사실적이고 자연스럽게 만드는 데도 결정적인 역할을 하고 있다.

딥페이크 기술은 코로나 대유행 상황에서 전 세계에 걸쳐 더욱 중요하게 사용된다. 얼마 전까지 전 세계 사람들은 한 곳에 많이 모일 수가 없었다. 예를 들어, 오프라인 패션쇼가 불가능해지자 온라인 패션쇼로 전환했다. 온라인이라면 모델이 직접 옷을 갈아 입지 않아도, 모델을 대신해 여러 옷을 입고 런웨이를 워킹할 수 있도록 만들어 주는 것이 딥페이크 기술이다. 유명 브랜드인 발렌시아가 2019년, 인공지능, 정확히는 딥페이크 기술을 활용한 패션쇼를 진행한 바 있다.

딥페이크 기술은 비주얼 구현 및 재생 영역에만 국한되지 않는다. 앞서 언급한 대로, 인간의 행동이나 말을 포함한 행위를 만들어 내는 것까지 그 정의가 확장돼 관련 기술이 개발, 활용되고 있다. 인공지능융합기술이 점차 사람 중심의 기술로 발전하고 있는 것이다.

또 다른 예로, 유명 축구선수 데이비드 베컴이 2019년 4월, 9개 언어로 말라리아 퇴치 캠페인 영상을 만들었다. 베컴이 9개국어로 직접 말한 게 아니라, 하나의 언어로 영상을 만들고, 딥페이크 기술을 적용해 나머지 8개국어로 입모양까지 변환시켜, 마치 베컴이 직접 8개국어로 촬영한 것처럼 만든 것이다.

이를 활용하면 언어의 변화뿐 아니라 사람의 행동과 언어습관 등을 모사하여, 마치 이미 알고 있는 사람과 자연스럽게 대화하는 상황을 연출할 수도 있다. 이른 바 ‘가상인간(Victual Human)’이 그것이다.

예를 들어, 급작스러운 가족의 죽음을 받아들일 수 없는 유족의 슬픔을 완화하기 위해, 고인을 가상인간으로 만들어, 떠나보내는 이의 슬픔을 치유하는 시간을 갖게 수 있다. 또한, 이미 고인이 된 유명 가수의 공연을 만들어, 예전의 추억을 불러와 추모할 수도 있다.

실제로, 미국 팝스타인 카니예 웨스트는 아내인 킴 카다시안의 40세 생일에 맞춰, 2003년 세상을 떠난 카다시안의 아버지 로버트 카다시안을 재현한 홀로그램을 선물했다. 생일파티 무대에 약 3분여간 홀로그램으로 나타낸 로버트는, 딸에게 "멋지게 자라주었구나"라고 말했다. 또 그가 사망한 지 11년 후에 사위가 된 카니예 웨스트에게 "세계에서 가장 천재적"이라는 덕담을 건네기도 했다.

이렇듯 인공지능은 딥페이크 기술로 다양한 콘텐츠를 만들어 효율적으로 활용하도록 해주지만, 악용의 소지가 다분해 아쉽게도 아직 그리 널리 퍼지지 못하고 있다. 딥페이크라는 단어 자체가 부정적 의미(가짜)인 것도 한 몫 하는 듯하다.

즉, 가짜에 대한 불안감과 공포도 첫 번째 이유다. 진짜와 가짜를 구분할 수 없는 정교한 품질 때문에, 가족으로 위장한 보이스피싱, 본인으로 위장한 SNS 활동, 가짜뉴스 유포를 통한 대중선동, 페이크 포르노그래피를 통한 개인모독 등 공공영역 및 허위정보에 대한 불신감을 조장하는 행위로 이어질 수 있다.

이러한 피해는 실제로 우리나라 여성 연예인이 가장 많이 겪는다. 네덜란드의 사이버 보안연구 회사인 딥트레이스(Deeptrace)가 최근 발간한 보고서 ‘더 스테이트 오브 딥페이크스’(The State of Deepfakes)에 따르면, 딥페이크를 통한 가짜 콘텐츠가 급증하고 있으며, 한류의 영향으로 한국 여성 연예인 피해가 전체 두 번째로 많은 비중을 차지하고 있다. 유튜브에서 가짜 콘텐츠의 무려 96%가 포르노 영상이다. 한국인 유튜브 채널의 비율은 전체 2%에 불과함에도, 딥페이크 영상의 25%가 한국 여성 연예인 피해자다.

딥페이크 기술이 널리 퍼지지 못하는 두 번째 이유는, 허가/허락받지 않은 콘텐츠를 쉽게 제작할 수 있기 때문이다. 수준의 차이는 있겠지만, 딥페이크를 통한 콘텐츠 제작이 너무 쉽기 때문에, 저작권자의 허락 없이 2차 콘텐츠 제작이 가능하여, 인물의 경우 초상권 침해도 유발할 수 있다. 실제로 미국 버락 오바마 전 대통령을 합성한 딥페이크 영상이 말투까지 똑같이 구현되어, 오바마 대통령이 말한 내용이 정반대로 제작돼 배포됐던 일도 있었다.

결국, 이런 ‘부정적 인식과 악용의 소지를 어떻게 극복하느냐’가 ‘좋은 기술을 어떻게 발전시키고 활용할 수 있는가’의 해답을 찾는 첫 단계라 생각한다.

글 / 인공지능산업융합사업단 곽재도 본부장

미국 뉴욕 소재 로체스터 대학에서 인공지능 분야를 공부한 뒤, 문화체육관광부 문화기술 PD로 재직하며 연구개발 사업을 기획했다. 현재 대통령 소속 지식재산위원회 4,5,6기 전문위원으로 활동 중이며, 인공지능산업융합사업단 소속으로 국가 인공지능 데이터센터를 비롯해 인공지능 산업융합 생태계 조성을 위한 집적단지 조성사업을 추진하고 있다.

정리 / IT동아 이문규 (munch@itdonga.com)