[김 소장의 ‘핏(FIT)’] 고인의 모습과 고인의 목소리, 당신의 추억 방법은?

시대의 흐름은 너무나도 빠르게 우리가 상상하던 미래의 모습을 향해 달려가고 있습니다. 때로는 그 속도의 차이가 분야마다 너무 커서 어떤 장단에 맞추어 살아야 할지 고민되고 불안할 때가 많이 있습니다. 먼 미래처럼 보이는 IT 기술이 어떻게 진화할 것이고 지금을 살아가는 우리는 어떤 논의를 이어가야 될지. 맞춤 정장처럼 꼭 맞는 형태로 제공해 드리기 위해 핏!한 IT 소식을 전달하는 ‘김 소장의 핏’을 통해 하나씩 풀어가보도록 하겠습니다.

Q. 최근 돌아가신 할머니가 동화책을 읽어주는 인공지능(AI)이 나와서 논란이라는데, 이게 뭡니까?

아마존이 AI 음성인식 서비스 ‘알렉사(Alexa)’를 통해 생을 떠난 가족의 목소리를 되살리는 기능을 공개했습니다. 지난 2022년 6월 23일(현지시간), 아마존이 미국 라스베이거스에서 열린 '리:마스(re:MARS)' 컨퍼런스에서 1분 미만의 음성 샘플만 있으면 특정인 목소리를 그대로 복제해 흉내 낼 수 있는 새로운 기능을 발표했는데요. 리:마스는 머신러닝(Machine learning), 자동화(Automation), 로봇공학(Robotics), 우주탐사(Space) 등을 주제로 매년 열리는 컨퍼런스입니다. 코로나19로 인해 3년만에 오프라인 행사로 열렸죠.

리:마스 2022 둘째날 로히트 프라사드(Rohit Prasad) 수석부사장이 키노트 발표에 나섰습니다. 그는 “알렉사에게 공감이라는 인간적 속성을 더 부여했다”라며, “이런 속성은 코로나19 기간 더 중요해졌다. AI가 코로나19로 사랑하는 가족을 잃은 고통을 없애주지는 못하지만, 그들에 대한 기억을 오래 지속시킬 수 있다”라고 설명했죠.

그리고 프리사드 수석부사장이 시연 동영상 하나를 재생했습니다. 침대 옆 탁상에 올라가 있는 알렉사 스피커를 향해 한 어린이가 알렉사를 향해 “할머니 목소리로 오즈의 마법사 책을 읽어달라”고 말했자, 곧 이어 할머니 음성으로 책을 낭독해 들려주기 시작했습니다. 이어서 그는 “앞으로 더 짧은 분량의 음성 데이터를 바탕으로 고품질의 목소리를 재현해내는 방안을 개발할 것”이라고 설명했죠.

Q. 이게 참… 알겠습니다. 누군가에게는 반갑고 정겨운 서비스일 것 같기는 한데, 돌아가신 할머니의 목소리를 계속 듣는다는 것이 조금 낯선 기분인데요.

이번 아마존의 발표에 대해 미국의 워싱턴포스트(WP)가 ‘알렉사의 새로운 기능은 윤리적인 문제와 더불어 사망자의 개인정보 권한에 대해 논란’이라고 논평했습니다. 그리고 몇몇 전문가의 의견을 첨부했는데요.

온라인 보안업체 소셜 프루프 시큐리티의 레이철 토백 최고경영자(CEO)는 “알렉사의 새로운 기능은 사이버 범죄에 악용될 수도 있다”라며, "사이버 범죄자가 음성 샘플을 사용해 다른 사람 목소리를 복제한다면, 이는 사기와 데이터 탈취, 계정 도용 등으로 이어질 수 있다"라고 지적했습니다. 또한, 호주의 대학 교수는 “숨진 사람의 목소리를 흉내내는 기술은 사람과 기계 사이의 경계를 모호하게 만든다”라며, "죽은 사람의 데이터를 사용하는 것은 섬뜩하고 비윤리적"이라고 비판했습니다.

사용자 입장에서 생각해도 논란의 여지는 분명 존재합니다. 돌아가신 할머니의 목소리지만, 들리는 내용은 할머니의 생각이 아니기 때문입니다. 만약 10년 전 돌아가신 할머니의 목소리로 오늘의 뉴스, 날씨, 사건 사고 소식 등에 대해 대화를 주고 받는다고 가정해보죠. 사람은 은연 중 할머니의 목소리라는 인식에 할머니의 생각처럼 인식할 수도 있습니다. 이런 대화를 반복하면 자칫 고인의 가치와 철학, 생각을 오해할 수 있다는 뜻이죠. 추억 속 할머니 모습은 사라지고 인공지능으로 구현된 현재의 할머리 목소리로 인식할 수 있습니다.

음… 이런 얘기를 하고 싶네요. 만약 추억 속 할머니의 목소리로 인공지능 스피커가 계속 잔소리를 한다고 생각해봅시다. “밥은 먹었느냐”, “학교는 잘 갔다 왔느냐”, “돈 좀 헤프게 쓰지 말아라”라고요.

Q. 국내에서는 돌아가신 부모님을 가상인간으로 살릴 수 있는 서비스도 나왔다죠?

MBC가 가상현실(VR) 다큐멘터리 ‘너를 만났다’를 방영했습니다. 세상을 떠난 아이, 아내, 어머니를 생전의 영상과 음성 데이터를 바탕으로 가상인간을 제작, VR을 착용하고 기억 속의 그들을 만나러 가는 다큐멘터리였는데요. 가상의 공간을 VR로 체험하는 것에서 한단계 더 발전해, 기억 속의 누군가를 가상휴먼으로 재현해 만난다는 내용에 놀랐던 기억이 납니다.

그리고 지난 2022년 6월 27일, ‘딥브레인AI’가 세계 최초로 나이 든 부모님의 건강한 모습을 AI휴먼으로 구현하는 ‘리메모리’ 서비스를 시작했습니다. 음성 및 영상 합성, 자연어 처리, 음성 인식 등과 같은 여러 기술을 활용해 서비스를 신청한 이용자의 부모 얼굴, 목소리, 표정 등을 담은 가상 인간을 제작하는 것이죠. 생전 부모님과 인터뷰를 가지고 다양한 에피소드로 시나리오를 구성해 AI에 학습시킵니다. 때문에, 부모가 세상을 떠난 뒤에도 아바타와 과거 추억들에 대해 이야기를 나눌 수 있다고 설명했죠.

리메모리는 서비스명처럼 ‘다시 기억하다’, ‘다시 만나다’라는 의미를 담고 있습니다. 생전에 3시간 정도 촬영해 얼굴, 외모, 목소리 등을 똑같게 만들죠. 생전에 했던 말이나 기억들도 수집해 반영합니다. 서비스 신청자는 향후 쇼룸에 와서 고인과의 추억을 돌아볼 수 있는 형태 서비스를 제공할 예정이죠.

Q. 가상의 부모님을 만드는데 시간은 얼마나 걸리나요?

딥브레인AI의 장세영 대표는 이렇게 설명했습니다. 가상인간을 만드는 AI 기술 발전과, 양산할 수 있을 정도로 저렴해진 제작비 덕분이라고 말이죠. 아이디어 자체는 3~4년 전부터 기획하고 있었답니다. 그사이 비약적인 관련 기술의 발전으로 이제 일반인도 접근할 수 있을 정도로 비용이 싸졌다는 의미죠. 장 대표는 “과거에는 사람의 목소리를 모사하기 위해서 5,000~1만 문장을 실제 사람이 읽고, 해당 음성 데이터를 AI에게 학습시켜야 했다”라며, “많은 시간이 필요했다. 하지만, 지금은 300~400 문장 정도면 모사할 수 있다”라고 설명했습니다.

리메모리 서비스는 사전 인터뷰를 통해 개인의 삶에서 일어났던 다양한 에피소드와 이야기 등을 시나리오한 뒤 AI에 학습시키는 과정으로 시작합니다. 이후 전문 스튜디오에서 약 3시간 정도 촬영해 가상인간 제작을 위한 영상과 음성 데이터를 수집하고, 완료 시 1차 샘플을 미리 제공하죠. 완성된 가상인간은 리메모리 전용 쇼룸에서 만날 수 있습니다. 향후 서비스 안정화 시 본인, 자녀, 친구 등으로 범위를 확대할 계획라고 밝혔죠.

Q. 부모님이 돌아가신 후에 다시 만난다면 어떤 느낌일지 상상하기 어렵습니다. 어느새 기술은 생각보다 우리의 삶에 가깝게 다가오고 있네요.

맞습니다. 딥브레인AI 장 대표는 이렇게 말했죠. 리메모리 서비스는 AI 휴먼 기술을 통해 사람을 위로하는 따뜻한 기술로 거듭나는 일환이라고 말입니다. 이어서 그는 “인공지능 기술이 지닌 다양한 활용 가치를 통해 모두에게 이로운 서비스를 제공할 수 있도록 노력할 것”이라고 말했죠.

아마존도 딥브레인도 모두 AI 기술을 활용해 우리를, 사람을 위로할 수 있다고 이야기합니다. 하지만, 글쎄요. 선의로 다가 선 위로일지라도, 자칫 잘못된 방향으로 오해를 낳을 수도 있다고 생각합니다.

Q. AI 기술 개발 속도는 새삼 놀랍습니다. 인간의 목소리와 모습을 따라하는 가상인간이라니. ‘이러다가 진짜 사람을 대체하는 것은 아닐까?’ 그런 생각을 하게 되는데요.

실제로 AI를 둘러싸고 구글 내부에서 한 직원이 이런 주장을 해 논란을 야기했는데요. 구글의 엔지니어 블레이크 르모인이 “우리의 AI 언어 프로그램 '람다(LaMDA)’가 자신의 권리와 존재감을 자각하고 있다는 것을 발견했다”고 전했습니다. 르모인은 WSJ와 인터뷰하며 "시스템의 특성을 과장한 것이 아니다"라며, "가능한 신중하고 정확하게 불확실성은 어디에 있고, 어디에 없는지를 소통하려고 노력 중"이라고 말했습니다.

구글 측은 이에 대해 사내 윤리학자와 기술진들이 해당 가능성을 조사했지만, 이를 기각했다고 밝혔습니다. 구글 대변인은 “챗봇이 공상적인 주제에 대해서 즉흥적으로 지어내 말할 수 있다"라며, "만약 '아이스크림 공룡' 같은 것에 대해 질문하면 챗봇은 '녹는다', '포효한다'와 관련된 텍스트를 생성할 수 있다"고 설명했습니다. 즉, 너무 대답을 잘해서 ‘이거 지각능력이 있는거 아냐?’라고 연구원이 느꼈다는 것이죠.

여러 드라마와 영화 속의 로봇과 인공지능은 사람의 역할을 대체하는 모습을 종종 보여 줍니다. 때로는 로봇에게 사랑을 느끼는 사람도 연출하죠. 하지만, 로봇과 인공지능의 기술 발전으로 보여지는 ‘의인화’는 결국 사람이 시키는 것입니다. 2015년 만들어진 영미 합작 드라마 ‘휴먼스’를 보면 완벽한 가정부의 역할을 하는 여성형 로봇 에게 자신의 역할을 빼앗겨 분노하는 엄마에게 여성형 로봇은 이렇게 말합니다. “제가 당신보다 아이를 더 잘 돌볼 수 있다는 건 명백한 사실이에요. 전 기억을 잊지 않고, 화내지도 않고, 우울해하지도 않습니다. 저는 더 빠르고, 강하며, 관찰력도 뛰어납니다. 하지만, 전 그들을 사랑할 수는 없습니다”라고 말이죠.

인공지능과 로봇을 바라보는 우리가 어떤 자세를 취해야 하는지 은유적으로 잘 표현했다고 생각합니다. 신체적인 능력과 입력된 데이터를 바탕으로 판단하는 능력은 앞설지 모르지만, 인간의 감정을 대신할 수는 없다고 말이죠.

구글, 메타, 아마존 등 미국 빅테크(거대 정보기술기업)들이 그 동안 AI에 투자하며 성능을 과시했지만, 이제 이런 '과장광고'를 자제하고 AI에 대한 기대를 재조정해야 할 때라는 의견도 있습니다. 겉보기에는 인간처럼 말하고, 시를 쓰고, 그림을 그릴 수 있는 AI를 개발했지만, 현실의 AI는 광고나 콘텐츠·제품 추천 대상을 잘 선정하기 위한 사용자 데이터 가공 등 사무작업에 주로 유용한 기술이라고 말이죠.

Q. 앞서 설명했던 AI 기술을 활용한 유가족 재현 서비스 등은 하나의 산업으로 성장할 수 있지 않을까요?

맞습니다. 충분한 가능성을 느꼈습니다. 최근 고(故) 송해 씨가 출연한 광고 영상을 언급하고 싶네요. 딥페이크와 AI 딥러닝 기술을 활용, 송해씨가 34년간 진행했던 KBS ‘전국노래자랑’의 오프닝인 “전국~”으로 시작하는 이 광고 영상은, 송해씨가 말을 타고, 서핑하고, 놀이기구를 탑니다. 오픈카를 타고 캠핑도 떠나죠. 영상 속 송해씨는 생전에 들었던 목소리를 그대로 재현하며, 입모양까지 어색하지 않습니다.

광고를 공개한 야놀자는 “생전 고령이던 송해 선생이 장시간 광고 촬영하기에 무리라고 판단했다”라며, “건강한 모습을 보여주고 싶다는 뜻에 따라 기술을 활용해 그의 활기찬 전성기 모습을 재현했다”라고 설명했죠. 야놀자는 송해 씨의 추모 영상도 공개하며, 딥러닝으로 송해의 목소리를 들려줬죠.

이처럼 세상을 떠난 인물이 AI를 통해 다시 돌아오는 이른바 ‘디지털 불멸’ 산업에 AI 업계가 주목하고 있습니다. 고인을 가상인간 또는 3차원(3D) 홀로그램으로 구현해 추모하고, 교육이나 심리 치료 등 다양한 방안으로 활용하는 것인데요. 실제로 AI로 복원된 고인이 책을 읽어 주거고, 광고나 콘서트에 등장하기도 합니다.

출산율보다 사망률이 더 높아지는 대한민국의 현실에서 떠나는 자들과 남겨진 자들을 이어주는 AI 기술은 하나의 시장으로 발전할 것으로 전망합니다. 다만, 고인과 남겨진 사람 모두에게 상처를 주는 기술로 발전해서는 안되겠죠. 아름답게 고인을 추억하며, 생전의 모습을 외곡하지 않도록 조심해야 합니다. 우리 가슴 속에서 영원히 살아 함께 할 수 있는 모습으로 남도록 기술의 발전만큼 윤리적, 문화적, 사회적인 부분을 충분히 고려해야겠습니다.

글 / 미래사회IT연구소 김덕진 소장

미래사회IT연구소(FITS)는 미래로 향해가는 사회의 변화와 현상을 IT의 관점으로 바라보고 해석해 다양한 분야에 인사이트를 전달하는 컨설팅 전문 기업이다. 김덕진 소장은 10여년간 빅데이터 기반 전략컨설팅을 수행했으며, KBS2TV 통합뉴스룸ET, MBC 손에잡히는경제, 유튜브 삼프로TV등 다양한 방송과 강의를 통해 경제와 산업, IT가 연결되는 지금의 현상들을 대중들에게 알기쉽게 설명하고 있다. 현재 세종사이버대학교 컴퓨터AI공학과 겸임교수를 맡고있으며, 웹3/블록체인 전문기업 체인파트너스의 대외협력이사로 활동하고 있다.

정리 / IT동아 권명관(tornadosn@itdonga.com)