[스타트업-ing] 엑스온 장원익 대표, “버추얼 스튜디오가 가져 온 변화”

[IT동아 권명관 기자] VFX(Visual Effects). 영화나 애니메이션 산업에서 사용하는 영상 제작기법 가운데 컴퓨터 그래픽스(Computer Graphics, CG)에 바탕을 둔 모든 종류의 디지털 기법을 뜻하는 단어다. 한글로 직역하자면, 시각적인 특수효과다. 하늘을 날아다니는 슈퍼맨, 고층 빌딩이 폭파되는 장면 등 존재할 수 없는 영상이나 촬영 불가능한 장면, 실물을 사용하기 어려운 장면 등을 표현하기 위해 이용되는 기법과 영상물 등을 통틀어 말한다.

지속적인 VFX 기술의 발전은 현실과 구분하기 어려울 정도로 실감 나는 영상을 만들어낸다. 가상의 도시를 만들어 보여주고, 아직 인간이 탐험하지 못한 우주 끝자락의 모습을 표현한다. 80대 노인의 얼굴을 20대 청년으로 바꿔주기도 하며, 상상 속 외계 생명체의 표정까지 담아낸다. 아무것도 없는 초록색 크로마키 앞에서 허공을 향해 연기하는 배우의 모습은, 미지의 생명체와 화려한 격투를 벌이는 화면으로 재탄생한다.

다만, VFX는 대부분 영상을 촬영한 뒤 후반 작업에 많은 시간을 필요로 한다. 배우와 함께하는 촬영은 2~3개월 만에 끝냈더라도 후반 작업인 편집과 VFX에 6개월 이상 소모하는 경우가 많다. 또한, 가장 많이 사용되는 크로마키 기법은 배우가 연기에 집중하기 어렵다는 단점도 안고 있다. 실제가 아닌 아무것도 없는 공간에서 상상하며 연기한다는 것은 쉽지 않은 일이다.

특히, 초록색 또는 파란색 스크린에서 반사되는 조명도 문제로 꼽힌다. 자동차처럼 주변 빛을 받아 반사하는 광택 재질은 카메라에 초록빛이 그대로 담긴다. 메탈 재질의 갑옷도 마찬가지다. 후반 작업에서 초록색 또는 파란색을 지워야 하는데, 이 역시 지난한 후반 작업을 거쳐야만 한다.

이러한 기존의 단점을 해결하기 위해 등장한 것이 버추얼 스튜디오다. 버추얼 스튜디오는 크로마키 스크린이 아닌 대형 LED 월(Wall)을 설치한 공간이다. LED 월에 실시간으로 배경을 노출해 배우의 연기를 돕는다. 또한, 초록색 또는 파란색으로 반사되는 빛도 없다. 카메라의 심도, 위치 등을 파악해 실시간으로 연결되는 배경을 표현해 후반 작업 시간도 줄인다. 글로벌 시장조사기관 스태티스타에 따르면, 전 세계 버추얼 프로덕션 시장 규모는 2022년 17억 3,710만 달러(약 2조 2,460억 원)에서 2028년 29억 4,127만 달러(약 3조 8,030억 원)까지 성장할 전망이다.

이에 IT동아가 디지털 미디어 기술을 활용해 영화, 드라마, 방송 등의 버추얼 프로덕션을 제공하는 엑스온 스튜디오(XON Studio)의 장원익 대표(이하 장 대표)를 만나 이야기를 나눴다. 장 대표는 평창 동계 패럴림픽의 개회식과 폐막식 행사 영상, 영화 ‘마녀’, ‘해운대’, ‘7광구’ 등 다수의 영화 VFX 총괄 프로듀서를 담당한 영상 제작 분야의 전문가다.

시공간의 제약을 해결하는 버추얼 스튜디오

IT동아: 만나서 반갑다. 버추얼 스튜디오를 활용한 버추얼 프로덕션에 대한 관심이 뜨겁다. ‘스타워즈’, ‘쥬라기 공원’으로 잘 알려진 미국 ILM과 ‘아바타’, ‘반지의 제왕’으로 유명한 뉴질랜드 웨타 디지털 등 해외 유명 스튜디오뿐만 아니라 SKT, KT 등 국내에서도 버추얼 스튜디오에 많이 투자하는 것으로 알고 있는데… 그 이유가 궁금하다.

장 대표: 버추얼 스튜디오, 버추얼 프로덕션의 장점 때문이다. 기존 VFX와 비교해 촬영 현장의 많은 불편함과 문제를 보다 손쉽게 해결할 수 있다. 버추얼 프로덕션은 영상 촬영 후 VFX 후반 작업에 많은 시간과 비용을 투자해야 했던 단점을 해결한다.

(보다 자세한 설명을 부탁하자)

지난 2020년 8월, 엑스온 스튜디오가 촬영한 ‘위드 와일드(With Wild)’ 영상을 소개하고 싶다. 영상에는 오프로드 자동차를 타고 산에 올라 캠핑하는 모습이 나온다. 자동차를 운전하는 장면에는 자동차 앞 유리에 나무가 반사되고, 빨갛게 물든 노을빛 언덕도 나온다. 그런데, 이 모든 영상은 실제 산에서 촬영하지 않았다. 대형 LED 월을 설치한 버추얼 스튜디오에서 미리 촬영한 배경으로 제작한 영상이다.

만약 이 장면을 실제 현장에서 촬영했다고 가정해 보자. 자동차 운전하는 장면을 위해 특수 장비를 동원해야 하고, 높은 산악 지형에 수십 명의 스태프가 올라가야 한다. 수시로 변하는 산악 날씨도 고려해야 한다. 화창한 날씨에서 갑자기 비가 내리는 일도 잦다. 노을 지는 하늘을 보기도 쉽지 않다. 때문에 필요한 시간과 비용 등을 예측하기 어렵다. 다행히 이 모든 것 조건을 잘 맞춰 촬영했더라도 후반 작업은 필수다.

하지만, 버추얼 스튜디오라면 이야기는 달라진다. 현장에 나가야 하는 시간과 비용을 줄일 수 있으며, 실시간으로 촬영한 영상 결과물도 확인할 수 있다. 예측할 수 없는 날씨도 해결할 수 있고, 변화하는 자연 조명도 조절할 수 있다.

IT동아: 버추얼 스튜디오 실내에서 마치 산에 있는 것처럼 촬영할 수 있다는 뜻인가.

장 대표: 맞다. 주로 자동차 주행 촬영에 많이 활용한다. 현장에서 고속으로 달리는 자동차 주행 장면과 자동차 안에서 연기하는 배우의 모습을 담아내기 위해서는 많은 준비가 필요하다. 만약 도심 주행이라면 관련 기관에 촬영을 위한 협조도 받아야 하고, 비라도 내리거나 안개가 끼면 제대로 촬영하기도 어렵다.

LED 월을 이용하면 이 같은 현장의 불편함을 손쉽게 해결할 수 있다. 도로를 주행하는 화면을 사전에 촬영해 LED 월에 띄우면 된다. 크로마키를 사용할 경우 반사되는 초록색 또는 파란색 불빛도 없다. 야경이 자연스럽게 자동차 외부에 반사되는 자연스러움까지 연출할 수 있다.

배우가 연기에 몰입하기에도 용이하다. 버추얼 스튜디오의 자동차 주행은 배경이 움직인다. 자동차가 움직이지 않는다. 때문에 자동차 안에서 옆 사람과 대화하며 설레거나 생각에 잠기는 모습 등을 보다 자세하게 담아낼 수 있다. 촬영한 결과물도 바로바로 확인할 수 있다. 배우, 감독이 서로 대화하며 더 나은 결과를 향해 대화하고 다시 촬영하기에도 쉽다. 하지만, 실제로 도로에서 주행하며 촬영한다? 어렵다. 다시 시도하는 것 자체가 부담이다. 소위 말해 ‘OK 컷’을 뽑아내는데 실외보다 실내가 훨씬 유리하다.

IT동아: 더 나은 결과물을 보다 빠르게 촬영할 수 있다?

장 대표: 맞다. 실시간으로 결과물을 확인할 수 있다. 후반 작업이 거의 필요 없기 때문에 감독과 배우가 현장에서 소통하며 서로 만족할 수 있는 OK 컷을 만들 수 있다. 특히, 조명과 카메라 위치, 심도 등을 빠르게 조절할 수 있다. 밤 씬을 낮에 촬영할 수도 있고, 낮 씬을 밤에 촬영할 수도 있다. LED 월에 어떤 배경을 띄우냐에 따라 다양한 공간을 연출할 수도 있고… 시공간의 제약에서 자유로워지는 셈이다.

버추얼 프로덕션이 가져온 변화

IT동아: 이해했다. LED 월을 활용해 디지털 가상환경을 구현하고, 이를 실시간으로 촬영하며 확인한다는 것…, 이제는 버추얼 스튜디오만 있으면 모든 것을 대체할 수 있는 것인가.

장 대표: 하하. 그렇지는 않다. 모든 외부 로케이션을 대체할 수 있는 대체재라고는 할 수 없다. 현장 촬영과 병행할 수 있는 기술이라고 소개하고 싶다. 사실 버추얼 스튜디오는 갑자기 유행처럼 등장한 기술은 아니다. 지속적으로 발전하면서 지금의 형태를 갖췄다. LED 월의 해상도 향상, 카메라의 위치 트래킹 기술 발전 등 다양한 솔루션이 등장하면서 지금의 모습을 갖춘 것이다.

과거에는 유리에 배경을 그려서 카메라로 촬영하거나, 빔프로젝터로 배경을 투사해 촬영하는 일도 있었다. 스타워즈 초기 영화, 1930년대 자동차 주행 장면 등이 대표적인 예다. 다만, 문제가 있었다. 조명이다. 빔프로젝터는 빛을 쏘기 때문에 그림자가 생긴다. 또한, 카메라 구도에 맞춰 배경을 바꾸기 어려웠다. 이에 대부분 카메라 위치를 고정하고 촬영했으며, 배우가 움직일 수 있는 동선도 제한적이었다.

지금의 버추얼 스튜디오는 LED 월을 통해 3차원 디지털 가상세계를 뒤에 배경으로 띄운다. 이렇게 구현한 가상세계는 촬영하는 카메라와 연동된다. 지난 2019년 개봉한 스타워즈의 외전 격인 디즈니+의 ‘만달로니안’이 효시격이다. 카메라 움직임에 LED 월 배경을 맞춘다. 마치 PC 게임에서 카메라 시점을 바꾸면 자연스럽게 전환되는 화면과 같다.

자연스럽게 연결되는 배경, 그리고 카메라 위치에 따라 변화하는 조명 시스템 등으로 버추얼 스튜디오는 활용처를 넓혔다. 영화, 드라마 촬영 이외에도 뮤직비디오나 대기업의 제품 출시회 등에 적용되고 있다. 실제로 LG전자는 지난 CES 2020에서 신제품 소개 영상을 버추얼 스튜디오에서 미리 촬영하고 공개한 바 있다.

LED 월을 활용하고 촬영하는 버추얼 프로덕션 방식에 아직 정답은 없다. 영상을 제작하고 만드는 메이커들이 다양하게 시도하고 있다. 외부 로케이션 촬영과 연계해 교차 편집하기도 한다. 모든 것을 실사 촬영하는 것으로 유명한 ‘테넷’, ‘인터스텔라’, ‘덩케르크’ 등의 크리스토퍼 놀란 감독도 버추얼 스튜디오를 활용한다(웃음).

국내뿐만 아니라 전 세계에서 대형 버추얼 스튜디오가 늘어나는 이유다. 크기에 대한 제약이 많이 해소되었다. 대형 우주선 셋트를 버추얼 스튜디오로 꾸미기도 하고, 넓은 바다를 항해하는 대형 유람선의 선상을 꾸미기도 한다.

IT동아: VFX 현장이 원하는 것을 담아낸 셈이다.

장 대표: 맞다. 버추얼 스튜디오는 촬영 결과물을 얼마나 사실적으로 보여줄 수 있느냐, 어떻게 하면 더 편리하고, 빠르게 촬영할 수 있는지 등을 만족시키기 위한 솔루션이다. 버추얼 프로덕션은 또 하나의 XR(확장현실)이다. LED 월을 통해 만들어낸 현실과 가상의 집합체라고 설명할 수 있다.

기존에 후반 작업을 위해 솔루션을 제공하는 업체들도 버추얼 스튜디오에 대응하고 있다. 게임 엔진 ‘언리얼’로 유명한 에픽게임즈, 영상 제작 파이프라인을 제공하는 ‘파운드리’ 등이 버추얼 프로덕션 생태계를 구축하기 위해 노력 중이다. 실시간으로 카메라 위치를 트래킹하고 조명 등 현장 정보를 수집해 고퀄리티의 촬영 결과물을 빠르게 완성할 수 있도록 제공한다. 버추얼 스튜디오 등장 이후로 영상 후반 작업이라고 불리는 ‘포스트 프로덕션’보다 촬영하기 위해 준비하는 ‘프리 프로덕션’을 더 중요하게 생각한다.

이는 생각보다 큰 변화다(웃음). 영상 콘텐츠 제작의 프로세싱이 바뀌는 것과 같다. 기존에는 크로마키 스크린에서 촬영하고 후반 작업을 1년, 길게는 2년까지 생각했다면, 이제는 기획 단계에 1~3개월 정도 투자하고 후반 작업을 줄이는 추세다.

이전에는 없었던 프로세스다. 지금은 작가가 시나리오를 완성하면, 작가, 조명, 미술, 연출, VFX 등 모든 스태프가 모여서 치열하게 기획한다. LED 월에 들어갈 배경 소스를 먼저 찾는다. 프리-현장-포스트 단계로 영상을 제작했다면, 포스트는 줄고 프리를 강화하는 추세다. 촬영하고 수정하는 것이 아니라, 미리 준비해 찍으면서 수정하는 형태다. 그만큼 영상을 촬영하고 편집하는 시간은 줄었다.

현장에서 피부로 느끼고 있다. 과거 5번 촬영해야 했던 것을 1회 촬영으로 해결한다. 30~40% 정도 비용과 시간을 줄일 수 있다. 촬영하기 위한 이동 시간을 줄이는 것만으로도 많은 것을 효율적으로 운영할 수 있다.

더욱 향상된 VFX 작업 효율화

IT동아: 정말 많은 것이 바뀐 것 같다.

장 대표: 새로운 패러다임이라고 생각한다. 단순한 유행으로 끝나지는 않을 것 같다. 사람의 손을 거쳐야만 했던 작업을 디지털로 옮겨오며 효율성이 크게 늘어났다. 파운드리가 제공하는 NRT(Near Real Time) 프로젝트를 언급하고 싶다. NRT는 게임엔진과 버추얼 스튜디오에서 촬영하는 다양한 영상 데이터를 연결하는 워크 플로우(작업 절차)다. 쉽게 말해 버추얼 스튜디오에서 촬영하는 영상 데이터를 실시간으로 분석해 후반 작업을 할 수 있도록 돕는다.

버추얼 스튜디오에서 촬영하는 중간에 배경을 바꾸거나, 크리처를 삽입하고, 배우의 영상을 추출할 수 있다. 필요하다면 폭발과 같은 VFX 이펙트도 넣을 수 있다. 필요 없는 부분을 지우거나 삭제하는 등 후반 작업으로 처리해야 했던 것을 실시간으로 대응할 수 있도록 돕는 셈이다. 또한, 인공지능 머신러닝을 도입해 사람이 작업해야 했던 것을 손쉽게 돕는다. 후반 작업에 필요한 데이터를 자동으로 뽑아낸다.

IT동아: 후반 작업을 위한 준비를 알아서 해준다는 뜻인가

장 대표: 맞다. 카메라가 움직이는 트래킹 데이터를 추적하고, 불필요한 인물이나 사물 등을 지워준다. 인공지능 학습을 통해 미리 학습시키면, 스스로 필요한 작업도 알아서 처리한다. 각 단계별로 분리되어 있던 작업을 자연스럽게 연결시켜 효율을 높인 것으로, 사람이 직접 처리해야 했던 것을 빠르고 효율적으로 알아서 처리하도록 진화했다.

때문에 현장에서 요구하는 스킬도 바뀌고 있다. 이전에는 분야별로 요구하는 전문 능력을 갖춘 스페셜리스트를 선호했지만, 이제는 전체 흐름을 살피고 조율하는 ‘제너럴리스트(Generalist, 모든 분야에 지식과 경험을 갖춘 사람)’의 역할이 중요해졌다.

버추얼 스튜디오는 영상 콘텐츠 제작의 패러다임을 변화시키고 있다. 현장이 필요로 하는 요구에 맞춰 변화한 기술의 흐름이라고 생각한다. 앞으로도 우리 엑스온 스튜디오에 많은 관심과 응원을 부탁드린다.

글 / IT동아 권명관(tornadosn@itdonga.com)