“창작 침해인가? 기술 진보인가?” 엔비디아 DLSS 5가 낳은 논란

[IT동아 강형석 기자] 2026년 3월 16일(미국 기준), 미국 세너제이에서 개최된 GTC 2026에서 젠슨 황 엔비디아 최고경영자는 차세대 AI 그래픽 처리 기술, DLSS(Deep Learning Super Sampling) 5를 공개했다. 그는 DLSS 5를 “그래픽 분야의 GPT 모멘트(GPT moment for graphics)”라고 강조했다. 텍스트 생성 모델이 언어를 이해하고 문장을 만들어내듯, 이제 그래픽 카드도 화소 하나하나를 계산하는 것이 아니라 장면의 의미를 이해하고 시각적 요소를 생성해낸다는 이야기다.

젠슨 황 최고경영자는 이어 “25년 전 엔비디아가 지포스 그래픽 처리장치(GPU)에 프로그래머블 셰이더(Programmable Shader)를 적용하며 그래픽의 문법을 바꿨다. 하지만 이제 3D 그래픽과 AI가 융합한 뉴럴 렌더링(Neural Rendering)이 컴퓨터 그래픽을 다른 방식으로 혁신하게 될 것”이라고 말했다.

DLSS 기술은 AI를 활용해 화질을 더 선명하게 다듬거나 부족한 움직임을 끼워 넣는 보조 역할에 초점을 뒀다. 반면, 차세대 DLSS 기술은 GPU가 그래픽 관련 정보를 샘플링하고 복잡한 물리 현상은 AI 모델이 직접 추론해 채워 넣는 구조다. 이는 3D 데이터를 평면화하는 래스터화(Rasterization)가 아니라, 지능형 렌더링 시대가 시작됐음을 의미한다.

DLSS 5는 기존 DLSS와 어떤 부분이 달라졌나?

엔비디아 DLSS 기술은 꾸준히 발전했다. 우선 1세대 DLSS는 일반 업스케일링 기술에 가까웠다. AI 개입으로 성능 개선 효과를 노렸지만 화면이 흐릿하거나 흔들리는 등 한계도 뚜렷했다. 하지만 2세대에 들어서면서 시공간 데이터를 활용한 안정적인 이미지 재구성을 보여주었으며, 3세대는 빛의 경로를 재구성하는 레이 리컨스트럭션(Ray Reconstruction) 기술로 자연스러운 환경을 구현하는 데 성공했다.

4세대 DLSS는 AI가 새로운 프레임을 만들어 부드러운 움직임을 구현한 프레임 생성 기능으로 이어졌다. 기존 DLSS 기술을 모두 적용하면서도 자연스러운 화면을 출력해 게임 몰입감을 높였다. 지포스 RTX 50 시리즈 그래픽카드만 지원하는 DLSS 4.5는 6배 프레임 생성이 가능하다.

5세대 DLSS는 방향이 다르다. AI가 프레임을 재구성하거나 만들어내는 데 그치지 않는다. 픽셀을 직접 수정해 사실적인 조명, 정확한 재질 표현, 미세 반사, 향상된 앰비언트 오클루전(주변광 차단 기술)을 제공한다. 자연스러운 환경 묘사가 가능해짐으로써 실시간 렌더링과 사진영상의 표현력 차이를 좁히는 중이다.

DLSS 5의 핵심은 ‘AI가 스스로 3D 정보를 처리하는 것”

DLSS 기술의 목표는 그래픽 처리장치(GPU)의 성능 한계를 인공지능으로 극복하는 것이다. 과거 DLSS 기술이 낮은 해상도 그래픽 데이터를 바탕으로 AI가 이미지를 업스케일링(해상도 확장)하거나, 추가 프레임(출력 화면)을 생성해 초당 프레임 수를 늘리는 방식인 이유다.

DLSS 5는 시각적 충실도 구현에 집중했다. 이를 위해 엔비디아는 3D-안내 기반 뉴럴 렌더링(3D-Guided Neural Rendering) 기술을 도입했다. 게임 엔진이 색상 데이터와 모션 벡터(게임 내 모든 사물의 움직임 데이터)를 입력하면, 생성형 AI 모델이 피부ㆍ머리카락ㆍ물ㆍ금속ㆍ유리를 구별하며 상황에 따른 조명을 각각 실시간으로 적용한다.

또한, 게임 엔진의 렌더링 버퍼(색상 정보ㆍ화소 간 거리 정보ㆍ3D 공간 내 수직방향 정보ㆍ모션 벡터ㆍ재질 정보)를 받아 신경망 하위 시스템에 적용한다. 신경망 하위 시스템은 의미론적ㆍ재질 분류기(semanticㆍmaterial classifier), 조명 추정기(lighting estimator), 뉴럴 셰이딩 합성기(neural shading compositor) 등으로 구성된다. 세 신경망 하위 시스템은 함께 작동하며 피부의 서브서피스 스캐터링(반투명 물체 빛 표현 기술), 머리카락의 이방성 하이라이트(머릿결 표현 기법), 유리와 금속의 정확한 재질 반응 등 물리 기반 셰이딩(음영 처리법)을 엔진이 직접 계산하지 않고도 적용한다.

DLSS 5의 AI 모델은 캐릭터, 머리카락, 직물, 반투명 피부 등 복잡한 장면은 물론, 정면광ㆍ역광ㆍ흐린 날씨 같은 환경 조명 조건까지 단일 프레임을 분석해 이해하도록 처음부터 끝까지 훈련됐다. 이를 바탕으로 피부의 서브서피스 스캐터링, 직물의 섬세한 광택, 머리카락에 대한 빛 상호작용을 처리한다. 인공지능이 대부분 데이터를 처리하지만 정밀한 이미지를 생성한다.

예를 들어, 기존 방식에서 게임 엔진은 ‘이 픽셀 영역은 피부다’라고 인지하고 있어도, 그 피부에 태양이 어떻게 반사되는지 계산하려면 GPU 자원이 상당수 필요했다. 하지만 DLSS 5는 ‘저게 피부라는 걸 안다. 피부에 빛이 어떻게 작용하는지 안다. 따라서 내가 직접 그리겠다"는 구조로 처리하는 것이다.

DLSS 5는 최대 4K(3840 x 2160) 해상도에서 실시간으로 작동하며, 개발자에게 강도ㆍ색보정ㆍ마스킹에 대한 세부 조절 기능을 제공한다. 변경이 필요 없는 사물, 이미지 영역은 마스킹을 통해 효과에서 제외 가능하도록 만들었다.

시장의 반응은 냉담, 이유는 “AI가 창작을 해친다”

기술의 발전에도 불구하고 시장의 반응이 우호적인 것만은 아니다. 가장 큰 논란은 이른바 AI가 콘텐츠의 본질을 해친다는 AI 슬롭(AI Slop) 혹은 과도한 효과 적용에 따른 부적응이다. 비판적인 게이머들과 전문가들은 AI가 장면을 재구성하는 과정에서 개발자가 의도한 고유의 예술적 학풍이 훼손될 수 있다고 우려한다.

일례로 GTC 2026 기조연설에서 DLSS 5 기술 소개 이후 온라인 커뮤니티에서는 '레지던트이블 레퀴엠(Resident Evil Requiem)'의 캐릭터 얼굴이 DLSS 5 적용 전과 후가 다르다는 지적이 쏟아졌다. 캐릭터의 광대뼈 위치나 입술의 두께가 AI에 의해 보정되면서, 원작자가 의도한 인상과는 다른 사람이 되어버렸다는 것이다. 이어 시연된 호그와트 레거시(Hogwarts Legacy)에서는 10대 캐릭터의 얼굴이 AI의 과도한 질감 표현으로 인해 노안처럼 보이는 현상이 언급되기도 했다.

GTC 2026 기조연설 이후 젠슨 황 최고경영자의 발언은 논란을 더 뜨겁게 만들었다. 그는 DLSS 5 비판에 대한 의견을 묻는 질문에 “우선, 그들은 완전히 틀렸다”고 말했다. 하지만 여론을 의식했는지, 이후에는 “나도 AI 슬롭을 싫어한다. 우선 AI로 생성된 콘텐츠가 점점 비슷해 보인다는 점을 안다. 모두 아름답지만, 나는 게이머들의 생각을 이해한다. 그런데 DLSS 5가 하려는 것은 그것이 아니다”라며 한층 유연해진 태도를 보였다.

하드웨어 독점에 따른 상술이라는 논란도 뒤따랐다. DLSS 4.5부터 적용되는 기능은 지포스 RTX 50 시리즈 그래픽카드만 사용 가능하다. DLSS 5 또한 지포스 RTX 50 시리즈 그래픽카드만 사용 가능할 것으로 전망된다. 소비자는 최신 기술을 쓰려면 고가의 제품을 구매할 수밖에 없다. 독점적인 하드웨어 상술이라는 비판에서 자유롭지 못한 이유다.

“통제 가능한 미래 렌더링 기술” DLSS 5 도입 찬성 의견도 잇따라

비판의 목소리만큼 옹호하는 의견도 존재한다. DLSS 5를 지지하는 진영은 이 기술을 무어의 법칙 한계를 극복하기 위한 대안으로 본다. 반도체 공정이 한계에 다다르면서 하드웨어 성능의 물리적 향상 속도가 둔화된 시점에 소프트웨어와 AI를 통한 효율 극대화는 피할 수 없는 선택이라는 논리다.

개발자들은 DLSS 5가 게임 개발 환경을 바꿀 것으로 본다. 물리적 계산만으로는 불가능했던 시각적 성취를 AI를 통해 구현할 수 있다는 게 이유다. 찬성 측은 DLSS 5가 개발자의 의도를 훼손하는 것이 아니라, 오히려 하드웨어의 한계 때문에 포기해야 했던 표현의 한계를 현실화하는 도구라고 강조한다.

대표적인 게 엔비디아가 강조한 메가 지오메트리(Mega Geometry) 기술이다. 이 기술은 수백만 개의 나뭇잎이 흔들리는 숲을 실시간으로 패스 트레이싱(화면 전역 빛처리 기술) 가능하도록 돕는다. 전통적인 방식으로는 수십 년 후에나 가능했을 영역을 메가 지오메트리 기술로 빠르게 해결 가능하다는 게 엔비디아 측 설명이다. DLSS 5는 눈속임이 아니라, 그래픽 기술의 효율성을 끌어올리는 지름길이고 이를 통해 게임은 영화와 실제 환경에 가까워질 것이라는 이야기다.

젠슨 황 최고경영자는 DLSS 5는 적용 범위를 개발자가 통제 가능하다는 점을 언급했다. 그는 “DLSS 5는 포스트 프로세싱(사전 제작)이 아니라, 지오메트리 수준에서 생성적 제어하는 도구다. 개발자는 툰 셰이더(만화 형태 그래픽)를 시도할 수도 있고, 게임이 유리로 만들어진 것처럼 보이게 할 수도 있다. 모든 것은 게임 개발자가 통제 가능하다”고 말했다.

뉴럴 렌더링 기술 발전 속도 가속, 게이밍 시장에 어떤 변화로?

DLSS 5를 둘러싼 논쟁은 게임이라는 매체를 바라보는 관점 차이다. 개발자가 의도한 세계관을 토대로 꾸며진 결과물인지, 사용자에게 전달되는 시각적 경험의 완성도가 우선인지에 대한 질문인 셈이다. 하지만 어떤 방식이라도 전통적인 방식의 렌더링 연산은 점차 자리를 잃어갈 것이다. 엔비디아가 제안한 뉴럴 렌더링은 게임이 정해진 데이터를 보여주는 게 아니라, 데이터 기반으로 스스로 발전하는 세계로 진화할 가능성이 열렸기 때문이다.

넘어야 할 산은 여전히 많다. 현재 출시된 지포스 그래픽카드 중 어디까지 DLSS 5를 지원하고 안정적인 성능을 낼 수 있는지는 아직 불분명하다. 개발자가 이 도구를 어떻게 다루는지 게이머에게 납득시키는 과정도 중요하다. DLSS 5의 과도한 결과물로 여겨지는 문제들이 기술적으로 통제 가능하다는 것을 실제로 증명해야 한다.

우려 속에서도 변화는 이미 시작됐다. 연산 능력만으로 실시간 렌더링을 돌파하던 시대에서, AI가 렌더링 처리 구조의 일부로 자리 잡는 시대로 전환하는 중이다. AI 기반 업스케일링이 처음 등장했을 때도, 레이 트레이싱(광선 추적 기술)이 실시간으로 처음 구현됐을 때도 시장은 술렁였다. 그러나 기술이 성숙하고 개발자들이 적응하면서 결국 차세대 표준으로 자리를 잡았다. DLSS 5를 둘러싼 논쟁의 온도가 높다는 것은, 그만큼 변화의 무게도 크다는 반증이기도 하다. 게이머의 경험은 그 변화 속에서 또 한 번 달라질 전망이다.

IT동아 강형석 기자 (redbk@itdonga.com)