엔비디아 DLSS 4.5 “2세대 트랜스포머 모델로 게임 그래픽 가속”

[IT동아 강형석 기자] 인공지능(AI)이 게임 그래픽을 처리한다는 개념의 엔비디아 DLSS(Deep Learning Super Sampling) 기술은 게이밍 시장에 충격을 줬다. 4K 해상도(3840 x 2160) 출력을 위해 1080p 혹은 그보다 더 낮은 해상도로 렌더링한 후, 부족한 부분을 인공지능이 채워 고화질을 구현했기 때문이다. AI가 게임 내 움직임 데이터와 프레임(출력 영상) 정보를 분석해 실제로 렌더링했을 때와 거의 구별할 수 없는 이미지를 만들어낸다는 발상이었다.

처음 반응은 회의적이었다. DLSS 1.0은 특정 게임에서만 작동했고, 흐릿한 화질과 일부 물체 표현이 왜곡되는 문제가 있었다. 각 게임마다 별도로 AI 모델을 학습시켜야 했기에 확장성도 떨어졌다. 하지만 엔비디아는 포기하지 않았다. 2020년 소개된 2세대 DLSS(DLSS 2.0)는 범용 모델로 전환해 다수의 게임에서 작동했고, 이미지 품질도 개선됐다.

DLSS 2.0의 성공은 게임 개발의 유행을 바꿨다. 개발자들은 더 이상 해상도와 성능 사이에서 타협할 필요가 없어졌다. 실시간 광선추적(레이 트레이싱) 같은 고부하 기술을 과감하게 적용하고, DLSS로 프레임 속도를 확보하는 방식이 표준이 됐다.

2022년 소개된 3세대 DLSS(DLSS 3.0)는 프레임 생성(Frame Generation) 개념으로 또 다른 혁신을 가져왔다. AI 슈퍼 해상도가 공간의 업스케일링이라면, 프레임 생성은 시간의 업스케일링이기 때문이다. AI가 연속되는 프레임 사이에 새로운 프레임을 끼워 넣어 화면을 부드럽게 표현했다. 60 프레임으로 렌더링하면 120 프레임으로 출력되는 식이다. 더 적은 프레임을 실제로 계산하면서도 더 부드러운 게임플레이가 가능해 주목받았다.

DLSS 3.0은 지포스 RTX 40 시리즈 그래픽카드 전용 기술로 소개됐다. 지포스 RTX 40 시리즈 그래픽카드부터 적용된 광학 흐름 가속기(Optical Flow Accelerator)라는 장치를 썼기 때문이다. 이 장치는 프레임 간 픽셀 이동을 추적하는 데 특화됐고, 적은 CPU 부담으로 프레임 생성을 가능하게 했다.

비판도 있었다. 생성된 프레임에는 입력 반응이 반영되지 않아 전체 입력 지연시간이 증가한다는 지적이었다. 엔비디아는 리플렉스(Reflex) 기술로 입력 지연을 보완했다. 렌더링 처리 구조(파이프라인)을 최적화해 전체 지연시간을 줄이면서 프레임 생성으로 인한 증가분을 상쇄하는 구조다.

엔비디아는 4세대 DLSS(DLSS 4.0)으로 또 한 번 AI 그래픽 가속 기술의 혁신을 이뤘다. 6년간 사용해온 합성곱 신경망(CNN, Convolutional Neural Networks) 방식에서 트랜스포머 모델로 전환했다. 트랜스포머는 대형언어모델(LLM) 개발에 쓰인 기술이다. 이 기술이 이미지 분석에 적용되면서 그래픽 처리 능력이 크게 향상됐다. 화면 한쪽의 변화가 다른 쪽에 어떤 영향을 미치는지, 시간에 걸쳐 어떤 패턴이 반복되는지 더 잘 이해한 결과물이다.

DLSS 4는 멀티 프레임 생성 능력도 향상됐다. 이전 세대 DLSS는 한 번에 하나의 프레임을 생성했다면(2배), DLSS 4는 세 개(4배)를 더 생성한다. 전통적으로 렌더링된 프레임 하나에 세 개의 AI 생성 프레임이 추가 삽입된다. 이로써 60 프레임 출력 환경이 240 프레임 출력으로 움직임이 부드러워진다. 엔비디아는 여기서 멈추지 않고 2026년 1월, DLSS 4.5를 공개했다. 2세대 트랜스포머 모델을 토대로 화질과 화면 분석 능력이 개선된 것이 특징이다.

DLSS 4.5는 어떻게 작동하는가

DLSS는 전통적인 렌더링 파이프라인과 처리 방식에 차이가 있다. 게임 엔진은 매 프레임마다 장면을 구성하는 모든 화소(픽셀)을 계산해야 한다. 4K 해상도라면 약 830만 화소다. 추가로 각 화소의 색상을 결정하는 조명, 그림자, 반사, 텍스처 등 수많은 요소를 추가 계산한다. 레이 트레이싱이나 혼합 광선추적(패스 트레이싱)처럼 실시간 조명 환경을 정확히 구현하려면 연산량은 기하급수적으로 증가한다.

DLSS는 전체 해상도가 아닌 낮은 해상도로 먼저 렌더링하고, AI가 나머지를 채운다. 4K 출력을 위해 실제로는 1080p만 렌더링하는 식이다. 이때 실제 시스템이 처리하는 화소 수는 1/4로 줄어들면서 부하가 크게 감소한다. 이후 AI 모델이 저해상도 이미지를 4K로 업스케일링한다.

업스케일링 과정에서 AI는 기존 프레임들의 정보를 활용한다. 게임 엔진에서 제공하는 모션 벡터(움직임 기록) 데이터를 사용해 물체가 어떻게 움직이는지 이해하고, 프레임 정보를 지능적으로 결합하기 위해서다. 그 결과, 자연스러운 움직임과 함께 화면 깜박임(플리커링)을 줄였다.

2세대 트랜스포머 모델은 이 과정을 한층 정교하게 다듬었다. 이미지의 한 영역이 다른 영역과 어떤 관련이 있는지, 시간에 걸쳐 패턴이 어떻게 전개되는지 빠르게 이해하는 방식이다. 엔비디아는 정확도를 높이고자 AI 연산 능력을 5배 확대했고, 다양한 고화질 데이터셋으로 학습을 진행했다. AI가 정확한 화면 판단이 가능하도록 설계한 것이다.

AI가 게임 내 데이터를 처리하는 방법도 달라졌다. 기존에는 로그 공간(데이터 처리 공간)으로 그래픽 데이터를 변환해 처리한 후 다시 게임 화면으로 되돌렸다. 이 과정에서 밝은 조명의 디테일이 손실됐다. 하지만 DLSS 4.5는 게임 엔진 내에서 직접 학습하고 추론한다. 데이터 압축 없이 관리 가능할 정도로 모델 성능이 향상됐다.

DLSS 4.5 이전과 무엇이 달라졌나

DLSS 4.5의 변화는 2세대 트랜스포머 모델 적용이다. 1세대 트랜스포머 모델 대비 5배 많은 연산 성능을 활용, 방대한 고품질 데이터들로 학습했다. 2세대 트랜스포머 모델은 장면에 대한 깊은 이해를 바탕으로 게임 내 화소 샘플링과 움직임 데이터를 더 지능적으로 활용한다. 자세한 조명효과, 정교한 모서리 표현, 움직임 선명도 개선 등이 결과물이다.

2세대 트랜스포머 모델은 조명 효과 개선이 특징이다. 기존 TAA(Temporal Anti-Aliasing)와 초기 슈퍼 해상도(DLSS) 모델들은 플리커링을 줄이기 위해 로그 공간에서 작동했다. 하지만 이 방식은 고대비 장면에서 조명 효과가 제대로 반영되지 않거나 디테일 손실, 그림자가 뭉개지는 등 문제를 야기했다. DLSS 4.5는 게임 내부의 선형 공간을 직접 학습하고 추론한다. 개선된 AI 모델이 데이터 압축 없이도 불안정성을 관리하게 되면서, 물리적으로 정확한 조명 축적이 가능해졌다. 네온사인의 빛나는 색상과 밝은 반사가 완전한 색상 범위와 디테일을 유지하는 식이다.

프레임 생성 기술도 진전이 있었다. DLSS 4는 최대 4배 멀티 프레임 생성을 제공했다면, DLSS 4.5는 최대 6배까지 지원한다. 전통적으로 렌더링된 프레임 하나당 최대 5개의 추가 프레임을 생성한다는 뜻이다. 엔비디아 자료에 따르면 지포스 RTX 50 시리즈 그래픽카드를 활용해 프레임 생성을 4배에서 6배로 전환할 경우 4K 환경의 패스 트레이싱 게임에서 프레임 수가 최대 35% 증가한다.

동적 멀티 프레임 생성(Dynamic Multi Frame Generation) 기술은 DLSS 4.5의 강점으로 꼽힌다. 고정 프레임 배율로 작동하는 대신, 그래픽카드 성능과 디스플레이 주사율 출력 간격을 지속적으로 모니터링하며 실시간으로 프레임 수를 조정한다. 시스템 부하가 높은 상황에서는 프레임 생성을 늘려 성능 저하를 보완하고, 부하가 줄어들면 프레임 비율을 낮춰 필요한 만큼만 연산한다. 프레임 수와 이미지 품질, 반응성 사이의 최적 균형을 찾는 구조다.

호환성 측면에서도 주목할 만하다. 동적 멀티 프레임 생성, 6배 멀티 프레임 생성, 2세대 트랜스포머 슈퍼 해상도 모델은 모두 기존 DLSS 기술과 호환되도록 설계됐다. 개발자들이 게임을 DLSS 4.5로 업그레이드하는 데 단 몇 번의 클릭만 하면 된다는 뜻이다. 엔비디아는 400개 이상의 타이틀이 DLSS 4.5 슈퍼 해상도를 지원하며, 250개 이상의 게임과 앱이 멀티 프레임 생성을 지원한다고 발표했다.

DLSS 4.5는 지포스 RTX 40, 50 시리즈 그래픽 처리장치(GPU)에 적용된 텐서(Tensor) 코어의 이점을 누린다. FP8 정밀도 기능을 활용해 하드웨어가 추론 처리량을 두 배로 확장하면서, 2세대 트랜스포머가 실행된다. 반면, 네이티브 FP8 지원이 없는 지포스 RTX 20, 30 시리즈 그래픽카드는 DLSS 4.5의 모든 기술을 사용하지 못한다. 해당 그래픽카드 사용자는 성능과 이미지 품질의 최적 균형을 위해 기존 DLSS 4.0 기술을 쓰는 게 유리하다.

AI 렌더링 기술의 미래는?

젠슨 황(Jensen Huang) 엔비디아 최고경영자는 GTC 2025에서 뉴럴 렌더링(Neural Rendering) 개념을 강조했다. 전통적인 래스터화나 레이ㆍ패스 트레이싱에 AI를 보조로 사용하는 수준이 아니라, AI가 렌더링 파이프라인의 핵심으로 부상할 것이라고 언급했다. 일부 프레임만 GPU가 렌더링하고 나머지는 AI가 생성하는 DLSS 방식에서 장기적으로 화소 대부분이 AI에 의해 생성되는 방향으로 나아갈 것임을 암시하는 부분이다.

AI 렌더링 기술은 빠르게 발전 중이다. DLSS 4.5의 울트라 퍼포먼스 모드에서는 실제 화면 해상도의 1/9만 렌더링한다. 4K 출력을 위해 GPU는 720p로 렌더링하고 나머지 픽셀은 AI가 만들기 때문이다. 6배 멀티 프레임 생성 기술을 쓰면 최종 출력의 98% 이상이 AI가 처리할 정도다.

트랜스포머 기술의 진화는 계속될 것이다. 자연어 처리 분야의 발전을 생각해보면, 모델 크기와 학습 데이터가 늘어날수록 성능이 계단식으로 향상됐다. 이미지 렌더링에서도 같은 패턴이 나타날 가능성이 크다. 3세대, 4세대 트랜스포머 모델은 더 많은 컨텍스트를 이해하고 복잡한 장면을 다루며, 적은 시스템 자원으로 고해상도 그래픽을 출력할 것이다.

화질 일관성도 개선의 여지가 많다. 현재 DLSS는 몇 프레임의 처리 이력을 활용하지만, 이론적으로 수십 또는 수백 프레임에 걸친 패턴 학습이 가능하다. 장면의 구조 흐름을 이해하면 더 안정적이고 일관된 이미지 생성이 가능하다. 플리커링이나 고스팅(화면 번짐) 같은 문제들이 사라질 전망이다.

프레임 생성의 배율도 혁신이 예상된다. 개선된 AI 모델과 알고리즘이 개발되면 10배, 20배도 가능하다. 극단적으로 접근하면 초당 1~2개의 키프레임(주 화면)만 전통적으로 렌더링하고, AI가 그 사이를 모두 채우는 방식도 불가능은 아니다.

AI 그래픽 연산 기술은 모바일과 클라우드 게이밍에 긍정적인 영향을 준다. 스마트폰이나 클라우드 서버에서 저해상도 렌더링을 수행하고, AI가 고해상도로 업스케일링하면 대역폭과 연산 자원을 절약할 수 있다. 고속 무선 네트워크와 결합하면 고사양 PC, 콘솔 게임기가 없이도 최고 품질의 게임을 즐기는 환경이 조성된다.

물론 해결해야 될 과제도 존재한다. AI 모델 학습에는 막대한 연산 자원이 필요하다. 현재 DLSS를 구현하려면 게임 데이터를 엔비디아 AI 데이터 센터로 보내 학습을 진행해야 된다. DLSS 지원 게임 수가 많아질수록 더 많은 데이터 센터가 필요하고 자연스레 전력, 반도체 시장 부담으로 이어진다. AI 모델의 편향(bias) 문제도 해결 과제다. 특정 장면이나 콘텐츠에서만 잘 작동하고 다른 곳에서는 불필요한 효과를 만들 가능성이 남았다. 더 다양하고 대표성을 갖춘 학습 데이터가 필요하다. 그럼에도 엔비디아 DLSS 4.5는 AI 기반 3D 그래픽 처리 기술의 변화를 알리는 이정표가 될 전망이다.

IT동아 강형석 기자 (redbk@itdonga.com)