“AI가 3D 데이터를 학습한다” 신경망 텍스처 압축 기술이 주목받는 이유

[IT동아 강형석 기자] 우리가 경험하는 현실적인 3D 그래픽의 뼈대는 삼각형 데이터 기반의 폴리곤(Polygon)과 그 위를 덮는 텍스처(Texture)라는 이미지 데이터로 구성된다. 여기에 색상, 표면의 거칠기, 반사율, 광선 방향, 주변광 차폐량 등 여러 층의 정보를 쌓는다. 3D 그래픽 데이터 용량이 증가한 이유도 텍스처 데이터 때문이다. 그래픽 처리장치 제조사들은 기술 흐름에 따라 그래픽 카드에 탑재하는 비디오 메모리(VRAM) 용량을 늘리고 대역폭을 넓히는 데 집중했다.

그렇다면 왜 이 문제가 지금까지 해결되지 않았을까? 답은 압축 기술의 구조적 한계에 있다. 텍스처 압축의 표준은 BCn(Block Compression)이라 불리는 블록 기반 압축 방식을 따른다. 이미지를 4×4 화소 단위 블록으로 잘라낸 뒤 각 블록 안의 색상 정보를 최적화해 용량을 줄이는 방식이다. 하드웨어 처리 구조에 최적화돼 있어 빠르고 안정적이다.

문제는 BCn이 태생적으로 텍스처 데이터를 따로따로 압축한다는 점이다. 피사체의 색이 달라지고 그림자가 생기듯 알베도 맵(색상 데이터)과 노멀 맵(표면 데이터)은 서로 깊은 연관을 갖지만, BCn은 두 데이터의 상관관계를 활용하지 않는다. 각 채널을 독립적으로 압축하다 보니 압축률에 한계가 생기고, 압축 과정에서 눈에 거슬리는 데이터가 발생한다.

그래픽 데이터 압축 방식은 지속 성장이 어렵다. 메모리 용량 확대의 물리적 한계와 개발 비용 상승 때문이다. 최근에는 AI 데이터센터 인프라 확대로 메모리 반도체 공급 문제까지 심화되면서, 그래픽 데이터를 효율적으로 다루기 위한 기술 개발이 한창이다. 그중 하나가 신경망 텍스처 압축(NTC, Neural Texture Compression) 기술이다.

AI가 텍스처 데이터를 학습하는 ‘NTC 기술’

NTC 기술은 2023년에 처음 공개됐지만, 시장의 주목을 받은 건 2026년 3월 16일(미국 기준) 개최된 엔비디아 GTC 2026이다. 알렉세이 베킨(Alexey Bekin) 엔비디아 시니어 소프트웨어 엔지니어는 NTC에 대해 "텍스처를 더 효율적으로 저장하기 위한 머신러닝 기반 접근법"이라고 설명했다.

흔히 AI를 활용한 그래픽 기술이라면 엔비디아 딥러닝 슈퍼 샘플링(DLSS), AMD 피델리티FX 슈퍼 해상도(FSR), 인텔 Xe 슈퍼 샘플링(XeSS) 등을 떠올린다. 이들 기술은 화질을 개선하고 부족한 화면을 채워 부드러운 움직임을 구현하는 데 도움을 준다. NTC는 결이 다르다. 생성형 AI가 아니라 게임 개발 과정에서 텍스처 세트만을 대상으로 학습하기 때문에 환각(Hallucination)이 발생할 여지가 없다. 창조하는 게 아니라 원본 재현에 집중한다. 어떻게 보면 NTC는 AI가 상상하는 기술이 아니라, 기억하는 기술에 가깝다.

NTC는 텍스처를 블록으로 자르는 대신, 여러 텍스처 채널의 관계를 통째로 학습해 훨씬 작은 잠재 표현(Latent Representation)으로 압축한다. 그리고 그래픽 처리장치(GPU)의 소형 신경망을 활용해 실시간 복원하는 과정을 거친다. 파일 크기를 줄이는 것을 넘어, 텍스처를 기억하는 방식 자체를 바꿀 전망이다.

NTC는 어떻게 구현되는가?

3D 공간에 놓인 물체는 삼각형으로 구성된 뼈대(폴리곤)와 표면(텍스처)으로 이뤄진다. 마치 인형 몸통에 옷감을 씌우는 것과 유사하다. 게임 개발자들은 현실감 있는 표면 하나를 만들기 위해 물리 기반 렌더링(PBR, Physically-Based Rendering) 방식을 쓴다. 빛이 실제 세계에서 물질과 상호작용하는 방식을 수학적으로 시뮬레이션하는 기법이다.

PBR 재질은 알베도(색상 데이터) 맵 채널, 노멀(표면 데이터) 맵 및 금속성, 거칠기, 주변광 차폐, 불투명도 등 9개~10개의 채널로 구성된다. 이 채널들이 모여 표면의 시각적 특성을 완성한다. 물체가 빛을 어떻게 반사하는지, 주변에 어떤 영향을 주는지 등 시각적 결과물은 여러 데이터 채널의 조합에서 비롯된다.

중요한 것은 데이터의 무게다. 예로 2048×2048 해상도의 텍스처 세트 하나를 채널당 8비트 기준으로 저장하면 비압축 상태에서 픽셀당 64비트 데이터가 필요하다. 업계 표준인 BCn 방식을 쓰면 알베도 BC7(8비트ㆍ픽셀)와 노멀 BC5(8비트ㆍ픽셀), 나머지 채널들을 묶어 BC7(8비트ㆍ픽셀)에 담아 픽셀당 24비트 수준으로 압축 가능하다.

반면, NTC 기술을 적용하면 채널당 24비트인 텍스처 세트가 약 5비트 수준으로 줄어든다. 화질은 압축 전 수준에 가깝게 구현할 수 있다. 엔비디아 측 자료에 따르면 NTC 기술을 쓰면 BCn(픽셀당 24비트)에 가까운 화질(신호대 노이즈 40dB~50dB)을 구현했다.

압축률이 향상되면서 데이터 용량도 줄어든다. 엔비디아가 시연한 투스칸 휠스(Tuscan Wheels) 3D 데모 기준, 약 6.5GB의 비디오 메모리를 사용하던 게 NTC 적용 후 970MB로 줄었다. 손실 압축이므로 원본을 완전히 구현하는 건 아니지만, 원본에 가까운 그래픽 구현이 가능했다.

NTC는 모든 화소 데이터(텍셀)를 직접 저장하는 대신, 텍스처를 학습한 잠재 특징(Latent Feature)으로 압축한다. 잠재 표현은 원본의 시각적 정보를 작은 형태로 담고, GPU 내 소형 신경망이 화소 데이터 값이 필요할 때마다 재구성하는 방식이다. 책 한 권을 통째로 저장하는 대신, 그 책의 핵심 내용과 문체, 논리 구조를 압축해두고 필요할 때 AI가 다시 써내는 방식이다. AI 데이터 압축 방식을 혁신해 주목받은 터보퀀트(TurboQuant) 기술과 비슷하다.

NTC는 여러 텍스처 채널을 함께 압축한다. 최대 16개 채널을 하나의 NTC 텍스처 세트로 묶어 처리 가능하다. 알베도 맵 데이터와 노멀 맵 데이터의 상관관계를 압축 과정에서 활용하기 때문에 각 채널을 따로 처리하는 BCn보다 높은 압축률을 달성할 수 있다.

NTC는 사용 목적에 따라 두 가지 방식으로 운용 가능하다. 하나는 즉시 복원 모드(Inference on Sample)다. 텍스처를 샘플링하는 단계에서 신경망이 직접 복원 작업을 수행한다. 비디오 메모리 절감 효과가 가장 크고, 렌더링 파이프라인에 통합되는 방식이다.

다른 하나는 요청 시 복원 모드(Inference on Load)다. 그래픽 데이터를 불러올 때 NTC 텍스처를 미리 복원하고 BCn 포맷으로 변환해 일반 텍스처처럼 사용하는 방식이다. 저사양 하드웨어에서도 활용 가능해 호환성이 높다. 설치 용량 절감과 구동 부담을 낮추는 데 용이하다.

NTC 기술, 장점만 있을까?

NTC 기술의 핵심 이점은 GPU 비디오 메모리 점유율 절감이다. 최대 85%까지 메모리 공간을 아낄 수 있어 저용량 그래픽카드 사용자에게도 고품질 그래픽 제공이 가능하다. 현재 시중에 판매되는 중급 그래픽카드 대부분이 8GB~12GB 비디오 메모리를 제공한다. 적은 메모리 공간에서 고해상도 그래픽 처리가 가능하다면, 메모리 부족 현상 극복에 도움이 될 전망이다.

메모리 점유율 하락 외에도 그래픽 데이터 용량 자체가 줄어드는 장점도 있다. 고해상도 원본 데이터를 별도 보관할 필요가 없기 때문이다. 자료에 따르면 현행 그래픽 압축 기술 표준인 BC7 대비 최대 7배 압축 가능하다. 예로 150GB 용량의 데이터가 20GB 수준으로 줄어든다.

NTC의 신경망 처리는 기존 3D 처리(렌더링) 작업과 별도의 경로로 동작한다. 렌더링 파이프라인을 대체하는 게 아니라 그 옆에서 함께 작동하기에 전통적인 렌더링 자원을 공유하지 않는다. 저사양 시스템에서도 고품질 그래픽 구현이 가능한 이유다.

장점 못지않게 해결해야 할 기술적 과제도 뒤따른다. 가장 뚜렷한 약점은 실제 적용 사례가 전무하다는 점이다. 개발도구가 공개된 지 수개월이 지났지만, 아직 NTC를 활용한 게임이나 그래픽 기술 사례가 없다. 기술을 적용할 시간이 충분치 않은 데다 게임 엔진 차원의 공식 지원도 부족한 탓이다.

기술이 제 성능을 발휘하려면 행렬 가속 연산 유닛을 갖춘 GPU가 필요하다는 점도 약점으로 꼽힌다. NTC 기술을 쓰려면 협동 벡터(Cooperative Vectors) 지원 GPU가 필요하다. 물론, 이를 지원하지 않아도 NTC 구현에 문제는 없다. 다만 협동 벡터 가속 없이 NTC를 구동하면 압축을 해제하는 데 5.7ms(0.0057초) 지연이 발생한다.

손실 압축이라는 점도 한계로 꼽힌다. 압축률을 높이기 위한 잠재 형태(Latent Shape) 방식을 적용하면 화질 손실 가능성이 높아진다. 빠르게 움직이는 오브젝트, 복잡한 조명 변화, 다수의 재질이 겹치는 환경에서도 동일한 효율이 나올지는 미지수다.

실험 단계 수준의 기술, 하지만 발전 잠재력 높아

NTC 기술은 아직 실험 단계지만 발전 가능성은 높다. 엔비디아 DLSS 5처럼 AI가 창작자의 의도를 해친다는 비판에서도 자유롭다. AI가 렌더링 연산 과정에 개입하지만, 게임의 시각적 정체성은 개발자 손에 남겨두는 방향으로 AI를 활용하기 때문이다. 그래픽 데이터 절감은 그 과정에서 따라오는 부수 효과다.

하드웨어 선택지가 확대되는 결과도 기대된다. AI 기반 그래픽 데이터 압축 기술이 발전하면 콘솔 게임기, 휴대용 게이밍 PC(UMPC), 노트북 등 장치를 가리지 않고 3D 그래픽 가속이 가능하다.

관련 시장도 빠르게 대응 중이다. 엔비디아는 2026년 내에 언리얼 엔진 5를 포함한 주요 게임 엔진에 NTC 지원을 확대할 계획이다. 인텔은 텍스처 세트 신경망 압축(TSNC, Texture Set Neural Compression) 개발도구 제공 외에 다양한 프로그래밍 언어(C, C++, HLSL)로 변환 가능한 소프트웨어 인터페이스(API)를 구축했다. 마이크로소프트는 NTC 기술을 멀티미디어 처리 인터페이스인 다이렉트X(DirectX)에 적용하는 작업을 진행 중이다. AMD는 개발도구가 없지만 텍스처 크기를 70%까지 줄인 NTC 기술을 공개했다.

수십 기가바이트의 데이터를 다루던 시대는 저물고, AI 알고리듬이 그 빈 공간을 채우는 시대가 열리고 있다. NTC 기술의 진화가 3D 하드웨어와 소프트웨어 시장을 어떻게 바꿔 나갈지 지켜볼 일이다.

IT동아 강형석 기자 (redbk@itdonga.com)