게임 그래픽 처리 위한 인공지능 기술 진화는 ‘현재진행형’

[IT동아 강형석 기자] 3D 그래픽 기술 발전으로 혜택을 보는 분야 중 하나가 게임이다. 자연스러운 그래픽 효과 덕분에 보는 즐거움을 제공하기 때문이다. 특정 게임은 사진영상 수준의 화질에 도달했을 정도다. 하지만 뛰어난 게임 그래픽을 구현하려면 높은 하드웨어 처리 능력이 필요하다. 그래픽 처리 외에 부드러운 화면(고주사율), 고해상도 출력 등 하드웨어가 할 일이 많아진 게 이유다.

게이밍 환경은 빠르게 변하고 있지만, 2년~3년 주기로 출시되는 그래픽 처리장치는 발전이 더디다. 2025년 1월 출시된 지포스 RTX 5090 그래픽카드만 해도 실제 하드웨어 성능 향상은 지포스 RTX 4090 대비 20%~30% 수준에 불과하다.

하드웨어 성능 향상은 제한적이지만 이를 극복하기 위한 노력은 이어지고 있다. 그중 하나가 ‘인공지능(AI)’ 기술이다. 인공지능은 화질 향상 외에도 그래픽 효과 처리에도 관여하면서 게이밍 경험 향상에 도움을 주고 있다.

인공지능 게임 그래픽 처리의 핵심 ‘저해상도를 고해상도로’

인공지능 그래픽 처리 기술의 핵심은 해상도 업스케일링(Resolution Upscaling)이다. 현재 엔비디아는 딥러닝 슈퍼샘플링(DLSS – Deep Learning Super Sampling), AMD는 피델리티에프엑스 슈퍼 해상도(FSR - FidelityFX Super Resolution) 기술이라는 이름으로 서비스 중이다.

해상도 업스케일링 기술은 저해상도 화면을 고해상도로 변환해 품질과 해상도를 개선하는 데 초점을 뒀다. 그래픽 처리장치가 먼저 게임 내 그래픽을 낮은 해상도로 렌더링하고 실제 화면 출력 전에 인공지능이 화질 보정을 거치는 식이다. 예로 게임 내 그래픽을 720p로 처리한 후, 인공지능 화질 보정을 거쳐 1080p 화면으로 출력한다.

이 방식은 그래픽 처리장치의 부담을 덜어준다. 해상도가 낮을수록 더 적은 화소를 처리하고, 남는 자원으로 다른 효과에 집중하면 된다. 실제 인공지능 기술을 지원하는 그래픽 처리장치는 남는 자원으로 광선 추적(레이트레이싱 – Ray Tracing) 연산에 집중한다. 광선 추적은 공간 내 모든 광원을 실시간 처리하는 기술이다. 빛을 자연스레 표현하기 때문에 생동감 넘치는 화면 구현이 가능하지만 높은 연산 능력을 요구한다.

인공지능은 화질 개선 외에도 광선 추적 기술에도 개입한다. 저해상도 광원 데이터를 고해상도로 변환하는 과정에서 생기는 화질 저하 현상을 억제한다.

게임을 위한 인공지능 그래픽 처리 기술도 진화 중

초기 인공지능 보정은 합성곱 신경망(CNN – Convolutional Neural Networks) 기술을 썼다. 화면 내 큰 픽셀(화소)을 분석하고 중요도를 추정하는 방식이다. 화면을 빨리 처리하는 데 효과적이지만, 상황에 따라 예측이 부정확할 때가 있다. 이미지가 뭉개지거나 그래픽이 깨진 것처럼 보인다.

트랜스포머 모델은 합성곱 신경망 방식처럼 큰 화소 군집을 분석하는 것은 동일하다. 여기에서 한 발 더 나아가 화면 내 모든 픽셀을 분석, 중요도를 평가해 부정확하거나 손실된 정보를 정밀하게 표현한다. 합성곱 신경망과 달리 빠른 화면 전환 또는 움직임에 화면이 깨지거나 흔들리는 문제를 최소화했다. 화질도 그래픽 처리장치가 실제 처리하는 수준까지 개선된다.

트랜스포머 모델의 또 다른 장점은 시스템 자원을 효율적으로 다룬다는 부분이다. 초기 학습 과정에서는 처리 데이터의 양이 많아 무거울 수 있지만, 인공지능 학습 데이터가 축적되면서 데이터 최적화가 이뤄지기 때문이다. 절대적인 데이터 사용량을 비교하면 합성곱 신경망 방식이 유리하지만, 이미지 품질과 처리 속도 등을 감안하면 트랜스포머 방식이 더 유리한 셈이다.

인공지능 기술의 변화로 게이머의 경험은 크게 변화할 전망이다. 가장 눈에 띄는 부분은 해상도와 주사율의 향상이다. 최근 게이밍 시장은 고해상도와 고주사율에 집중되고 있다. 더 선명한 화질, 부드러운 움직임으로 게임을 즐기려는 게이머가 많다. 인공지능 그래픽 처리 기술은 두 요구를 모두 충족한다. 출력 화면은 고해상도지만 실제 그래픽카드가 처리하는 데이터는 해상도가 낮아 그래픽 처리장치의 부담은 낮아진다. 그만큼 여유 자원이 발생하며, 외부 입력을 더 많이 받거나 화면을 부드럽게 출력하는 데 집중 가능해진다.

엔비디아는 DLSS 4.0 도입 이후, 인공지능 그래픽 처리 방식을 합성곱 신경망에서 트랜스포머 방식으로 전환하고 있다. 일부 고급 기능을 제외한 화질 보정 기술은 모든 지포스 RTX 그래픽카드에서 사용 가능하다. 2021년에 출시된 지포스 RTX 20 그래픽카드 사용자도 이전 대비 선명한 화질로 게임을 즐길 수 있다는 이야기다. 지포스 GTX 10 시리즈 그래픽카드 이하는 인공지능 연산 기능이 없어 사용 불가능하다.

AMD는 라데온 RX 9000 시리즈에 도입된 FSR 4.0부터 합성곱 신경망과 트랜스포머 모델을 동시에 쓰는 하이브리드 방식을 선택했다. FSR 3.0 이하에서는 합성곱 신경망 방식으로 이미지가 처리된다. 움직임이 많은 부분은 트랜스포머 모델을 쓰고 배경, 건물 등 고정된 환경은 합성곱 신경망 등을 섞어 적용하는 방식이다. 화질과 처리속도 사이의 균형에 초점을 둔 것이다.

실제 화질과 성능 차이를 비교하기 위해 게임 스텔라 블레이드를 실행했다. 인텔 코어 i9-14900K, 64GB DDR5 메모리, 지포스 RTX 4080 슈퍼 그래픽카드 등을 썼다. 먼저 인공지능 기술을 적용하지 않은 QHD(2560 x 1440) 해상도로 게임을 실행했다. 그래픽 옵션은 모두 최고로 설정한 상태다. 테스트 환경 내에서는 1초에 164프레임(1초에 164회 화면 전환) 표현이 가능했다.

이어 인공지능 기술을 적용했다. 그래픽카드가 지원하는 엔비디아 DLSS 4.0을 설정하고 화질은 품질에 맞췄다. 그 외 설정은 동일하다. 동일한 자리에서 실행한 결과, 1초에 205프레임(1초에 205회 화면 전환) 표현이 가능했다. 인공지능 기술을 적용하지 않았을 때보다 적용했을 때 더 부드러운 화면으로 게임을 경험할 수 있다는 이야기다. 또한 인공지능 기술을 적용함으로써 시스템의 부하가 소폭 낮아진 점도 눈에 띄는 변화다. 메모리 사용량은 10기가바이트(GB)에서 9.7GB로, 중앙처리장치와 그래픽 처리장치 전력 소모도 각각 10% 가량 줄었다.

게임 내 화질도 비교해 보자. 역동적인 움직임이 있을 때 차이가 조금 존재하지만 화면 전환이 빨라 거슬릴 정도는 아니었다. 화면이 정지한 상태에서의 품질은 거의 동일한 수준이다.

게임을 위한 인공지능 기술, 발전 가능성 충분하다

인공지능 그래픽 처리 기술은 장점과 한계가 뚜렷하다. 먼저 모든 게임이 인공지능 기술을 지원하는 게 아니다. 게임 개발사에서 인공지능 기술을 적용해야 사용 가능한 구조다. 엔비디아와 AMD 등 그래픽 처리장치 개발사 주도로 인공지능 지원 범위를 확대하는 중이다. 그 결과 인공지능 화질 개선 기술은 2018년 이후에 출시된 게임 대부분이 지원한다. 출시 시기가 오래됐거나 일부 온라인 게임은 혜택을 누릴 수 없지만, 기술 개발 진행도에 따라 지원 가능성은 열려 있다.

데스크톱 PC 외에도 노트북, 휴대용 게이밍 PC(UMPC) 등 저사양 시스템에서 구현 가능하다는 이점도 있다. 인공지능 연산이 가능한 장치라면 언제 어디서든 고화질 게임 실행이 가능하다. 향후 기술 개발에 속도가 붙을수록 게이밍 경험에 큰 변화가 있을 것으로 예상된다.

IT동아 강형석 기자 (redbk@itdonga.com)