인공지능 활용한 게임 내 그래픽 가속, 현재와 미래

[IT동아 강형석 기자] 게임 내 그래픽이 사진영상 수준으로 발전하면서 이를 처리할 수 있는 하드웨어의 성능도 빠르게 향상되는 모습을 보였다. 그러나 화면에 표시되는 해상도의 확대, 차세대 그래픽 효과 등 실시간 처리되는 데이터 양이 폭발적으로 증가하면서 하드웨어가 따라가지 못하는 모습도 보인다. 이를 타개하고자 제안된 것이 인공지능이다.

가장 먼저 움직인 곳은 엔비디아다. 지난 2018년, 지포스 RTX 20 시리즈를 출시하면서 그래픽 처리장치(GPU) 내에 인공지능 연산 기능을 담았고 이를 게임 그래픽 가속에 활용하기로 한 것이다. 게임 개발사는 인공지능 가속을 활용하기 위해 관련 데이터를 엔비디아 DGX 서버에 저장해 인공지능 학습을 거쳤다. 이 데이터로 게이머는 화려한 그래픽 효과와 끊김이 적은 게임 경험을 할 수 있었다.

해당 기술을 엔비디아는 딥러닝 슈퍼샘플링(DLSS – Deep Learning Super Sampling)이라 명했다. 1세대 DLSS는 부족한 면이 없지 않았지만, 2세대 이후 DLSS는 그래픽 효과 개선과 쾌적한 구동에 집중해 지포스 RTX 30 시리즈 그래픽카드의 안정적 시장 진입을 도왔다. 지포스 RTX 40 이후 그래픽카드부터 쓸 수 있는 3세대 DLSS 기술은 프레임 보간 기능을 추가해 게이밍 경험을 한 단계 높였다.

인텔과 AMD도 가세했다. DLSS 기술이 주목받은 이후, AMD는 FSR(FidelityFX Super Resolution) 기술을 공개하며 대응했다. 선명도를 높이고 프레임 보간 기술을 더해 높은 해상도에서 쾌적한 게이밍 경험을 제공했다. 뿐만 아니라 라데온 슈퍼해상도(RSR – Radeon Super Resolution) 기술도 공개하면서 FSR의 부족한 부분을 보완했다. FSR 기술은 게임 개발사가 지원해야 쓸 수 있었으나 RSR 기술은 드라이버 자체에서 지원하기 때문. 그래픽카드 사용 제한을 둔 엔비디아와 달리 AMD는 RDNA 설계 기반 그래픽카드 모두 사용 가능한 점도 차별점이었다.

인텔은 Xe 슈퍼샘플링(XeSS – Xe Super Sampling) 기술을 들고 나왔다. 인텔 Xe 설계 기반 그래픽 처리장치에서 쓸 수 있는 기술로 내장 그래픽 및 아크 그래픽카드 등 폭넓게 지원하는 점이 특징이었다. 향후 기술을 점차 공개하면서 엔비디아, AMD 그래픽카드도 쓸 수 있도록 지원해 나갈 예정이다.

이처럼 인공지능을 활용한 해상도 확대(업스케일링) 및 프레임 보간 기술을 도입하는 이유는 방대한 그래픽 처리 데이터를 효과적으로 처리하기 위함이다. 과거와 달리 QHD~4K 해상도 이상 환경에서 게임을 즐기는 게이머가 늘어난 것도 이유 중 하나다.

풀HD 해상도(1920 x 1080)에서 4K 해상도(3840 x 2160)로 게이밍 환경이 바뀔 경우 단순 데이터 처리량은 4배 이상 증가한다. 처리화면 영역이 4배 증가했기 때문이다. 그래픽카드에 걸리는 부하는 그 이상이어서 현존하는 고성능 그래픽카드로도 4K 해상도를 원활히 처리하기가 어려운 상황이다.

처리 데이터가 정해진 그래픽 효과가 아닌 실시간 처리가 필요한 그래픽 효과는 부하를 더욱 가중시킨다. 광선추적(레이 트레이싱) 기술이 대표적이다. 실제 광원의 위치와 효과에 따라 데이터를 실시간 처리하기에 가장 부담스러운 효과 중 하나로 손꼽힌다. 현재 엔비디아는 저해상도 광원 효과를 해상도에 맞춰 확대하고 그 과정에서 발생하는 왜곡현상(노이즈)을 인공지능으로 보완하는 형태로 활용하고 있다.

PC 게이밍에서 인공지능을 활용한 게이밍 그래픽 가속은 데스크톱 뿐만 아니라, 상대적으로 성능을 끌어내기 어려운 노트북 환경에서 큰 도움을 준다. 하드웨어 자체의 성능이 뛰어나지 않더라도 적절한 게이밍 경험 구현이 가능하기 때문이다. 따라서 차세대 그래픽 처리장치는 인공지능 관련 기술을 더욱 강화할 것으로 예상된다.

그렇다면 일찍 인공지능 가속을 지원하는 신경망 연산장치(NPU – Neural network Processing Unit)를 집적해 온 스마트 기기는 어떤 상태일까? 아쉽게도 현재 게임 그래픽 가속에 인공지능을 적극 활용하는 수준은 아니다. 퀄컴의 2세대 스냅드래곤8에 와서 광선추적 기술을 지원했고, 3세대도 마찬가지다. 가속 기능은 갖췄지만, 적극 지원하는 게임 또는 콘텐츠는 없는 상태다.

지난해 애플이 공개한 아이폰 15 프로 이상 제품에 쓰인 A17 프로 칩은 A16 바이오닉 칩과 비교해 4배 이상 빠른 광선추적 가속을 지원한다. 6 코어로 구성된 그래픽 처리장치와 16 코어 신경망 엔진은을 조합해 광원 처리 성능을 높였다. 애플은 지난 발표에서 소프트웨어 기반으로 광선추적을 진행하면 초당 8 프레임으로 느리지만, 하드웨어 가속을 쓰면 30 프레임으로 한결 부드러워짐을 강조했다.

광선추적 처리 속도의 향상과 함께 콘텐츠 또한 하나 둘 추가되고 있다. 안드로이드 진영과 달리 애플 진영에 먼저 콘텐츠가 합류하는 모습이다. 우선 콘솔과 PC 등으로 출시된 바 있는 데스 스트랜딩 감독판이 출시됐고, 바이오해저드 빌리지와 RE4도 출시된 상태다. 두 게임의 첫 출시는 다르겠지만, 일정 수준의 광선추적 기능이 접목되어 있는 것으로 알려져 있다.

데스크톱, 노트북과 달리 모바일 기기에 탑재되는 처리장치는 크기와 전력소모 등의 이유로 성능 구현에 제약이 따른다. 이를 인공지능 가속으로 극복함으로써 사용자에게 최적의 경험을 제공하는데 주력하는 모습이다. 모바일 칩은 스마트폰, 태블릿 외에도 복합현실(XR) 장비에도 일부 쓰이고 있어 현장감 높은 메타버스 환경을 구축하는데 도움이 될 것으로 예상된다.

글 / IT동아 강형석 (redbk@itdonga.com)