AMD, 에이전틱 AI 시대 맞춘 '에픽 베니스 CPU·헬리온' 핵심 소개

[IT동아 남시현 기자] AMD가 지난 11월 5일부터 6일 양일간 미국 네바다 주 라스베이거스에서 열린 ‘AMD IN DEPTH’에서 AMD의 새로운 6세대 에픽 CPU 코드명 ‘베니스’의 핵심 정보와 이를 기반으로 한 랙 단위 AI 인프라 ‘헬리온’의 주요 정보를 소개했다. 기조연설은 댄 맥나마라(Dan McNamara) AMD CEAI(Compute and Enterprise AI) 부문 수석 부사장 겸 총괄 책임자가 진행했으며, 라비 쿠푸스와미(Ravi Kuppuswamy) AMD 컴퓨트 및 엔터프라이즈 AI 솔루션 부문 부사장은 AMD 에픽 CPU의 주요 계층과 헬리온 랙의 포트폴리오 전반을 소개했다.

라비 쿠푸스와미(Ravi Kuppuswamy) 부사장은 “학습 시장의 규모는 변하지 않지만 추론 시장의 규모가 커지면서 이제 AI 작업의 60%가 추론에서 나오고 있다. AI 에이전트는 이제 AI 인프라 시장에서 가장 중요한 원동력이며, AMD는 이 요청에 맞춰 CPU를 설계하고 있다. 그렇다면 CPU가 기하급수적인 AI 에이전트의 처리량을 어떻게 감당할까요?”라며 발표를 시작했다.

이어서 “AI는 단일 워크로드가 아니며, 단일 CPU로 처리할 수 있는 수준도 아니다. 이를 실현하려면 다양한 CPU가 필요하며 기본적으로 게이트웨이부터 스트림 응답까지 총 8단계로 작업을 처리해야 한다. 이 작업은 단일 CPU만으로 처리하기 어렵고 AI 에이전트들이 반복적으로 수행하는 루프에 따른다. 이러한 지속적인 루프가 기하급수적인 컴퓨터 사용량의 증가로 이어진다”라고 설명했다.

AMD는 AI 에이전트의 작업을 ▲GPU 서버 호스트 ▲에이전트 CPU 서버 ▲범용 CPU 서버 세 단계로 나누고 각각 다른 특성을 가진 CPU를 배치해야 한다고 설명한다. GPU 서버는 추론 작업에 대응하므로 높은 CPU 동작 주파수와 높은 CPU와 GPU 간 대역폭을 가진 제품이 적합하다. 이 구성에는 AMD 베니스 HF 및 베라노 서버가 해당된다.

에이전트 CPU 서버는 AI가 대화를 불러오거나 도구를 호출하는 등의 작업을 반복 수행하는데 최적화하고, 그러면서 전력 소모대 에이전트 처리량을 최대한 높일 필요가 있다. 여기에는 256코어 구성의 베니스 서버를 활용하면 코어당 성능과 저전력 조건을 가져갈 수 있다고 설명한다. 마지막으로 범용 서버로는 성능, 코어 수, 전력 소비, 비용의 균형을 맞춘 베니스 SP7 및 SP8, 베니스-X 등 일반 CPU가 해당된다.

앞서 AI 학습이 대세인 시점에서 CPU는 GPU의 호출 작업을 수행하는 보조 장치에 가까웠지만, CPU가 AI 에이전트 작업을 조율하는 역할을 하면서 AMD 역시 목적에 맞춰 CPU를 설계하고 각 계층에 맞춰 인프라를 활용하는 것을 제안하는 것이다.

세부적인 성능 비교도 제시됐다. AMD가 제시한 GPU 호스트 구성 비교에서 5세대 에픽의 초당 토큰 처리량을 1로 놓았을 때, 6세대 인텔 제온은 약 0.9, 6세대 에픽은 약 1.6을 기록했다. 해당 조건에서 베니스의 처리량은 전작 대비 약 1.6배, 비교 대상 인텔 제온 대비 약 1.8배다. 엔비디아 베라 루빈 시스템과 에픽 베니스 및 인스팅트 GPU를 결합한 조건을 비교했을 때는 30%정도 비용대비 토큰 처리량이 높았다. 샌드박스 구성에서도 AMD 6세대 에픽은 5세대 에픽 대비 1.7배 높은 와트당 에이전트 실행 성능을 보여줬다. Arm AGI와 비교하면 2.83배 높다.

AMD, 헬리온처럼 서버·네트워크·소프트웨어 통합된 형태 강조

AMD는 AI 에이전트의 운용 규모가 커질수록 CPU가 아닌 시스템 전체로 대응해야 한다고 말한다. 앞서 AMD는 GPU 중심의 AI 가속 랙 플랫폼인 헬리오스 서버, 그리고 GPU 추론뿐만 아니라 대규모 CPU 서버도 지원하는 개방형 랙 인프라 ‘헬리온’도 각각 제시한 상황이다. 헬리온은 OEM, ODM 파트너사와 고객이 필요한 하드웨어 및 소프트웨어를 다양하게 조합할 수 있는 개방형 설계를 채택했다.

이에 따라대규모 모델 학습·추론에는 GPU 중심의 헬리오스를, 에이전트 실행에는 CPU 중심의 헬리온을 배치한다. 기업 환경에서는 헬리온에 CPU와 GPU를 함께 구성해 에이전트 실행과 로컬 추론을 처리할 수도 있다. 고성능을 추구하는 하이퍼스케일러의 경우 헬리오스와 헬리온을 각각 직접 수랭 방식으로 활용할 수 있으며, 일반 엔터프라이즈용 CPU 및 CPU/GPU 조합 사양은 공랭식으로도 지원한다.

헬리온 수랭식 구성은 48OU 규격에서 최대 3만 6864코어, 44OU에서는 최대 3만 2768코어를 집적한다. 공랭식 구성은 CPU 전력 설정에 따라 400W에서는 최대 1만 6384코어, 600W에서는 8192코어를 탑재한다. CPU와 GPU를 결합한 공랭식 추론 구성은 1만 2288코어와 최대 16개의 인스팅트 MI350P를 탑재하며, AMD가 제시한 FP4 연산 성능은 최대 74페타플롭스다.

라비 쿠푸스와미 부사장은 “랙의 하드웨어 성능도 중요하지만 진정한 활용도는 소프트웨어에서 나온다. AMD는 GPU 서버를 위한 ROCm 스택, ROCm 시큐어 에이전틱 툴킷, 그리고 소프트웨어 파트너사와 이를 검증하고 있다. 고객이 전체 솔루션을 실제로 활용할 수 있도록 하는 것이 목표”라고 말했다. AMD는 앞서 세 계층에 따라 GPU 호스트 서버는 ROCm을 활용한 GPU 연산 및 AI 모델 실행을 지원하고, ROCm 시큐어 에이전틱 툴킷은 에이전트 AI 서버에 호환되도록 했다. 기능 측면으로는 AI 에이전트의 실행 및 작업 흐름 관리, CPU 자원 배치, 외부 도구 실행 시 격리 환경 제공 등이 포함된다.

소프트웨어의 중요성으로는 신약 개발을 예시로 들었다. 신약 개발 과정은 질병 매커니즘을 연구하고, 후보 물질을 탐색한 뒤 임상시험을 진행한다. 이때 AI는 연구 분석 에이전트와 기술 계산 에이전트를 구동하고, 에이전틱 툴킷은 에이전트의 작업과 도구 실행을 관리, 모델 라우터는 정책과 비용 등의 조건에 따라 추론 요청을 로컬 또는 클라우드 모델로 전달한다. AMD는 향후 하이퍼스케일 환경에서 여러 개의 헬리온 랙과 GPU 인프라가 이런 소프트웨어 방식을 통해 연결되어야 한다고 제시했다.

AMD는 6세대 에픽 베니스를 시작으로 서버 CPU와 헬리온 플랫폼을 지속적으로 발전시킬 계획이다. 현재 출하 중인 베니스 SP7 플랫폼에 이어 2027년 상반기에는 SP8, 하반기에는 베니스-X와 저전력 서버용 베라노 플랫폼을 공급한다. 이후 2028년에는 젠 7 및 젠 7c 아키텍처 기반의 7세대 에픽 '플로렌스(Florence)', 2030년에는 젠 8 기반의 8세대 에픽 '라벤나(Ravenna)'를 선보일 예정이다. 헬리온 역시 2028년 2세대, 2030년 3세대 플랫폼으로 확장한다.

AMD가 이번 발표에서 강조한 것은 에이전트 AI 시대에 CPU가 담당하는 역할의 변화다. AI 모델의 학습과 추론에 GPU가 활용된다면, CPU는 에이전트의 실행 환경을 구성하고 작업을 조율하며 데이터와 서비스를 연결하는 역할을 담당한다. AMD는 이에 맞춰 CPU를 용도별로 세분화하고 랙과 소프트웨어까지 통합하는 전략을 제시했다. AI 인프라의 경쟁이 GPU의 연산 성능을 넘어 CPU의 처리 효율과 시스템 전체의 운용 효율로 확대되는 가운데, AMD가 제시한 에이전트 AI 전용 인프라가 실제 데이터센터 시장에서 얼마나 빠르게 확산할지 주목된다.

IT동아 남시현 기자 (sh@itdonga.com)