망고부스트, SC26서 日 프리퍼드 네트웍스와 맞손··· '국경 없는 이기종컴퓨팅 협력'
[IT동아 남시현 기자] 현지시간으로 지난 11월 15일부터 오는 20일까지 미국 일리노이 주 시카고 매코믹 플레이스에서 세계 최대 규모의 슈퍼컴퓨터 및 AI 인프라 관련 콘퍼런스 ‘SC26(The International Conference for High Performance Computing, Networking, Storage, and Analysis)’가 개최된다. SC26은 고성능 컴퓨팅(HPC), 슈퍼컴퓨터, AI 인프라, 네트워크 및 스토리지 관련 기업 및 연구기관이 참여하는 국제 행사로 올해는 AI 추론 인프라, 메모리 확장 기술, GPU 자원 활용과 관련된 고도화된 컴퓨팅 기술들이 대거 선보인다. 참여 기업 및 기관은 총 589곳이며, 약 2만 2000여 명의 연구자 및 기업 관계자가 참석 예정이다.

우리나라에서는 삼성전자와 SK하이닉스 이외에도 퓨리오사AI, 리벨리온, 망고부스트, 모레, 래블업, 파네시아가 전시 부스를 운영한다. 하이퍼엑셀, 엑시나, 파두, 쿨마이크로, 세미파이브, 슈퍼게이트까지 국내 반도체 기업 6곳이 AI 반도체 코리아 공동관으로 참여한다. 국내 주요 연구로는 SK하이닉스, 서강대, 모레가 연구 성과를 발표하며, KISTI(한국과학기술정보연구원) ETRI(한국전자통신연구원), GIST(광주과학기술원), 중앙대·버지니아 연구팀도 성과를 발표한다.

주요 관전 포인트로는 ▲ 국산 AI 가속기의 랙 단위 전시 ▲ HBM을 넘어 CXL 등 차세대 메모리 중심의 AI 인프라 전환 ▲ 이기종 추론 소프트웨어 등이 있다. 기업 면면으로는 퓨리오사AI가 RNGD 및 RNGD NXT를 선보이며, 리벨리온은 리벨 100 및 리벨랙(RebelRack) 기반의 서버용 인프라를 선보인다. 하이퍼엑셀은 베르다 LPU 8개를 연결한 서버 시스템을, 디노티시아는 VDPU(벡터 데이터 처리 장치) 기반의 벡터 검색 시연을 전시한다.
소프트웨어 측면에서는 래블업이 백엔드닷에이아이(Backend.AI)의 슬럼 프론트앤드 연동과 보안 환경을 위한 콘피덴셜AI(Confidential AI )를 선보이며, 모레는 AMD·엔비디아 GPU를 혼합해 서비스하고 제조사 간 KV 캐시를 전달하는 MoAI를 시연한다. 인터커넥트 및 저장장치 프로세싱 관련으로는 파네시아가 PCIe 6.4·CXL 3.2 퓨전 스위치를 전시하고, 엑시나는 CXL 3.2 기반 연산 메모리 MX1을 활용한 아파치 스파크 쿼리를 MX1 연산과 연동하는 XFLARE 시연 및 관련 솔루션을 소개한다.
망고부스트, 일본 AI 기업 ‘프리퍼드 네트웍스’와 협력 발표

올해 SC26에서 주목할만한 협력 소식을 발표한 기업은 망고부스트다. 망고부스트는 AI 인프라 풀스택 최적화 전문 기업으로 AMD GPU 기반의 서버 인프라 및 소프트웨어, 이를 기반으로 한 추론 서비스 ‘망고인퍼런스’까지 AI 인프라 전반을 다루는 기술 기업이다. 이번에 맞손을 잡은 프리퍼드 네트웍스는 국내에서는 잘 알려져 있지 않으나 자체 아키텍처로 구축한 ‘MN-코어’ 기반의 AI 가속기와 대형언어모델 ‘PLaMo’를 동시에 개발 중이다. 지난 10월에는 캐나다의 AI 가속기 기업 텐스토렌트와 일본 신에너지·산업기술종합개발기구(NEDO)의 광전융합 AI 프로세서 공동 개발도 시작했다.
양사 올해 SC26에서 이기종 컴퓨팅 기반의 고효율 AI 추론 시스템의 공동 검증에 나선다. 현재 망고부스트의 주력 분야인 AMD GPU 등과 프리퍼드 네트웍스의 MN-코어 기반 AI 프로세서, 그리고 망고부스트의 데이터 프로세싱 유닛(DPU) 기반의 데이터 처리 및 네트워킹 기술, KV 캐시 풀링 스토리지, 프리필 및 디코드 분리, 솔루션을 결합한다. 두 기업은 협력을 통해 AI 토큰팩토리의 기술적 현 가능성을 검증한다는 계획이다.

프리퍼드 네트웍스가 독자적으로 개발중인 ‘MN-코어’는 학습 및 HPC용 프로세서다. MN-코어는 네트워크 제어, 캐시 컨트롤러, 명령 스케줄러 등 일반 하드웨어 기능은 제외하고 칩 면적을 순수 연산 유닛으로 채우는 방식을 채택했다. 이러한 설계를 통해 높은 전력 효율을 확보했으며 슈퍼컴퓨터 에너지 효율 순위인 Green500에서 MN-코어 기반의 MN-3가 여러 차례 1위를 기록하기도 했다.
다만 2024년 출시된 2세대 제품인 MN-코어 2의 TF16 연산 성능은 393 TFLOPS(테라플롭스)로 AMD 인스팅트 MI355X의 2500 TFLOPS, 엔비디아 루빈 GPU의 4000 TFLOPS에 비해 크게 떨어지며, 메모리 용량도 루빈 대비 18배나 차이난다. 저전력 학습 용도로는 무난하겠으나 엔비디아 GPU에 학습 및 추론을 모두 맡기거나, 이기종 컴퓨팅으로 외부 AI 가속기를 추론 용도로 돌리는 향후 AI 인프라 환경에 대응하기는 어렵다. 이에 프리퍼드 네트웍스는 기존 MN-Core의 저전력 연산 구조를 계승하면서 메모리 대역폭과 용량을 확대한 추론 전용 MN-Core L 시리즈를 개발하고 있다.

이번에 SC26에서 선보이는 MN-코어 L1000은 생성형 AI 추론 전용 프로세서다. 메모리를 연산 장치 위에 수직으로 쌓아올리는 3D D램 방식으로 제조돼 데이터 전송 대역 속도를 기존 MN-코어 2 대비 메모리 대역폭을 기존 대비 최대 50배인 초당 25.6TB로 크게 끌어올리는 것이 목표다. 구체적인 성능 등은 확인되지 않지만 빠른 메모리 대역폭을 앞세워 추론 용도로도 대응하자는 것이 계획이다.
망고부스트는 입력 프롬프트를 처리하는 프리필 단계에서는 GPU를 활용하고, 토큰을 생성하는 디코드 단계에서는 MN-코어 기반의 제품을 사용하는 이기종 추론 아키텍처 구상에 나선다. 망고부스트는 DPU 기반 처리 기술, KV 캐시 최적화 솔루션을 통해 다른 컴퓨팅 자원 간의 데이터 전송, KV 캐시의 저장 및 이동, 재사용 최적화도 적용할 계획이다. 시뮬레이션 환경에서 실현 가능성이 확보되면 향후 MN-코어 L1000 하드웨어를 확보해 하드웨어 기반 성능 검증에도 나선다.
한편 프리퍼드 네트웍스는 내년 중 L1000의 저전력 버전인 L1100과 고성능 버전인 L1400도 함께 출시하고, 세미파이브와 함께 MN-코어 L1000에서 메모리 대역폭을 두 배가량 높인 L2000를 내년 1분기 중 테이프아웃 한다는 예정이다.
프리퍼드 네트웍스는 실증 확보, 망고부스트는 영향력 확대 의의

이번 협력은 망고부스트가 기존에 확보한 이기종 GPU 자원 풀링과 분산형 AI 추론 기술을 독자 아키텍처의 AI 프로세서까지 확대한다는 점에서 의미가 있다. 망고부스트는 2025년 MLPerf 추론 v5.1에서 AMD MI300X와 MI325X를 하나의 추론 시스템으로 구성한 데 이어, 2026년 v6.0에서는 한국과 미국에 분산된 MI300X·MI325X·MI355X를 통합 운영했다. 이후 v6.1에서는 망고부스트와 마이크로소프트 애저, 텐서웨이브, 델 테크놀로지스 등 4개 사업자의 데이터센터에 배치된 GPU 32개를 하나의 LLMBoost 서빙 풀로 구성했다. 이는 서로 다른 지역과 세대의 GPU에 AI 추론 요청을 분산하고, 개별 시스템의 컴퓨팅 자원을 통합적으로 활용할 수 있음을 보여준 사례다.
망고부스트는 이러한 분산 추론 기술을 뒷받침하기 위해 LLMBoost의 추론 요청 분산 및 스케줄링, 프리필·디코드 분리, DPU 기반 데이터 이동 가속과 KV 캐시 계층 최적화 기술을 개발하고 있다. 특히 GPU의 고대역폭메모리(HBM)에 저장되는 KV 캐시를 시스템 메모리와 SSD, 네트워크 연결 스토리지 등 G3.5·G4 계층으로 확장하고, 데이터 전송 및 관리 과정에서 발생하는 CPU 부담을 DPU로 분산하는 것이 핵심이다.

프리퍼드 네트웍스와의 협력에서는 이를 GPU와 MN-Core L1000 사이의 KV 캐시 전달 및 재사용에 적용하고, 연산 집약적인 프리필은 GPU가, 메모리 대역폭에 민감한 디코드는 MN-Core가 담당하는 시스템을 검증할 계획이다. 기술 검증에 성공한다면 망고부스트는 기존 GPU 중심의 분산 추론 환경을 서로 다른 제조사의 AI 가속기까지 확장하고, 메모리·네트워크·스토리지 자원을 통합하는 이기종 AI 인프라 기술의 적용 범위를 넓힐 수 있을 전망이다.
김장우 망고부스트 대표는 “차세대 AI 추론 인프라의 경쟁력은 단순히 더 많은 컴퓨팅 자원을 확보하는 게 아니라 서로 다른 프로세서와 메모리, 저장장치 자원을 얼마나 효율적으로 연결하고 최적화하는가에 달렸다”라면서 “프리퍼드 네트웍스와의 협력은 망고부스트의 DPU 및 풀스택 AI 인프라 최적화 기술을 이기종 컴퓨팅 환경으로 확장하는 중요한 계기가 될 것”이라고 말했다. “앞으로 글로벌 기술 파트너와의 협력을 강화하고, 더 효율적이고 확장 가능한 AI 토큰 팩토리 아키텍처의 가능성을 검증해나갈 것”이라고도 덧붙였다.
IT동아 남시현 기자 (sh@itdonga.com)

