망고부스트, '망고 인퍼런스' 정식 출시··· DPU 넘어 AI 팩토리로 도전장

[IT동아 남시현 기자]

"네오클라우드, 클라우드 서비스 제공자(CSP)의 사업 모델은 하드웨어를 운용하고, 이를 임대해주는 것에서 수익을 낸다. 매출은 나오지만 가격대 성능비를 확보하기 어렵고 GPU 가격이 오르면 서비스 비용도 오를 수밖에 없는 구조다. 망고부스트는 하드웨어 뿐만 아니라 네트워크, GPU, 소프트웨어, 시스템까지 모두 직접 만드는 시스템 비즈니스 기업이다. 네오클라우드 기업과는 분명히 구분해주시길 바란다"

AI 인프라 기업 망고부스트가 지난 10월 12일, 그랜드 인터컨티넨탈 서울 파르나스에서 첫 기자간담회를 개최하고 망고부스트의 새로운 비즈니스 모델인 ‘망고 인퍼런스’를 소개했다. 김장우 대표는 처음부터 망고부스트가 네오클라우드 사업을 시작하는 것이 아닌 AI 팩토리 기업으로 본 궤도에 오른 것이라는 점을 분명히했다.

망고 인퍼런스는 망고부스트가 AMD 인스팅트 GPU를 기반으로 AI 추론 서비스를 제공해주는 전용 서비스며 망고부스트가 GPU와 스토리지, 네트워크, 소프트웨어 등 핵심 시스템을 직접 구성하는 것이 특징이다. 이번 발표를 시작으로 망고부스트의 사업은 DPU(데이터 프로세싱 유닛) 중심에서 AI 인프라 시장 전반으로 확장된다.

IT동아는 망고부스트 간담회에 앞서 김장우 망고부스트 대표, 권동업 망고부스트 최고기술책임자와 별도로 만나 핵심인 ‘망고 인퍼런스’는 물론 AI 인프라 시장의 흐름과 시장성에 대한 시각, MLPerf를 비롯한 기술적 특징과 AMD와의 협업 관계 등을 놓고 대담을 나눠봤다.

망고부스트, 네오클라우드 아닌 ‘AI 팩토리’ 기업

이날 기자간담회를 관통하는 핵심 주제는 망고부스트의 새로운 추론 서비스 사업인 ‘망고 인퍼런스’다. 망고 인퍼런스는 복잡한 인프라 구축 및 구성 없이 서버리스 형태로 AI 모델을 이용할 수 있도록 돕는 AI 서비스다. 망고부스트는 지난 7월부터 시범운영에 돌입했고 10월 12일부로 정식 서비스를 시작했으며, 서버리스와 전용 방식의 추론 서비스를 제공한다. 사용자는 별도 설정 없이 바로 모델을 지정해서 활용하거나, 전용 서비스 환경에서는 추론 사용량 확인 및 관리, 토큰 분석 등을 진행할 수 있다. 흥미로운 점은 이 과정이 엔비디아 GPU가 아닌 AMD 인스팅트 GPU로 운용된다는 것이다.

처음 건넨 질문은 ‘왜 지금 AMD GPU 기반 추론 비즈니스인가’였다. AI 인프라 시장의 중심은 단연 엔비디아 GPU며 수많은 네오클라우드가 GPU 확보와 가격대 성능비 확보를 두고 경쟁 중이다. 심지어 올해 초 AWS와 구글은 자체 AI 반도체를 외부에 위탁 판매하는 방안을 검토 중이라고 언급했고, 엔비디아 역시 지난 8월 ‘네비우스’를 통해 그록 3 LPX를 배치하겠다는 계획을 언급한 상황이다.

시장 전반은 엔비디아 GPU 기반이 주축이고, 여기에 자체 가속기가 조금씩 영역을 넓혀가는 와중에 AMD 하드웨어로 시장에 도전장을 내민 것이다. 망고부스트가 점유율이 낮은 하드웨어를 기반으로 추론 사업에 나선 이유는 무엇일까?

김장우 대표는 “시장에서 실제 서비스 되는 하드웨어는 GPU밖에 없다. 신경망 처리 장치(NPU)를 비롯한 새로운 AI 가속기는 가격대 성능비, 소프트웨어 등에서 더 개선되어야 한다. 그렇다보니 업계 전반이 GPU만 구매하고 수요가 몰리며 가격이 비싸진다. 성능을 고려해도 과도하게 비싸고, 결국 이것은 서비스 가격 상승으로 이어진다”라면서 “망고부스트는 DPU로 시작했으나 하드웨어, 소프트웨어까지 모두 만들 수 있는 기술력을 갖추고 있다. AMD GPU가 점유율은 부족하지만 가격대 성능비 확보 면에서는 매우 유리하다. 네오클라우드가 GPU 임대 사업이라면 우리는 애플처럼 제품 하나의 모든 요소를 만드는 완제품 사업자라서 AMD GPU로 효율성을 해결해보자 한다”라고 말했다.

다만 AMD 인스팅트 GPU의 점유율이 낮은 것은 엔비디아 GPU 대비 가상화 및 운영 복잡성, 세대별 파티셔닝, 드라이버 제약 등 생태계의 규모의 경제가 작은 것에 따른 단점에서 기인한다. 특히나 최근에는 메모리 점유율은 높은데 GPU 사용량은 낮은 특수한 조건 등이 생겨나며 운영 복잡성은 훨씬 높아지고 있다. 망고부스트 역시 이 문제에서는 자유로울 수 없을 터. 망고부스트는 이 문제에 대해 어떻게 해결하고, 또 AMD GPU를 기반으로 실제 추론 처리량은 얼마나 개선되는지를 질문했다.

권동업 CTO는 “추론, 서빙 소프트웨어의 가장 큰 문제점은 GPU 클러스터를 하나의 컴퓨터로 운용해야 한다는 점인데, 정작 요구되는 각 기능들은 서로 다른 오픈소스로 관리된다는 점이다. 스케줄 관리는 SGLang, 작업 요청은 LLM-D을 쓰는 식인데 합이 잘 맞는다는 보장이 없다. 또한 대화 및 문맥 크기가 커지면서 전체 실행 시간과 부하도 커지고 있다. 그래서 최근엔 토큰의 98%까지 재사용되는 경우도 있고, GPU가 재연산을 하지 않고 메모리 계층에서 기존 연산을 가져오는 식으로 효율화한다. 이 과정에서 여러 계층의 저장장치를 깊게 지원해야하는데, 우리가 DPU를 통해 이런 데이터 흐름을 가속화하는 방안을 제시하고 있다.

vLLM, SGLang LLM-D 등의 오픈소스 생태계도 최근에는 입력 처리(Prefill)과 출력 생성(Decode)를 분리하고, KV 캐시 계층화와 추론 자원 최적화 등의 기술이 반영되고 있다. AMD ROCm 역시 vLLM, SGLang과 직접 협업해 관련 기술을 정식 지원하고 있는 상황이다보니 LLM부스트의 추론 최적화가 독창적이라고 보기는 어렵다. 이와 관련해 독자적인 최적화 기술과 경쟁 우위는 무엇인지 질문했다.

권동업 CTO는 “GPU 클러스터를 구성하고 있는 구성 요소는 서로 다르고, 이걸 전체 단위에서 최적화 하려면 모든 구성요소에서 각각의 병목을 이해하고 취합해야 한다. 우리는 하드웨어를 다루다보니 AMD GPU, DPU, 소프트웨어가 각각 시너지를 낼 수 있도록 맞춰서 내놓는다. 최근 LLM 발전 속도가 굉장히 빠른데 이 속도에 발맞추는 것만으로도 경쟁력이다. 아마 AMD GPU의 모든 세대를 최적으로 지원하는 것은 우리가 유일할 것”이라고 말했다.

발표에서는 ▲ 성능 ▲ 효율 ▲ 데이터 주권 세 가지를 차별점으로 꼽았다. 망고부스트가 자체적으로 AMD 인스팅트 MI355X와 LLM부스트, MI355X와 SGLang 및 vLLM, 엔비디아 B300 및 SGLang/vLLM을 조합해 LLM 토큰 출력 성능을 비교한 결과, GLM-5.3은 최대 2.8배의 처리량 향상과 지연 시간 4.3배 단축, 딥시크-V4-Pro도 2.6배 처리량과 지연 시간 3.5배 단축 등의 성능을 달성했다. AI게이트웨이에서 30일 평균 입력지연 성능을 비교한 결과에서도 여러 참여 기업 중 2위일 정도로 성능을 확보한 상황이다.

효율 측면에서는 고대역폭 메모리와 노드 DRAM 풀링, 스토리지 세 계층으로 보관 용량을 확장하고, KV 캐시 위치와 GPU 부하를 동시에 고려해 최적화해 중복 연산을 줄이고 추론 효율을 높인다. 그 결과 KV 캐시 보존 시간이 최대 1시간으로 매우 긴 편이고, 작업 재개 시 캐시를 그대로 사용해 재호출에 따른 비용을 절감할 수 있다. 또한 데이터 주권 측면에서도 국내에 데이터 서버를 둔 점, 국내법과 통제력, 서비스 중단 대비 등을 모두 준수하고 있다.

권동업 CTO는 “7월 시범 운영 기간 동안 한국과 미국, 일본의 약 10개 기업에서 150여 명의 인원이 참여해 모델의 서빙 성능, 안정성, 가격 등 실제 상용화를 위한 준비를 많이 했고 내부적으로 반응이 좋았다. 사용 기업들은 현재 대다수가 유료 이용을 검토 중인 만큼 실제 서비스가 시작되면 더 많은 고객들이 몰릴 것”이라고 말했다.

이기종 컴퓨팅 환경, 더 나아가 대륙간 데이터센터를 꿈꾸다

한편 망고부스트는 DPU를 기반으로 이기종 컴퓨팅 환경은 물론 대륙간 연동되는 추론 환경까지 구상 중이다. 망고부스트는 지난 2026년 4월, 미국에 배치된 MI355X와 한국에 배치된 MI300X, MI325X를 대륙간으로 연결하는 최초의 멀티리전 MLPerf 클러스터를 구축했고, 대륙에 걸쳐 메타 Llama 2 70B를 95.5% 효율로 운용하는 데 성공했다.

올해 9월 제출한 MLPerf 추론 v6.1은 망고부스트, 마이크로소프트, 텐서웨이브, 델 테크놀로지스가 보유한 32개의 GPU를 2개 대륙에 걸쳐 단일 추론 환경으로 구축한 뒤 gpt-oss-120B를 97% 효율로 처리하는데 성공했다. 이는 MLPerf에 제출된 멀티 리전 클러스터 중 가장 큰 규모다. 이것이 실제 고객 환경에서도 가능할지 질문했다.

김장우 대표는 “MLPerf와 인퍼런스X 제출로 소프트웨어 성능은 입증했다. 엔비디아, AMD 등 다른 기업들도 제출 결과를 직접 검증했으나 문제가 없었다. 개별 NPU 기업이라면 해내기 힘든 작업이지만 망고부스트는 제품을 넘어서 시스템을 만드는 조직이어서 가능한 결과다”라면서 “우리가 제출하는 테스트는 고객에게 증명 가능한 최종 결과물이어서 실제 추론 환경에서도 유효하다. 오픈라우터 등 토큰 수요처를 통해 우리가 구성한 토큰을 생성하고 제공하면 된다”라고 설명했다.

이를 실현하기 위해 망고부스트는 최근 1MW 데이터센터 구축을 끝냈고, 강남구 도산대로 일대에 5MW급 데이터센터 구축을 진행 중이다. 김장우 대표는 “지난 4년 간 낸 매출은 DPU 개발에 따른 부가 작업이었고, 시스템 기업으로서의 본격적인 행보로 보기는 어렵다. 1MW 데이터센터를 시작으로 앞으로 본격적인 매출 확보가 시작되고, 시리즈 B 투자를 바탕으로 스케일업(규모 확장)도 추진할 예정이다”라면서 “올해 중으로 시리즈 B 투자를 마치는 것이 목표고, 향후에는 미국에도 데이터센터를 구축할 예정이다. AMD도 우리의 행보를 주목하며 최우선 파트너로서 협력 중”이라고 덧붙였다.

“세상에서 제일 멋있는 일, 그걸 하고싶은 사람들이 모여있다”

망고 인퍼런스는 망고부스트가 그린 로드맵의 시작점이다. 그리고 그에 앞서 작년부터 AI 서버, 인프라, 소프트웨어, 스토리지까지 IT 시스템 전반으로 사업의 궤를 넓혀왔다. 이와 관련해 내부 구성원들에게 요구되는 기술적 전문성과 협업의 수준은 더 높아질텐데 앞으로 어떤 마음가짐으로 사업을 이끌어나갈 것인지 생각을 물었다.

권동업 CTO는 “사업의 규모를 확장하는 것도 중요하지만 기술적인 해자를 만드는 것이 더 우선순위가 높다. 최근 대기업, IT 기업들 중 기술적인 해자를 얘기하는 기업은 많지 않고 금융이나 규모의 경제를 더 우선시한다. 하지만 앞으로 3년 안에 얼마나 효율적으로 운용하는지, 차별화된 기술을 갖췄는지가 더 중요해질 것이라고 본다. 1MW, 5MW로 시작해 데이터센터 규모를 더욱 키우는 것은 물론 주어진 재료와 동료들과 함께 기술적인 차별점을 달성해 보이겠다”라고 말했다.

김장우 대표는 “망고부스트는 세상에서 가장 멋있는 일을 하고 있고, 그것을 하고 싶어하는 사람들이 모인 기업이다. 첫 창업 당시에 시장에 바로 나갈 수 있었던 것이 DPU였기에 DPU로 사업을 시작했지만 정확히는 컴퓨터 시스템을 만드는 것이 우리의 본업이다. 소프트웨어와 하드웨어, 네트워크를 아우르는 모든 부분을 개발하는 시스템 비즈니스를 하고싶었던 것이다. 이제 부품을 넘어서 제품 전반과 솔루션, 서비스까지 얹었으니 전 세계가 인정할 수 있도록 발전시키는 일만 남았다”라고 말했다.

이어서 “이를 실현하기 위해 지난 5년 간 최고의 전문가들이 합류했고, 미국에도 30여 명 규모의 엔지니어링 조직이 상주하며 AI 최적화, 운영체제, 반도체 설계까지 모두 진행 중이다. 모든 망고부스트 임직원들에게 업계 최고라는 자부심을 환기시키고 싶고, 결과로써 이를 증명하겠다. 우리는 시장에 변명할 필요가 없고 잘 만들었기 때문에 그대로 나가서 성공할 것이다. 시스템 전체를 만드는 일이 무엇인지 세상에 보여주겠다”라고 말했다.

IT동아 남시현 기자 (sh@itdonga.com)