[위클리_피지컬AI] “움직임 데이터 통합 연산”으로 로봇 행동 혁신 시도 외

[IT동아 강형석 기자] 생성형 인공지능(AI)이 세상을 바꿨다면, 피지컬 AI(실물 인공지능)는 세상을 뒤흔들 것으로 전망된다. 생성형 AI는 온라인상에서 원하는 결과물을 얻고 창의적인 활동을 가능케 하지만, 피지컬 AI는 산업현장부터 일상환경, 재해극복까지 사람이 하기 어려운 영역을 폭넓게 풀어낼 잠재력을 지녔기 때문이다. 현재 전 세계 기술 기업들이 피지컬 AI 경쟁에 뛰어들었고, 기술 개발도 활발하게 이어진다. [위클리_피지컬AI]는 지난 한 주간 주목받은 기술 기업 소식과 연구 성과를 다루고자 한다.

휴머노이드 기업 피규어 AI, AI 클라우드 기업과 협업을 선언한 이유

2026년 9월 3일, 풀스택(소프트웨어·하드웨어 전방위 지원 구조) 인공지능(AI) 클라우드 인프라 플랫폼 기업 엔스케일(Nscale)과 미국 휴머노이드 개발사 피규어 AI(Figure AI)가 전략적 파트너십을 공식 체결하고 대규모 지분 투자 계획을 밝혔다.

이번 협력에는 엔비디아 AI 가속기, 베라 루빈(NVIDIA Vera Rubin) 플랫폼 기반 그래픽 처리장치(GPU) 최대 10만 대를 배치하는 대규모 계약이 포함된다. 1차 물량은 2027년 하반기 미국 텍사스주 바스토우 데이터센터에 구축될 예정이다. 처음 약정된 컴퓨팅 공급 규모만 35억 달러(약 4조 7000억 원)에 달하며, 두 기업은 이를 향후 60억 달러 이상으로 확대할 계획이다.

엔스케일은 피규어 AI의 로봇 파운데이션 모델인 헬릭스(Helix)의 신경망 훈련과 로봇 제어 연산을 전담한다. 3차원 물리 공간에서 발생하는 마찰력, 중력, 관성, 다양한 재질 간 상호작용 데이터를 연속적인 시계열 벡터로 처리해야 하는 만큼, 고성능 컴퓨팅 연산력은 필수 조건이다. 엔스케일 클라우드에서 베라 루빈 GPU로 피지컬 AI 데이터를 학습시키고, 아이작 심(Isaac Sim) 가상 로봇 테스트 환경에서 검증한 뒤, 피규어 휴머노이드에 즉시 배포하는 구조가 완성될 것으로 예상된다.

엔스케일은 AI 데이터센터 공급망 관리와 물류 처리 현장에 피규어 AI의 휴머노이드를 투입하는 방안까지 검토할 방침이다. 이 계획이 구체화되면 인프라 공급자가 동시에 로봇 수요처로 기능하는 새로운 모델을 보여주는 사례가 될 전망이다.

AI 데이터센터 인프라 기업과 휴머노이드 기업의 협업은 피지컬 AI 주도권 경쟁이 기술 개발에서 대규모 연산 역량으로 확대됐음을 의미한다. 향후 여러 피지컬 AI 기업이 대형 클라우드 기업과 협업하거나 투자를 유치하는 방식으로 역량을 키워나갈 가능성도 열렸다.

휴머노이드 플랫폼 양산 선언한 샤오펑

2026년 9월 7일, 중국 전기차 기업 샤오펑(XPENG)은 휴머노이드 플랫폼 아이언(IRON)의 양산을 시작한다고 발표했다. 아이언은 자체 동력으로 물건을 옮기고 부품을 조립하는 등, 상업 현장에 맞춰 개발된 휴머노이드다. 전신 움직임을 위해 액추에이터(관절 구동용 모터) 76개를 달았고, 손에도 21개 액추에이터를 적용해 자연스러운 손동작 구현에 집중했다.

아이언은 지능과 기계적 완성도를 높이기 위한 기술도 다수 적용했다. 샤오펑이 자체 개발한 튜링(Turing) AI 칩 3기를 탑재해 합산 2250 TOPS(초당 1조 회 AI 연산)의 성능을 확보했다. 이를 바탕으로 물리 파운데이션 모델을 온보드에서 직접 구동, 클라우드 의존도와 지연시간을 낮췄다. 동적이고 정형화되지 않은 공간에서 실시간으로 장애물을 피하는 전신 회피 기능, 충전소를 자동으로 찾아 전원 커넥터를 꽂고 빼며 미세한 정렬 오차까지 스스로 보정하는 자율 충전 기능도 갖췄다. 자체 개발한 멀티모달 거대언어모델을 얹어, 얼굴 12개까지 기억하고 중국어와 영어를 넘나드는 대화 기능도 구현했다.

샤오펑은 아이언 개발을 위해 로보틱스 사업부와 자율주행 데이터 조직을 통합했다. 새 조직은 우선 수백만 km에 달하는 고속도로 주행 데이터를 활용해, 시각·언어·행동(VLA) 구조를 아이언의 공간 추론 능력으로 재활용하는 '데이터 플라이휠' 구축에 착수해 데이터 정제에 집중했다.

샤오펑의 이러한 행보는 테슬라를 겨냥한 것이라는 시각이 지배적이다. 두 기업 모두 전기차 생태계를 구축하는 동시에 자체 연산칩을 개발하고, 엔드-투-엔드(처음부터 끝까지 자체 개발하는 구조) 파운데이션 모델로 휴머노이드 상용화를 추진한다는 점에서 닮았다. 하지만 테슬라는 아직 옵티머스 상용화를 이루지 못했다. 그런 이유로 샤오펑의 아이언 상용화 발표는 휴머노이드 기술력 우위를 과시하려는 의도로 읽힌다.

샤오펑은 아이언을 우선 자사 매장과 사내 캠퍼스에 배치해 고객 안내, 제품 시연, 순찰 업무를 맡길 계획이다. 외부 고객 인도는 2027년부터 이뤄질 예정이다.

움직임 자체를 한 번에 연산해 사람처럼 길을 찾는 ‘탱고’

휴머노이드가 사람을 돕는 데 필요한 능력 중 하나는 복잡한 3차원 환경에서 지시를 따라 이동하는 것이다. 바퀴 달린 로봇이나 이동형 장비와 달리 휴머노이드는 관절을 활용해 움직이기 때문이다. 복잡한 실내 공간을 통과하는 데 중요한 부분은 의도한 경로뿐 아니라, 팔과 몸통, 다리가 주변 지형과 충돌 없이 움직이는지에 달렸다. 그 결과, 계획 단계에서는 문제없어 보이던 동작이라도 실제 몸을 가진 휴머노이드에게는 실행 불가능한 경우가 생긴다.

미국 UC버클리와 중국 베이징대학교, 칭화대학교, 홍콩대학교, 미국 프린스턴대학교 소속 연구진은 이 문제를 해결하기 위해 '탱고(Tango)'를 제안한다. 탱고는 전신 시각·언어·행동(VLA) 모델을 활용해, 복잡한 환경 안에서도 휴머노이드가 자유롭게 이동할 수 있는 내비게이션 역할을 맡는다. 자연어 지시와 1인칭 시점 RGB(빨강·초록·파랑) 관측만으로 29 관절 공간 행동을 예측하는 구조다.

기존 시각·언어 내비게이션(VLN) 연구는 대체로 내비게이션을 고차원 의사결정으로 치환해, 시각 관측과 언어 지시로부터 2차원 경로점이나 이산적 행동을 예측하는 데 그쳤다. 이동형 플랫폼에는 효과적이지만, 저차원 행동 공간으로는 내비게이션 결정과 전신 실행 가능성 사이의 관계를 명시적으로 표현할 수 없어 공간적 제약이 큰 통과 상황을 다루는 데 한계가 따랐다. 최근 등장한 휴머노이드 파운데이션 모델이나 전신 VLA 시스템 역시 내비게이션을 고차원 이동 명령으로 표현해 하위 제어기에 넘기는 방식을 택해 왔다. 이 역시 내비게이션 도중 전신 통과 가능성을 명시적으로 추론하는 데는 한계가 있었다는 게 연구팀의 진단이다.

탱고가 해결한 첫 번째 난제는 데이터였다. 의미상 다양한 과제와 물리적으로 타당한 전신 통과 행동을 동시에 담은 대규모 학습 데이터를 확보하는 일이 관건이었다. 연구팀은 이를 위해 계획·편집·추적(Plan, Edit, Track)이라는 완전 자동화 시뮬레이션 구조를 개발했다.

먼저 VLNVerse와 SAGE-3D에서 각각 263개, 1000개 장면을 가져와 제미나이(Gemini) 2.5 플래시로 저품질 장면을 걸러낸 뒤, 205개와 373개, 총 578개 장면을 확보했다. 여기에 좁은 통로를 만드는 측면 장애물, 발을 넘겨야 하는 지면 장애물, 상반신 여유 공간을 강제하는 상부 장애물 등을 SO(3) 변환으로 자동 배치해 환경을 증강했다.

뼈대(아키텍처)는 크게 세 요소로 구성된다. 시각·언어 백본(시스템2), 실시간 청킹(AI 데이터 처리를 위한 전처리 과정)을 적용한 멀티모달 디퓨전 트랜스포머(MM-DiT) 행동 전문가(시스템1), 그리고 기성 모션 트래커(시스템0)다. 탱고는 이 셋을 결합한 삼중 시스템 구조를 채택했으며, 내비게이션 사전학습을 마친 InternVLA-N1 가중치로 웜스타트(잔여 데이터로 재시작하는 기술)한 큐원 2.5VL-7B로 구현했다는 게 연구진의 설명이다.

이 외에 장시간 영상 기록을 관리하기 위해 예산 인지형 토큰 샘플링(BATS)을 적용했다. 시스템1은 플로우매칭(생성 속도와 품질을 높이는 AI 구조) 기반 MM-DiT로 미래 전신 참조 청크를 예측한다. 학습 시점 실시간 청킹(RTC)을 적용해 오프라인 학습과 온라인 스트리밍 실행 사이의 간극을 좁혔다는 점이 눈에 띈다. 생성된 청크는 소닉 트래커(시스템0)로 전달돼 로봇 고유 감각과 대조하며 고빈도 관절 명령으로 변환된다.

연구팀은 탱고가 상용화 가능한 '전신 대형 계획 모델'을 향한 의미 있는 발걸음이라고 자평하면서도, 한계 역시 뒤따른다는 점을 짚었다. 예를 들어 저수준 트래커의 성능은 계단을 오르는 것과 같은 동작으로 확장하는 데 제약이 따른다. 순수 RGB 입력에만 의존하는 시각 체계 역시 복잡하거나 시각적으로 모호하거나 조명이 어두운 환경을 완전히 이해하는 데 어려움을 겪는다. 심도 카메라나 라이다가 이 문제를 보완할 대안으로 꼽힌다. 그럼에도 탱고는 그루트(GR00T), 파이제로(Pi0), 홀바디VLA(WholeBodyVLA)처럼 상체와 하체 데이터를 따로 처리하는 기존 방식과 달리, 행동 전체를 한 번에 예측하는 방식이 유효하다는 것을 입증했다. 이런 점에서 탱고는 향후 로코매니퓰레이션(전신 통합 제어) 파운데이션 모델 전반에 영향을 미칠 것으로 전망된다.

IT동아 강형석 기자 (redbk@itdonga.com)