퓨리오사AI, 이스트소프트와 NPU 교육을 구축하는 배경은?

[IT동아 남시현 기자] 엔비디아의 GPGPU 활용 플랫폼인 쿠다(CUDA)가 출시된 지 올해로 19년 차다. GPGPU는 게이밍 그래픽 생성 용도인 GPU(그래픽 처리 장치)의 연산 처리 성능을 CPU의 연산에도 쓰는 기능이며, 이를 활용하기 위한 소프트웨어 플랫폼이 쿠다다. 엔비디아가 2006년 처음 쿠다를 공개한 후 한동안은 조명을 받지 못했으나, 2012년 알렉스넷이 딥러닝의 시대를 열면서 주목을 받는다. 이어서 2016년 구글 딥마인드, 2023년 챗GPT 등장 등을 계기로 GPU는 인공지능(이하 AI) 개발 생태계의 표준이자 대세로 자리 잡았다.

한편 AI 활용도가 높아지며 모델을 개발하는 과정인 훈련(Training)과 더불어 모델을 실행하는 과정인 추론(Inference)의 중요도가 높아지고 있다. 기존의 GPGPU 활용 AI 개발 방식은 부동소수점 연산 처리에 최적화된 GPU를 대량으로 연결해 모델을 학습했다. 그러다 보니 AI 개발에 집중하는 기업들이 경쟁적으로 GPU를 구매하고, 수요 공급에 따라 가격도 크게 올랐다. 이 때문에 추론 과정은 고가의 GPU 대신 전력 효율 및 활용도를 최적화한 신경망 처리장치(NPU)를 도입하는 사례가 늘고 있다.

표준 생태계 없는 NPU, 제조사 별 맞춤 교육 필요해

문제는 엔비디아 쿠다는 20여 년에 걸쳐 표준으로 인정받지만, NPU는 표준 생태계라고 할 만한 게 없다. 각 AI 반도체 제조사마다 지원하는 명령어 세트와 데이터 흐름 등이 다 다르다. 인텔은 오픈비노를 통해 NPU 개발 환경을 제공하며, AMD 역시 라이젠 AI 소프트웨어를 위한 전용 분석 도구 및 최적화 도구를 배포한다. 퀄컴은 헥사곤 NPU SDK(소프트웨어 개발 도구)를 배포하고, Arm도 에소스-U NPU에 최적화된 에소스-U 벨라(Vela) 컴파일러를 제공한다.

NPU 전문 제조사 중 퓨리오사AI 역시 커널 드라이버 및 펌웨어, 런타임 및 C언어용 SDK, 파이썬용 SDK가 모두 포함된 형태로 SDK가 제공되며, 딥엑스도 컴파일러(DX-COM)과 런타임 소프트웨어(DX-RT)로 구축된 딥엑스 SDK DXNN을 제공한다. 특정 추론 환경이 있을 때, 해당 조건에 적절한 반도체 기업을 고르고 그때그때 필요한 모델을 만드는 방식에 가깝다.

각 기업별로 제공되는 소프트웨어 및 개발 도구가 다 다르다 보니 기존 GPU 개발 환경과 다른 NPU 전문 교육 과정이 운영된다. 기본적으로 GPU 교육이 병렬 컴퓨팅을 통한 학습 분산과 배치 최적화 기술 등에 중점을 두는 반면, NPU는 성능에 제약이 있는 장치에서 가능한 효율적으로 추론을 처리하기 위해 모델의 크기를 조정하거나 계산 복잡성을 줄이는 모델 압축 기술, 실시간 애플리케이션 동작 시 지연을 최소화하는 전략 등을 교육한다.

국내에서도 주목할만한 NPU 교육 커리큘럼이 나온다. AI 서비스 전문 기업 이스트소프트는 지난 3월 31일, AI 반도체 분야 인재 양성을 목적으로 퓨리오사AI와 교육 사업 공동 추진을 위한 업무협약을 체결했다. 교육생들은 퓨리오사AI의 워보이 NPU를 활용해 인프라, 콘텐츠, 플랫폼, 기술 특강 등을 진행하며, 모델 하드웨어 적용을 위한 경량화와 성능 검증 등을 학습하게 된다. 퓨리오사AI는 이외에도 엘리스그룹, 가천대학교 등과도 NPU 교육 커리큘럼을 운영 중이다.

NPU 전문 교육 사례는 해외에서도 점차 늘고 있다. 교육 전문 플랫폼 마인드러스터도 최근 NPU 및 인텔 오픈비노 강의를 제공하기 시작했고, 마이크로소프트도 NPU 관련 개요를 제공한다. Arm 역시 에소스-U NPU용 온라인 리소스를 제공하고, NXP는 웨비나 및 실습을 포함한 AI, 머신러닝 교육 아카데미를 운영 중이다.

AI 반도체 설계부터 접근하는 해외 시장, 한국도 따라가야

GPU 시장이 성숙기에 접어든 반면, NPU는 이제 막 시작하는 시장이다. 아직은 기존 반도체 산업 종사자가 NPU를 개발하고 AI 모델을 만드는 게 기본이지만, 앞으로는 대학에서부터 AI 반도체 전문 인력이 등장할 예정이다. 미국 캘리포니아 주립 풀러턴 대학이나 애리조나 주립대가 AI 칩 설계 과정을 운영하며, 메릴랜드 모건 주립대학교와 존스홉킨스 대학교도 AI 반도체 및 마이크로 전자공학 교육을 진행한다. 우리나라도 ‘산학연계 인공지능 반도체 선도기술 인재양성’ 등으로 AI 반도체대학원이 들어설 예정이다. 빠르면 몇 년 안에 이들이 AI 반도체 전문가로 활동할 것이다.

따라서 NPU 전문 교육 시장도 AI 시장 확산에 발맞춰 성장할 전망이다. 특히 각 사 NPU마다 교육 과정이 다르기 때문에 다양한 NPU 기업 맞춤형 교육이 등장할 것이다. NPU는 값비싼 GPU를 대신해 사물인터넷 및 센서는 물론 스마트 시티, 자율주행, 데이터 센터 등에 더욱 폭넓게 사용될 예정이다. 앞으로 추론의 비중이 높아질수록 더 많은 교육과 서비스가 등장할 것이다.

IT동아 남시현 기자 (sh@itdonga.com)