디노티시아, SC25서 VDPU 기반 FPGA로 'AI 반도체' 성능 알린다

[IT동아 남시현 기자] 장기기억 인공지능(AI) 및 반도체 통합 솔루션 전문기업 디노티시아가 현지시간으로 지난 11월 16일 개막해 21일까지 미국 미주리 주 세인트루이스에서 개최되는 세계 최대 슈퍼컴퓨팅 콘퍼런스 ‘SC25(Supercomputing 2025)’에 참가해 ‘VDPU(벡터 데이터베이스 프로세싱 유닛)의 상세 성능을 공개한다. VDPU는 숫자나 텍스트 등 정형 데이터뿐만 아니라 이미지나 오디오, 동영상 등 비정형 데이터까지 데이터베이스로 저장한 ‘벡터 데이터베이스’를 처리하는데 최적화된 시스템 반도체다.

디노티시아는 지난 9월 VDPU를 지식재산(IP) 형태로 시장에 처음 선보였으며, 이번 SC25에서 VDPU 기반 FPGA 시스템의 성능을 공개한다. 앞서 9월에 반도체의 설계도를 공개한 것이라면 이번에는 이를 기반으로 만든 시스템의 성능을 소개한다. FPGA는 프로그래밍 가능한 반도체 칩의 약자로 소프트웨어처럼 코드를 바꾸면 동작이 바뀌는 재구성 가능한 하드웨어다. 디노티시아 자체 테스트 결과 VDPU 카드 1장은 고성능 서버 CPU 최대 6개와 동등한 벡터 검색 성능을 발휘했으며, VDPU 4장을 장착한 단일 서버는 2소켓 CPU 서버 최대 9대를 대체할 수 있는 처리량을 선보였다.

VDPU가 고성능 서버 CPU의 성능을 상회하는 이유는 구조 자체가 벡터 데이터베이스 처리에 최적화되어 있어서다. 벡터 데이터베이스는 비정형 데이터를 고차원 숫자 배열로 구성한 구조라서 기존 CPU로 처리할 순 있지만 작업 효율이 매우 떨어진다. 반면 VDPU는 이를 전용으로 처리하도록 설계된 반도체라 훨씬 효율적으로 데이터를 처리한다.

디노티시아는 최근 빅테크 기업들이 완전 관리형 RAG(검색 증강 생성)를 도입하는 것과 관련해 VDPU의 역할이 커질 것으로 본다. 구글은 지난 11월 6일, 제미나이 API 내에 파일 서치 툴이라는 이름의 완전 관리형 RAG 기능을 추가했다. 오픈AI는 이미 올해 3월에 파일 서치 툴과 벡터 스토어를 도입했다. 기존에 벡터 DB를 활용할 경우 개발자가 문서를 업로드한 뒤 벡터 DB 형태로 가공한 다음 저장한다. 이후 다시 찾을때 벡터 검색을 위해 유사도 검색 등을 적용하면서 구조적으로 복잡하고 개발 효율도 떨어졌다.

그런데 최근 빅테크 및 클라우드 기업들이 완전 관리형 RAG을 적용하면서 AI가 기존처럼 키워드 매칭 방식이 아닌 문맥을 이해하며 찾도록 진화하고 있다. 현재 구현되는 빅테크 기업의 완전 관리형 RAG는 벡터 생성, 유사도 계산, 탐색 등을 CPU가 소프트웨어로 처리하는 방식인데, VDPU를 도입하면 하드웨어가 직접 연산을 수행하므로 대규모 벡터 검색 시 지연시간과 전력 소모를 모두 줄일 수 있다.

디노티시아는 지난 SC24에서도 고성능 벡터 데이터베이스 ‘씨홀스(Seahorse)’와 세계 유일의 벡터 연산 전용 가속 반도체 VDPU의 개발 계획을 공개했었고, 올해 그 후속으로 FPGA 기반 제품 성능 결과로 제품의 상용 가능성을 시장에 입증했다. 또한 올해부터 오픈AI와 구글 모두 벡터 DB 검색을 지원하는 ‘파일 서치 툴’ 기능을 제공하기 시작하며 벡터 DB를 직접 다루는 수요 역시 늘어날 전망이다.

디노티시아는 내년 하반기 중 주문형 반도체(ASIC) 기반 VDPU를 공개할 계획이다. ASIC 버전은 더 큰 메모리 용량과 향상된 전력 효율을 통해 AI 데이터센터의 스토리지 시스템에서 벡터 DB 검색 용도에 쓰이는 CPU의 대체재가 될 수 있다.

정무경 디노티시아 대표는 “미래에는 사람이 디렉터리를 옮겨 다니며 파일을 찾는 일은 사라지고, AI가 필요한 데이터를 정확히 찾아주며 그 데이터를 기반으로 새로운 데이터를 생성해 줄 것”이라며 “이를 위해 AI 스토리지 시스템이 필요하고, VDPU는 대규모 AI 스토리지의 핵심 반도체가 될 것”이라고 말했다.

IT동아 남시현 기자 (sh@itdonga.com)