AWS, AI 적용해 세이지메이커 효율 강화 나서 [AWS 리인벤트 2023]
[라스베이거스=IT동아]
전 세계 최대 규모의 클라우드 행사인 AWS 리인벤트(AWS Re:Invent)에서 아마존의 통합 관리형 인공지능 플랫폼인 ‘세이지메이커’의 주요 업데이트와 벡터 엔진 서비스를 위한 새로운 기능 등이 발표됐다. 이번 발표는 스와미 시바수브라마니안 AWS 데이터 및 AI 부문 부사장의 기조연설을 통해 공개되었으며, AWS 서비스에 대한 인공지능(AI) 내재화가 더욱 강화될 것으로 보인다.
스와미 시바수브라마니안 박사는 “AI는 데이터 기반 체계를 더욱 강화한다. 이를 위한 모든 서비스는 무겁고 어렵지만, AWS가 노력할수록 데이터는 더욱 가치 있게 활용할 수 있게 된다. AWS는 데이터 전략에 AI를 곳곳에 배치하고, 생성형 AI를 강화할 것”이라며 주요 전략을 발표했다.
기계학습 플랫폼 ‘세이지메이커’, 서비스에 AI 대거 배치
키노트의 전반부가 생성형 AI 시장 진출 및 기술 소개에 할당했다면, 후반부는 AWS의 통합 기계학습 구축 플랫폼인 세이지메이커의 기능 강화 및 새로운 AWS 서비스 소개에 시간을 썼다. 특히 생성형 AI만큼 기계학습의 중요성이 높아지는 상황이어서 세이지메이커의 업그레이드도 주목을 받았다.
이번에 공개된 업데이트 사안은 ▲ 세이지메이커 하이퍼포드(HyperPod) ▲ 세이지메이커 인퍼런스(추론) ▲세이지메이커 클리어리파이(Clarify) ▲ 세이지메이커 캔버스(Canvas)의 새 기능들이다.
세이지메이커 하이퍼포드는 대규모 분산 학습을 위해 특별히 구축된 인프라를 제공해 기초 모델 교육 시간을 최대 40%까지 줄인다. 많은 조직에서 GPU 등을 기반으로 자체 모델을 학습하는 것을 선호하지만, 모델 학습에 필요한 데이터 양이나 규모, 소요 시간등을 고려하면 인프라 투입에 신중해야 한다. 하이퍼포드는 모델 훈련을 위한 기계학습 인프라 구축 및 최적화 작업 중 무거운 작업을 제거하는 방식으로 훈련 시간을 40%까지 줄인다. 또한 작업 제거에 따른 오류 가능성을 고려해 정기적으로 체크포인트를 저장해 학습 연결성을 보장한다.
세이지메이커 인퍼런스는 기계학습을 제작, 배포할 때 발생하는 시간 지연 등의 원인을 세이지메이커가 추론하여 최적화하는 기능이다. 기계학습을 사용할 때 필연적으로 하드웨어 자원을 비효율적으로 사용하게 되는데, 사용 데이터에 대한 패턴을 조정하여 배포 비용을 평균 50%까지 절감할 수 있다. 또한 추론 지연 시간도 평균 20% 줄어든다.
세이지메이커 클리어리티는 고객이 지정한 매개변수를 활용해 특정 사용 사례에 가장 적합한 모델을 제공하도록 돕는다. 사용자는 자신의 모델을 직접 지정하거나 세이지메이커 점프스타트에서 가져올 수 있고, 세이지메이커 스튜디오에서 콘텐츠 요약 등의 작업을 수행한다, 또 평가가 끝나면 자체 보고서를 생성해 필요한 최상의 모델을 비교 분석하며 찾을 수 있다.
마지막으로 세이지메이커 캔버스는 시각적 인터페이스를 활용해 기계학습 지식이 없는 사용자도 자연어 지침으로 데이터를 준비할 수 있도록 한다. 사용자는 간단한 질의응답으로 데이터 누락 등을 해결할 수 있고, 작업 방식을 단순화하여 더 빠르게 기계학습 과정을 생성할 수 있다.
AWS, 자사 서비스에 AI 도입에 적극적
이외에도 오픈 서치 서버리스, 고속 메모리 환경을 위한 레디스(Redis)용 메모리 DB, 아마존의 관리형 데이터베이스 제품인 아마존 넵튠의 데이터 분석을 최대 80배까지 빠르게 처리하는 아마존 넵튠 애널리틱스, 데이터의 보안 및 복제 등으로 자료 구조를 고도화하는 아마존 다이나모DB 및 아마존 도큐먼트DB와 같은 벡터 엔진용 서비스가 일괄 공개됐다.
덧붙여 아마존 오픈 서치 서비스 중 아마존 S3에 대한 제로-ETL(추출, 전환, 적재) 인테그레이션 지원, 기계학습 모델을 데이터 공유 없이 제공할 수 있는 AWS 클린 룸 ML, 아마존 레드시프트용 생성형 SQL 기능, 아마존 Q를 데이터 파이프라인에서 자연어로 사용하는 AWS 글루(Glue) 등 AWS의 시장 지배력을 강화할 수 있는 다양한 서비스들도 함께 공개됐다.
글 / IT동아 남시현 (sh@itdonga.com)
