AWS, 생성형 AI 베드록·새 AI 반도체로 '초가속'한다 [AWS 리인벤트 2023]

[라스베이거스=IT동아]

아담 셀립스키(Adam Selipsky) AWS 최고경영자가 11월 28일(현지시각) AWS 리인벤트에서 AWS의 핵심 전략에 대한 기조연설을 진행했다. AWS 리인벤트는 올해로 12회를 맞이한 세계 최대 규모의 클라우드 행사로, 미국 네바다주 라스베이거스 일대에서 진행된다. 리인벤트 2023은 전 세계의 클라우드 개발자 및 고객사, 미디어 등 5만 여 명 이상이 참여했으며, 한국에서도 삼성 및 LG CNS, 카카오페이증권, 한국타이어, 포스코홀딩스, KB금융그룹 등 주요 고객 기업이 행사에 참가한다.

아담 셀립스키는 2005년 AWS에 입사해 11년간 영업, 마케팅 등 지원 분야에서 부사장까지 올랐다가 2016년 데이터 시각화 기업 태블로 최고경영자로 자리를 옮겼다. 재임 중 그는 태블로의 가치를 네 배나 올렸고, 최종적으로 세일즈포스에 인수시킴으로써 몸값을 높였다. 이러한 공로를 바탕으로 2021년에는 다시 AWS 최고경영자로 돌아와 사업을 이끌어가고 있다.

AWS, 차세대 반도체로 AI 성능 강화 나서

AWS 리인벤트 2023 키노트를 관통하는 핵심 주제는 단연 ‘생성형 AI’이며, 큰 틀에서 하드웨어와 소프트웨어로 각각 나뉘었다. 하드웨어 측면에서는 아마존의 자체 개발 반도체인 AWS 그라비톤 4(Graviton 4)와 AWS 트레이니엄 2(Trainium 2)의 등장이다. 그라비톤 4는 아마존의 서버용 프로세서로, 4세대 모델은 3세대 대비 30% 향상된 컴퓨팅 성능과 50% 더 많은 코어, 75%의 더 높은 메모리 대역폭을 제공해 아마존 EC2 기반 작업에서의 성능과 에너지 효율성을 동시에 만족한다.

아담 셀립스키 AWS CEO는 “이미 5만 개의 고객사가 그라비톤 4를 사용하고 있다. SAP의 경우 그라비톤을 활용해 비용은 35% 줄이고, 탄소 발자국은 45%까지 줄인 상황”이라고 부연 설명했다.

트레이니엄은 AWS의 기계학습 맞춤형 설계 칩이며, 생성형 AI 구축에 필수적인 장치다. 새로운 2세대 칩은 1세대보다 4배 빠른 학습 성능을 제공하며, 10만 개 칩으로 구성된 EC2 울트라클러스터에 배포할 수 있어 기반 모델(파운데이션 모델)과 대형 언어 모델(LLM)도 한 번에 교육할 수 있다.

젠슨 황 엔비디아 CEO 깜짝 등장해 협력 관계 밝혀

인공지능으로 최고의 주가를 올리고 있는 엔비디아의 젠슨 황 CEO도 깜짝 등장했다. AWS는 클라우드 기업 최초로 엔비디아 GH200 그레이스 호퍼 슈퍼칩을 도입하며, 32개 엮은 GH200 NVL32 다중 노드 플랫폼 형태로 사용한다. 젠슨 황 엔비디아 CEO는 “AWS와 엔비디아 모두 에너지 소모가 적은 Arm 프로세서를 선호하는데, GH200의 혁신적인 방법이 도움이 될 것이다. GH200은 초당 1TB의 내부 대역폭을 갖춰 CPU와 GPU가 메모리를 공유하고, 이것이 AWS 나이트로에서 하나의 큰 가상 GPU 인스턴스가 될 것”이라고 설명했다.

아울러 내년 2분기 출시하는 엔비디아 H200 GPU도 도입한다. H200은 전작인 H100보다 1.4배 용량이 더 큰 141GB HBM3e 메모리를 탑재하고, 성능은 1.8배가량 더 빠르다. H200은 AWS 나이트로를 통해 최대 3200Gbps의 EFA(엘라스틱 패브릭 어댑터, 아마존 EC2 인스턴스용 네트워크 인터페이스) P5e 인스턴스로 제공돼 AWS 고객이 더 빠르게 AI 모델을 구축, 학습 및 배포할 수 있다.

아마존 베드록, 그리고 새로운 ‘아마존 Q’ AI

아담 셀립스키 CEO는 “현재 1만 개 이상의 기업들이 아마존 베드록을 사용하고 있다. 배드록은 개발자가 더 빨리 생성형 AI를 사용하고 데이터를 다룰 수 있도록 돕는다”라면서, “하지만 한 모델을 모든 환경에 사용할 수는 없다. 그래서 AWS가 이 모든 것을 할 수 있도록 서비스를 제공한다”라며 설명을 시작했다.

키노트를 통해 새로 공개된 내용은 베드록 파인 튜닝, 검색 증강 생성(RAG), 지속되는 사전 훈련 기능, 베드락 에이전트, 아마존 베드록 가드레일 기능 등이다. 파인 튜닝은 인공지능 모델이 더 잘 동작하도록 미세 조정하는 과정인데, 캐나다 코히어(Cohere) 커맨드 라이트, 메타 라마2(Llama 2), 아마존 타이탄 텍스트 라이트 및 익스프레스를 곧바로 베드록에서 파인튜닝할 수 있다.

검색 증강 생성은 외부 정보로 생성형 AI 모델의 정확성과 신뢰성을 향상하는 기술이다. 경량화된 AI 모델이나 LLM 업그레이드 내역 등을 가져와서 베드록의 성능을 끌어올릴 수 있다. 지속가능한 사전 훈련 모델의 경우 특정 작업을 수행하기 위해 대규모로 사전에 심화학습을 적용해 놓은 것을 의미하며, 필요한 상황에 맞춤형 데이터를 더 빨리 내놓을 수 있게 된다.

아울러 배드록에서 다중 작업을 처리할 때 회사 시스템 혹은 데이터 소스에서 바로 자료를 가져오는 아마존 베드록 에이전트, 책임감 있는 AI 정책을 기반으로 AI가 구동되도록 하는 아마존 베드록 가드레일 기능 등이 함께 공개됐다. 전반적으로 아마존 베드록의 품질과 성능, 완성도를 한층 더 끌어올리는 데 집중하는 모양이다.

아마존 Q로 비즈니스 시장용 AI도 노린다

여기서 더 주목을 끈 기능은 아마존 Q다. 아마존 Q는 비즈니스에 곧바로 적용할 수 있는 생성형 AI 모델이다. 특히 파운데이션 모델 대신 AWS가 17년 간 확보한 데이터나 회사가 보유한 데이터 등을 40개 이상의 내장 커넥터로 사용할 수 있어 개발자가 안전하게 개발할 수 있다. 즉 외부 LLM을 사용할 때 발생할 수 있는 다양한 문제들을 비교적 안전하게 해결하고, 더 정확하게 정보를 제공하는 챗봇이다.

실제 현장에서는 회사에서 제공하는 전문 지식으로 데이터베이스를 구축하고, 답을 제공할 때 관련성 있는 답변을 빠르게 제공할 수 있다. 특히 보안이나 개인정보 보호 측면에서도 해답이 될 수 있다. AWS는 코드 휘스퍼러같은 AI 기반 서비스나 슬랙처럼 편리하게 사용될 것이라 보고 있다.

이외에도 AWS는 자주 사용하는 데이터를 최고 성능과 최저 지연으로 제공하는 새로운 스토리지 클래스인 아마존 S3 익스프레스 원 존, 아마존 레드시프트 상에서 데이터 파이프라인을 구축할 필요 없이 최소로 통합하는 제로-ETL(추출, 전환 적재) 지원, 아마존 오로라 포스트그레SQL, 아마존 RDS MySQL, 아마존 다이나모DB, 자동으로 자주 사용하는 데이터를 미리 할당하는 아마존 데이터존 AI 추천 등을 연이어 소개했다.

AWS, 생성형 AI에 집중 투자·엔비디아 밀월에 주목

올해 리인벤트 2023의 핵심은 생성형 AI로 시작했는데, 그 비중이 생각했던 것 이상이다. 하드웨어와 소프트웨어, AWS의 생성형AI인 베드록까지 2시간가량의 발표를 거의 다 생성형 AI의 활용도와 완성도를 높였다는 부분에 시간을 할애했다. 경쟁사인 구글과 마이크로소프트 역시 전폭적인 투자를 하고 있기 때문에 AWS 역시 급에 맞는 투자와 업그레이드를 반영하는 것이다.

특히나 생성형 AI를 추론 및 학습을 위한 인프라스트럭쳐, 대형 언어모델과 기반 모델을 위한 도구, 기반 모델을 위한 애플리케이션까지 여러 계층에 나눠 체계적으로 서비스를 구축하고 있는 점은 몇 년에 걸쳐 클라우드 시장 점유율을 내어주고 있는 AWS의 절치부심을 엿볼 수 있는 대목이다. AWS는 생성형 AI를 다시 한번 시장을 주도하기 위한 무기로 내세웠는데, 칼날이 잘 들지는 이제 시장에서 판단할 차례다.

아담 셀립스키는 “AWS는 불가능한 것을 현실로 만들고 있다. 우리는 너무나 새로운 세계를 만들고 있다”라면서, “우리는 여러분들이 원하는 것들을 더 만들고, 상상하지 않은 것들을 미리 준비하고, 이를 해결하기 위해 꾸준히 도전할 것이다”라고 말했다. 마지막에는 “모든 리인벤트는 여러분들의 것”이라고도 덧붙였다.

글 / IT동아 남시현 (sh@itdonga.com)