차세대 워크로드와 AI 구축 위한 AWS의 세 가지 인프라 서비스

[IT동아 강일용 기자] 아마존웹서비스(Amazon Web Services 이하 AWS)가 자사의 인프라 서비스(Iaas) 아마존 EC2를 위한 세 가지 새로운 인스턴스 서비스를 개시했다. 이를 통해 고객들은 자사 서비스 상황에 맞는 최적의 인프라를 구축할 수 있다.

A1 인스턴스: 확장형 워크로드용으로 맞춤 설계된 AWS 그래비톤(Graviton) 프로세서로 구동되는 서비스
P3dn GPU 인스턴스: 분산형 머신 러닝과 고성능컴퓨팅(HPC) 애플리케이션 구현용 서비스
C5n 인스턴스: 고급 컴퓨팅 집약적 워크로드를 실행하기 위한 향상된 네트워크 대역폭을 제공하는 서비스

새로운 P3dn GPU와 C5n 컴퓨팅 최적화 인스턴스는 100Gbps의 네트워킹 처리량을 제공하며, HPC와 머신 러닝 교육, 데이터 분석 등과 같은 분산형 워크로드의 확장을 지원한다.

AWS는 또한 두 가지 새로운 네트워킹 제품도 발표했다.

엘라스틱 패브릭 어댑터(Elastic Fabric Adapter, EFA): AWS의 탄력성과 확장성을 갖춘 온프레미스 HPC 클러스터의 성능을 제공하는 아마존 EC2 인스턴스용 네트워크 어댑터
AWS 글로벌 액셀러레이터(AWS Global Accelerator): 완전 관리형 서비스로, AWS의 글로벌 백본(backbone)과 엣지 로케이션(Edge Location)을 사용해 하나 이상의 AWS 리전(Region)에서 실행되는 애플리케이션의 가용성과 성능 향상

매트 가먼(Matt Garman) AWS 컴퓨트 서비스 부문 부사장은 “우리 고객들이 가장 빈번하게 요청하는 두 가지는 기본 워크로드 비용을 어떻게 절감할 수 있는지, 그리고 까다로운 확장형 HPC와 머신 러닝 워크로드를 클라우드에서 더욱 효율적으로 실행할 수 있는 방안은 무엇인지에 대한 것이다”며, “A1 인스턴스를 통해 고객들에게 컨테이너형 마이크로서비스와 같은 분산형 애플리케이션을 실행할 비용 최적화된 방안을 제공할 수 있게 됐다. A1 인스턴스는 AWS가 10여년 간 축적해 온 하이퍼스케일 클라우드 플랫폼 분야의 전문성을 활용하는 Arm 명령어 세트를 기반으로 맞춤 설계된 새로운 AWS 그래비톤 프로세서로 구동된다. 확장형 분산 워크로드를 위한 새로운 P3dn 인스턴스와 C5n 인스턴스는 100Gbps 네트워킹 성능을 제공해 분산형 머신 러닝 교육과 HPC를 가속화한다. 새로운 인스턴스 출시로 이미 업계에서 가장 강력하고 비용 효율적인 AWS의 컴퓨팅 플랫폼을 한층 확장시켜, 새로운 워크로드 요구사항을 충족할 수 있게 됐다”고 말했다.

A1 인스턴스

고객들은 클라우드에서 실행하는 워크로드 종류가 점차 다양해지면서 성능저하 없이 비용을 절감할 수 있는 솔루션을 찾고 있다. 범용 프로세서는 여전히 많은 워크로드에 큰 가치를 제공하고 있으나, 컨테이너형 마이크로서비스와 웹 티어(web tier) 애플리케이션과 같이 x86 명령어 세트를 사용하지 않는 새로운 확장형 워크로드는 애플리케이션의 계산 부하를 공유할 수 있는 한층 작고 현대적인 64비트 Arm 프로세서로 실행하면 추가적인 비용과 성능 이점을 얻을 수 있다. 새롭게 발표된 A1 인스턴스는 시스템 설계와 클라우드 인프라에서 AWS가 보유한 광범위한 전문성을 기반으로 맞춤 설계된 그래비톤 프로세서를 특징으로 하며, 사상 최초로 Arm 프로세서를 클라우드에 적용했다. 고객은 A1 인스턴스를 활용해 확장형 워크로드 실행 시 다른 범용 EC2 인스턴스 대비 최대 45%에 이르는 비용 절감 효과를 누릴 수 있다. A1 인스턴스는 아마존 리눅스 2(Amazon Linux 2), 레드햇(Red Hat), 우분투(Ubuntu)를 비롯한 일부 리눅스 배포와 아마존 EC2와 아마존 EKS 등의 컨테이너 서비스로 지원된다.

P3dn과 C5n 인스턴스

현재 많은 고객들이 클라우드에서 컴퓨팅 집약적인 워크로드를 실행하기 위해 AWS의 C5 인스턴스와 GPU 기반 P3 인스턴스로 전환하고 있다. 머신 러닝 교육부터 전산유체역학(CFD)과 기상 시뮬레이션 등의 HPC 애플리케이션 및 비디오 인코딩에 이르는 여러 워크로드는 강력한 프로세서와 고속 네트워킹이 주는 이점을 누릴 수 있다. AWS는 안전하고 확장 가능하며 탄력적인 방식으로 100Gbps의 네트워킹 성능을 제공하는 최초의 클라우드 서비스 제공 업체이다. 고객들은 표준 드라이버와 프로토콜을 사용해 이를 HPC 뿐만 아니라 분석, 머신 러닝, 빅 데이터, 데이터 레이크 워크로드에도 활용할 수 있다.

P3dn 인스턴스는 머신 러닝 교육을 위한 클라우드에서 가장 강력한 GPU 인스턴스다. P3 인스턴스는 이미 며칠이 소요되던 머신 러닝 모델 교육 시간을 단 몇 시간으로 단축할 수 있도록 지원하고 있다. 새로운 대형 P3dn 인스턴스가 제공하는 100Gbps 네트워킹 성능을 통해 여러 GPU 인스턴스로 머신 러닝 워크로드를 분산해 교육 시간을 1시간 미만으로 더욱 단축할 수 있게 됐다. 2017년 10월 P3 인스턴스가 출시된 후, 머신 러닝 채택이 확대되고 더욱 복잡한 애플리케이션을 처리하게 되면서 HPC에 대한 고객 수요가 꾸준히 증가했다. 새로운 P3dn 인스턴스는 기존 P3 인스턴스 대비 4배 향상된 네트워크 처리량을 지원하는 것이 특징이다. P3dn 인스턴스는 최대 100Gbps에 달하는 네트워킹 처리량, 빠른 NVMe 인스턴스 스토리지, 96개의 vCPU를 갖춘 커스텀 인텔 CPU, AVX512 명령어 지원, 각각 32GB 메모리를 갖춘 엔비디아 V100 GPU를 제공한다. 개발자들은 이를 활용해 다양한 인스턴스에서 모델 교육 성능을 수직 확장해 전처리 작업을 가속화하고 데이터 전송 병목 현상을 제거하며, 머신 러닝 모델의 품질을 신속히 개선할 수 있다.

C5n 인스턴스는 AWS의 컴퓨팅 집약적인 인스턴스 제품군에서 사용할 수 있는 최대 처리량 성능을 크게 향상시킨다. C5 인스턴스는 광범위한 워크로드 요구사항을 처리하는 25Gbps 네트워크 대역폭을 제공하지만, 고도로 분산된 HPC 애플리케이션은 더 높은 네트워크 성능이 주는 이점을 얻을 수 있다. C5n 인스턴스는 100Gbps 네트워크 대역폭을 제공하며, C5 인스턴스보다 4배 많은 처리량을 제공한다. C5n 인스턴스로 제공되는 이러한 성능 향상을 활용해 기존 네트워크 바운드 애플리케이션을 AWS에서 효과적으로 확장할 수 있다. 고객은 높은 네트워크 성능을 활용해 S3와의 데이터 전송을 가속화할 수 있어, 애플리케이션의 데이터 처리 대기 시간을 줄이고 결과 전달속도를 높일 수 있다.

지연시간이 낮은 엘라스틱 패브릭 어댑터

고객은 일반적으로 고정된 크기의 온프레미스 HPC 시스템을 사용한다. HPC 시스템은 자본 집약적이고 가격이 높기 때문에 기업은 용량을 낮춰 사용하는 경향을 보이며, 이로 인해 대기 시간이 길어지고 생산성이 저하되며, 실험이 제한되고 중요한 프로젝트 작업이 지연된다. 뿐만 아니라 고객은 다음 인프라 교체 주기가 올때까지 현재 사용 가능한 하드웨어 기능과 기술에 묶여 있게 되며, 개발자들은 다른 방법을 사용하기 보다 현재 인프라에 맞게 애플리케이션을 적용할 수밖에 없다. EFA(26일 프리뷰로 제공)는 HPC 애플리케이션 확장에 중요한 인스턴스 내부 커뮤니케이션 성능을 향상시켜 고객이 클라우드 내 온프레미스 HPC 클러스터에서 기대하는 성능을 얻을 수 있도록 지원하며, AWS의 탄력성과 확장성도 함께 제공된다. EFA는 메시지 패싱 인터페이스(MPI)와 통합돼 있어 수정없이 HPC 애플리케이션을 수만 개 CPU 코어로 확장할 수 있다. EFA는 아마존 EC2 P3dn과 C5n 인스턴스에서 사용할 수 있으며, 2019년 추가 EC2 인스턴스 유형에서도 사용할 수 있어 고객이 사전 계획 없이도 주문형 워크로드에 적합한 컴퓨팅 구성을 선택할 수 있는 유연성을 추가로 제공한다.

AWS 글로벌 액셀러레이터

고객이 더욱 크고 지리적으로 다양한 사용자에 맞게 확장할 수록, 더 나은 가용성과 향상된 성능이 필요하다. 이들 고객은 더 나은 성능을 위해 다양한 AWS 지역에 애플리케이션을 배포하지만, 이 말은 올바르고 건강한 애플리케이션 엔드포인트로 사용자를 라우팅해야 한다는 뜻이다. 또한, 애플리케이션 오류나 성능 테스트, 트래픽 급증 등에 따라 고유한 IP 주소를 가진 애플리케이션의 엔드포인트를 주기적으로 확장하거나 축소해야 한다. 애플리케이션을 확장할 때에는 애플리케이션에 연결된 모든 클라이언트를 업데이트 해야 하므로(주로 도메인 네임 서비스를 통해 이뤄짐), 이들 클라이언트가 새로운 엔드포인트를 발견하는데 걸리는 시간이 늘어난다. AWS 글로벌 액셀러레이터는 애플리케이션의 가용성과 성능을 향상시키며, 사용자의 인터넷 트래픽을 다양한 AWS 지역에서 실행되는 애플리케이션 엔드포인트로 쉽게 전환할 수 있도록 지원한다. 트래픽 혼잡이 발생하지 않는 AWS의 방대한 고가용성 글로벌 네트워크 백본과 엣지 로케이션을 사용해 사용자의 인터넷 트래픽을 애플리케이션 엔드포인트로 이전하며, 클라이언트는 지리적 위치와 애플리케이션 상태, 고객 구성이 가능한 라우팅 정책에 기반해 올바른 애플리케이션 엔드포인트로 이전된다. 또한, AWS 글로벌 액셀러레이터는 애플리케이션마다 고유한 정적 애니캐스트(Anycast) IP 주소 세트를 할당하며 변경하지 않아 애플리케이션 확장에 따르는 클라이언트 업데이트 필요성을 해소한다. 애플리케이션 엔드포인트는 지속적으로 모니터링되며, AWS 글로벌 액셀러레이터는 클라이언트 구성을 변경할 필요 없는 건강한 엔드포인트로만 클라이언트를 이전시킨다. AWS 글로벌 액셀러레이터는 현재 이용 가능하다.

글 / IT동아 강일용(zero@itdonga.com)