자체 AI 반도체로 AI 인프라 역량 강화나선 아마존
[IT동아 강일용 기자] 아마존웹서비스(Amazon Web Services, 이하 AWS)가 개발자들에 한층 강화된 머신러닝 역량을 제공하도록 머신러닝 스택 내 모든 계층에서 사용가능한 새로운 머신러닝 기능 및 서비스 13종을 발표했다.
AWS는 개발자들이 보다 쉽게 저비용 자동 데이터 라벨링 및 강화 학습(RL)을 포함한 머신러닝 모델을 구축, 교육 및 배포할 수 있는 아마존 세이지메이커(Amazon SageMaker)의 새로운 기능을 소개했다. 머신러닝 교육 및 추론 속도를 높이는 한편, 비용은 절감할 수 있는 새로운 서비스와 프레임 기능 향상, 커스텀 칩도 공개했다. AWS는 가상 문서에서 텍스트를 추출하고, 의료 정보를 판독하며, 아마존이 사용하는 것과 동일한 기술에 기반해 개인별 맞춤 서비스와 추천, 예측을 제공하는 새로운 인공지능(AI) 서비스를 발표했다. 뿐만 아니라 강화 학습을 통해 개발자들이 1/18 크기의 자율주행 모델 자동차 경주용 차량인 AWS 딥레이서(AWS DeepRacer)로 머신러닝을 시작할 수 있는 기능도 제공한다.
이번 발표로 AWS는 지난 12개월간 중요한 머신러닝 기능 200여개를 선보여 온 활발한 머신러닝 혁신 행보를 이어간다. 어도비(Adobe), BMW, 캐세이 퍼시픽(Cathay Pacific), 다우 존스(Dow Jones), 익스피디아(Expedia), F1(Formula 1), GE 헬스케어(GE Healthcare), HERE, 인튜이트(Intuit), 존슨앤존슨(Johnson & Johnson), 기아자동차(Kia Motors), 라이온브릿지(Lionbridge), 메이저리그 베이스볼(Major League Baseball), NASA 제트추진연구소(JPL), 폴리티코(Politico.eu), 라이언에어(Ryanair), 셸(Shell), 틴더(Tinder), 국제연합(United Nations), 보나지(Vonage), 세계 은행(World Bank), 질로우(Zillow) 등의 고객들은 이러한 새로운 기능과 서비스를 사용 중이다. AWS의 새로운 머신러닝 서비스에 대한 자세한 내용은 https://aws.amazon.com/machine-learning 에서 확인할 수 있다.
아마존 머신러닝 부사장 스와미 시바수브라마니언(Swami Sivasubramanian)은 “우리는 규모나 예산, 경험, 기술 수준에 관계없이 모든 고객이 머신러닝을 활용할 수 있도록 지원하고자 한다”며 “오늘 발표된 기능과 서비스는 머신러닝 교육과 추론 비용을 절감하고, 개발자들이 클라우드와 에지에서 머신러닝 모델을 쉽게 구축, 교육 및 배포하며, 아마존의 다년간 경험에 기반한 새로운 AI 서비스를 제공해 성공적인 머신러닝을 가로막는 중요한 장벽을 제거한다”고 말했다.
더욱 빠른 교육과 저비용 추론 위한 새로운 커스텀 머신러닝 칩
대부분의 기계 학습 모델은 많은 양의 데이터에서 패턴을 찾는 알고리즘을 활용해 교육한다. 이 모델은 ‘추론’이라고 불리는 과정에서 새로운 데이터에 대한 예측을 할 수 있다. 개발자는 머신러닝 프레임워크를 사용해 이러한 알고리즘을 정의하고, 모델을 교육시키며 예측을 추론한다. 개발자들은 프레임워크(예: 텐서플로(TensorFlow), 아파치 MXNet(Apache MXNet), 파이토치(PyTorch))를 활용해 정교한 모델을 설계하고 교육시킬 수 있으며, 교육 시간을 줄이기 위해 주로 여러 GPU를 사용한다. 대다수 개발자들은 일상 작업에 이들 프레임워크 중 하나를 사용한다. 오늘 AWS는 이렇게 일반적으로 사용되는 프레임워크로 머신러닝을 구축하는 개발자들을 위해 교육과 추론 작업 성능을 향상시키고 비용을 절감시킬 수 있는 기능 향상을 발표했다.
새로운 아마존 EC2 GPU 인스턴스: 엔비디아 V100 GPU 8r개, 32GB GPU 메모리, 빠른 NVMe 스토리지, 인텔 ‘스카이레이크(Skylake)’ vCPU 96개와 100Gbps 네트워킹을 갖춘 새로운 P3dn.24el 인스턴스는 클라우드에서 사용할 수 있는 가장 강력한 머신러닝 프로세서이며, 개발자는 이를 활용해 더욱 빠른 시간 내에 더 많은 데이터를 모델에 교육시킬 수 있다.
AWS에 최적화된 텐서플로 프레임워크(AWS-Optimized TensorFlow Framework): 텐서플로를 택해 대용량 데이터를 교육시키려는 개발자는 여러 GPU에서 텐서플로를 확장하기 어렵다는 점을 발견했으며, 이는 GPU 활용도는 떨어지고 교육 작업에 드는 시간은 늘어나는 결과로 이어졌다. AWS는 이 문제를 해결하기 위한 노력에 나섰으며, GPU 상에서 텐서플로를 확장할 수 있는 방법을 혁신했다. 텐서플로가 GPU에서 교육 작업을 분산하는 방식을 개선한 새로운 AWS 최적화된 텐서플로는 다양한 유형의 신경망 교육 시 선형 확장성에 가까운 성과를 이뤄냈다 (과거 평균 65%였던 것 대비 256개 GPU 효율 90% 달성). 개발자들은 새로운 AWS 최적화된 텐서플로와 P3dn 인스턴스를 사용해 일반적인 ResNet-50 모델을 최단 기록인 단 14분 만에 교육시킬 수 있으며, 기존 대비 50% 빠르게 완료할 수 있다. 이러한 최적화는 컴퓨터 비전 모델뿐만 아니라 광범위한 딥 러닝 모델 세트에도 적용할 수 있다.
아마존 엘라스틱 인퍼런스(Amazon Elastic Inference): 머신러닝 모델 교육이 합당한 관심을 받는 한편, 추론은 실제 생산 시 머신러닝을 실행하는데 드는 비용과 복잡성의 다수를 차지한다 (1/10이 교육에 드는 비용이면, 9/10은 추론에 든다). 아마존 엘라스틱 인퍼런스를 사용하면 개발자들은 전용 GPU 인스턴스를 사용하는 비용 대비 추론 비용을 최대 75%까지 절감할 수 있다. 비교적 활용도가 낮은 전체 아마존 EC2 P2나 P3 인스턴스에서 실행하는 대신, 더 규모가 작은 범용 아마존 EC2 인스턴스에서 실행할 수 있으며, 아마존 엘라스틱 인퍼런스로부터 알맞은 GPU 성능 규모를 프로비저닝 할 수 있다. 개발자들은 1테라플롭(TFLOP)에서 시작해 추론 성능을 탄력적으로 증감시킬 수 있으며, 사용한 만큼의 비용만 지불하면 된다. 엘라스틱 인퍼런스는 모든 프레임워크를 지원하며, 아마존 세이지메이커(Amazon SageMaker) 및 아마존 EC2 딥 러닝 아마존 머신러닝(Amazon EC2 Deep Learning Amazon Machine Image)과 통합되어 있다. 또한 기존 모델을 변경하지 않고도 아마존 엘라스틱 인퍼런스를 사용해 시작할 수 있다.
AWS 인퍼런시아 (AWS Inferentia): 전체 GPU를 사용하거나 더 낮은 대기 시간을 요구하는 대규모 워크로드를 위해, AWS는 커스텀 설계한 고성능 머신러닝 추론 칩을 발표했다. AWS 인퍼런시아는 칩당 수백만 테라플롭과 다양한 프레임워크(텐서플로, 아마치 MXNet, 파이토치 등)와 여러 데이터 유형(INT-8, 혼합 정밀 FP-16 및 bfloat16)을 위한 아마존 EC2 인스턴스당 수천만 테라플롭을 제공한다.
새로운 아마존 세이지메이커 기능으로 더욱 쉬운 머신러닝 구축과 교육, 배포 가능; AWS 딥레이서, 개발자들에 강화 학습 기반 1/18크기 자율주행 경주용 차량 제공
아마존 세이지메이커는 머신러닝 프로세스의 각 단계에서 발생하는 어려움과 추측 등을 제거하는 완전 관리형 서비스이다. 아마존 세이지메이커는 개발자들이 머신러닝 모델을 쉽게 구축, 교육, 조정 및 배포하도록 지원한다. 오늘 AWS는 아마존 세이지메이커의 여러 새로운 기능을 발표했다.
아마존 세이지메이커 그라운드 트루스(Amazon SageMaker Ground Truth): 머신러닝을 구축하기 위한 여정에서 개발자들은 자체 ML 모델을 교육시킬 데이터세트를 준비해야 한다. 개발자들이 자체 알고리즘을 선택하고, 모델을 구축하고 배포해 예측 기능을 실행하기 전에, 관리자가 수 천 가지 예시를 일일이 수동 검토해 머신러닝 모델을 교육시킬 수 있도록 라벨링을 해야 한다. 이는 시간과 비용 소모가 많은 과정이다. 아마존 세이지메이커 그라운드 트루스는 외부 업체인 미케니컬 터크(Mechanical Turk) 또는 자체 직원들을 통해 개발자들이 이 작업을 보다 수월히 할 수 있도록 지원한다. 아마존 세이지메이커 그라운드 트루스는 작업자들로부터 실시간으로 학습해 남은 데이터세트 상당 부분에 자동으로 라벨을 적용하며, 인간이 검토해야 할 필요성을 줄인다. 아마존 세이지메이커 그라운드 트루스는 매우 정확한 데이터 세트를 생성하며, 시간과 복잡성을 줄이고 인력 투입 시 대비 비용을 70% 절감한다.
머신러닝용 AWS 마켓플레이스: 머신러닝은 사실상 매주 학계와 업계에서 새로운 모델과 알고리즘이 등장하며 빠르게 움직이는 분야이다. 아마존 세이지메이커에는 가장 널리 사용되는 모델과 알고리즘 일부가 내장되어 있지만, 개발자들이 가장 광범위한 기능에 계속해서 액세스 할 수 있기 위해 새로운 머신러닝용 AWS 마켓플레이스에는 아마존 세이지메이커에 직접 배포할 수 있는 150여개 알고리즘과 모델이 포함되어 잇다. 개발자들은 세이지메이커에서 이를 즉시 사용할 수 있으며, 마켓플레이스에 목록을 추가하는 작업은 AWS 마켓플레이스를 통해 판매하고자 하는 개발자들에 완전한 셀프 서비스로 제공된다.
아마존 세이지메이커 RL (Amazon SageMaker RL): 머신러닝 분야에서는 강화 학습에 대한 이야기가 많이 나온다. 흥미로운 기술인데다 잠재력이 무궁무진하기 때문이다. 강화 학습은 대량의 교육 데이터 없이 모델을 교육시키며, 원하는 결과의 보상 기능은 알려져 있으나 이를 달성하는 방법은 알려져 있지 않아 이를 발견하기 위해 많은 반복이 필요한 경우 특히 유용하다. 강화 학습을 적용할 수 있는 영역으로는 헬스케어 치료와 제조 공급망 최적화, 게임 관련 문제 해결 등이 있다. 그러나 강화 학습은 학습 곡선이 가파르고 변수가 많아 보편적으로 사용되긴 어렵고 자금력이 탄탄한 기술 기업이라야 사용이 가능하다. AWS 최초의 관리형 강화 학습 서비스인 아마존 세이지메이커 RL은 개발자들이 관리형 강화 학습 알고리즘으로 강화 학습을 구축, 교육 및 배포하고, AWS의 새로운 로봇 서비스로 세이지메이커 RL과의 통합이 용이한 시뮬레이션 플랫폼인 AWS 로보메이커(AWS RoboMaker)로 다양한 프레임워크 (인텔 코치(Coach) 및 레이(Ray) RL)와 다양한 시뮬레이션 환경 (시뮬링크(SimuLink)나 매트랩(MatLab))을 지원할 수 있도록 하는 서비스이다.
AWS 딥레이서 (AWS DeepRacer): 개발자는 코드 몇 줄만으로 완전 자율주행 경주용 자동차의 1/18 크기인 AWS 딥레이서(AWS DeepRacer)로 강화 학습에 대한 학습을 시작할 수 있다. 전륜 구동이며 몬스터 트럭 타이어와 HD 비디오 카메라, 온보드 컴퓨팅을 갖춘 이 자동차는 아마존 세이지메이커로 교육시킨 강화 학습 모델을 사용해 구동된다. 개발자는 모두에 공개된 세계 최초 글로벌 자율 경주 리그인 딥레이서 리그(DeepRacer League)에서 자신들의 기량을 테스트하고, 차량 및 모델 경주를 통해 수상과 영광을 안는 기회를 즐길 수 있다.
아마존 세이지메이커 네오(Amazon SageMaker Neo): 이 새로운 딥 러닝 모델 컴파일러는 고객이 한번에 모델을 교육하고 어디서든 최대 2배 향상된 성능으로 이를 실행할 수 있도록 지원한다. 에지의 커넥티드 디바이스에서 실행되는 애플리케이션은 특히 머신러닝 모델의 성능에 민감하다. 대기 시간이 낮은 결정을 요하며, 여러 하드웨어 플랫폼에 배포되어야 한다. 아마존 세이지메이커 네오 (Amazon SageMaker Neo)는 특정 하으뒈어 플랫폼을 위한 모델을 컴파일하며, 성능을 자동으로 최적화해 정확성을 떨어뜨리지 않고 최대 두 배 성능으로 실행할 수 있도록 지원한다. 결과적으로 개발자들은 하드웨어마다 교육된 모델을 조정하느라 시간을 소요할 필요가 없어 시간과 비용이 절감된다. 세이지메이커 네오는 엔비디아와 인텔, 자일링스, 케이던스, Arm 등의 하드웨어 플랫폼과 텐서플로, 아파치 MXNet, 파이토치 등 대중적인 프레임워크를 지원한다. AWS는 네오를 오프 소스 프로젝트로 제공할 예정이다.
아마존 로보틱스 수석 엔지니어 겸 부사장 브래드 포터(Brad Porter)는 “강화 학습은 머신러닝과 로봇 혁신을 가능케 한다”며 “아마존 세이지메이커를 통해 실 세계 애플리케이션을 통해 강화 학습 기법을 쉽게 시도해 볼 수 있게 된 점을 기쁘게 생각하며, 로봇 애플리케이션에 사용하는 방법도 실험 중이다. 예를 들어, 올 초 우리는 이들 기술을 사용해 비어퐁(beer pong) 게임을 할 수 있는 로봇을 선보였으며, AWS와의 협력 관계에서 이러한 기회를 계속 탐색해 나갈 수 있는 점에 고무되어 있다”고 말했다.
새로운 AI 서비스로 모든 앱에 인텔리전스 제공… 머신러닝 경험 없어도 사용 가능
많은 개발자들은 머신러닝 경험 없이도 자체 애플리케이션에 지능형 기능을 추가할 수 있는 기능을 원한다. AWS는 기존 컴퓨터 비전과 음성, 언어, 챗봇 서비스를 기반으로 확장할 수 있는 중요한 AI 서비스를 발표했다.
아마존 텍스트랙트(Amazon Textract): 현재 많은 기업들은 느리고 비용이 많이 드는 수동 데이터 입력을 사용하거나, 부정확한 경우가 많고 개발자 애플리케이션에서 사용할 수 있는 형식에 추출한 컨텐츠를 넣기 위한 광범위한 후처리 작업을 필요로 하는 결과를 내는 간단한 OCR(optical character recognition) 소프트웨어를 사용해 문서와 양식으로부터 데이터를 추출한다. 아마존 텍스트랙트(Amazon Textract)는 수동 검토 작업이나 커스텀 코드 없이 사실상 모든 유형의 문서를 즉시 읽어 정확히 데이터와 텍스트를 추출하는 머신러닝을 사용한다. 아마존 텍스트랙트를 활용해 개발자들은 문서 작업 흐름을 신속히 자동화 해 몇 시간 내에 수백만 페이지 문서를 처리할 수 있다.
아마존 컴프리헨드 메디컬(Amazon Comprehend Medical): 차세대 의료 애플리케이션을 구축하려면 병원 입원 기록, 환자 병력 등 자유 형식으로 된 비정형 의료 문서에 갇혀 있는 정보를 파악하고 분석할 수 있어야 한다. 컴프리헨드 메디컬은 의료 문서를 위한 고도로 정확한 자연어 처리 서비스로, 머신러닝을 사용해 환자 기록과 임상 진료 보고서, 그 외 다른 전자 보건 기록으로부터 질병 상태와 투약 정보, 치료 결과를 추출해낸다. 컴프리헨드 메디컬은 머신러닝 전문성이 없어도 사용할 수 있으며, 복잡한 쓰기 규칙이나 교육 모델이 따로 없고, 지속적으로 기능이 개선된다. 사용한 만큼 비용을 지불하면 되며, 최소 비용이나 초기 비용이 따로 없다.
아마존 퍼스널라이즈(Amazon Personalize): 아마존이 사용하는 것과 동일한 기술을 사용한 아마존 퍼스널라이즈는 실시간 추천 및 고객 맞춤 서비스이다. 아마존은 20년 전 이 서비스를 위해 머신러닝을 사용하는 선구적 시도를 했다. 경험을 통해 드러난 바는, 맞춤 서비스에 맞는 절대적인 알고리즘이란 없다는 점이다. 비디오, 음악, 제품, 뉴스 기사 등 각 사용 사례마다 나름의 특성이 있어 데이터와 알고리즘, 최적화를 조합해 사용해야 한다. 아마존 퍼스널라이즈는 고객에 경험을 제공하는 완전 관리형 서비스로, 다양한 사용 사례를 위한 개인별 맞춤형 서비스와 추천 모델을 구축, 교육 및 배포한다. 아마존 퍼스널라이즈는 고객에 추천 서비스를 제공하고, 개별 고객에 맞는 검색 결과를 제시하며 이메일이나 푸시 알림으로 직접적이며 맞춤화된 고객 마케팅 서비스를 제공할 수 있다.
아마존 포캐스트(Amazon Forecast): 맞춤화와 마찬가지로, 예측(forecasting)은 고객이 그간의 데이터에 기반해 공급망과 재고 수준, 제품 수요 등 가늠하려 했던 쉽지 않은 영역이었다. 아마존 퍼스널라이즈와 마찬가지로 아마존 포캐스트는 아마존이 개발한 기술에 기반한 것으로, 여러 중요한 예측에 사용된다. 예측은 상호 연계된 요인이 많아 (가격, 사건 사고, 심지어 날씨 상황 등) 제대로 하기가 쉽지 않다. 제대로 예측이 되지 않으면 고객 수요 대응에 실패하거나 과다 지출이 발생하는 등 중대한 여파를 미칠 수 있다. 아마존 포캐스트는 정확한 시계열 예측을 생성한다. 기존 데이터와 연계된 인과적 데이터를 사용해 맞춤화된 프라이빗 머신러닝 예측 모델을 자동으로 교육, 조정 및 배포하므로, 고객은 비용을 최적화 하면서 올바른 고객 경험을 제공할 수 있다는 확신을 한층 높일 수 있다.
글 / IT동아 강일용(zero@itdonga.com)
