[기고] 클라우드, 인공지능을 품에 안다

[IT동아]

인공지능(AI)과 머신러닝(ML)은 산업분야를 가리지 않고 현재 전 세계 최고의 관심사다. 시장조사기관인 가트너는 AI가 올해 전 세계에서 2조 9,000억 달러(한화 3,475조원)에 달하는 비즈니스 가치와 620억 시간의 근로 생산성을 창출할 것이라 예측했다. AI와 ML은 기존 환경과 비교해 생산성(44%), 운영 효율(42%), 의사결정 효율(35%) 향상을 가져올 것으로 전망된다.

AI의 중요성은 코로나19 대유행 상황에서도 드러난다. '글로벌 셧다운(전 세계 활동 중단)'이 지속되면서 인간 노동력을 활용하기 어려운 상황에 처한 기업들은 AI를 경영 활동에 적극 접목하는 추세다. AI 알고리즘과 이를 뒷받침하는 컴퓨팅 인프라가 급속히 발전하면서 AI의 비즈니스 가치는 더욱 커지고 있다.

최근 클라우드 중심의 IT 환경이 확산되면서, 클라우드 아키텍처를 설계할 때에도 AI 및 ML 관련 역량이 필요해졌다. 기업의 요구와 목표에 정확히 부응하는 혁신 로드맵을 완성하기 위해서는, 데이터에 기반한 비즈니스 인사이트 확보가 기반이 돼야 한다. 즉, 데이터가 생성되고 분석, 소비되는 전체 흐름에 걸쳐 IT 인프라 환경도 민첩하면서도 지능적으로 변화해야 한다.

성공적인 AI 프로젝트를 위한 세가지 과제

클라우드 환경에서 AI 분석 업무 구현에 성공하기란 결코 간단하지 않다. AI 프로젝트 수행 시 접하게 되는 난관은 다음과 같다.

첫째, 클라우드 환경 위에 올라가는 AI 플랫폼은 통계기법을 적용한 모델링 알고리즘, 컨테이너와 가상머신(VM), GPU∙서버 자원의 가상화 등 복잡한 인프라와 솔루션 조합으로 구성된다. 플랫폼의 복잡성과 다양한 AI/ML 모델 및 개발언어 환경 때문에, IT 운영자들은 어떤 환경을 어떻게 구성해야 하는지 고민하게 되며, 프로그램 환경이 너무 많기 때문에 연산시스템 자원이 부족한 상황도 발생한다.

둘째, AI/ML 모델의 개발∙테스트∙개선 프로세스는 정형화되지 않고, AI 프로젝트별로 다르게 구성돼 효율적인 운영이 어렵다. 기존 개발 업무와 다른 자원 배포 및 모델 관리를 해결해야 하며, AI 모델을 만들기 이전에 데이터의 정제, 추출, 관리 등 데이터 관리 방안에 대한 인식이 부족하면 프로젝트를 실패할 수도 있다.

셋째, 많은 전문인력이 투입되고, 수많은 오픈소스 및 솔루션의 조합이 이뤄지며, 최적화(커스터마이징)이 빈번한 환경이다. 개발자, 데이터 과학자, IT 운영자간의 상호 협업이 필요하며, 이들 여러 인력이 어떻게 협업하는가가 프로젝트 목표 달성의 관건이다.

따라서 AI 프로젝트를 진행 시 복잡한 플랫폼, 비표준화된 프로세스, 많은 전문인력의 비효율적인 작업 환경 문제를 해결하기 위해서는, 플랫폼 최적화, 프로세스 자동화, 협업 환경의 효과적 구현 등이 필요하다. 원활한 클라우드 운영과 AI 분석 기반의 애플리케이션 서비스를 위해 이 세 가지 과제 해결이 반드시 필요하다.

플랫폼 최적화 : 클라우드 확산에 따른 복잡한 운영관리를 피하기 위해선 플랫폼 최적화가 중요하다. 프라이빗 클라우드를 운영하면서 쌓은 경험과 정책, 툴 등이 퍼블릭 클라우드에 그대로 적용되지는 않는다. 통제관리 요건이 더 많이 생기고, 애플리케이션 호환성 이슈도 발생한다. AI 프로젝트가 확대될수록 클라우드 운영에 들어가는 비용과 인력, 시간도 증가하기 때문에 플랫폼 최적화가 반드시 필요하다.

플랫폼 최적화에는 애플리케이션과 워크로드의 효율적 배치가 중요하다. 최근에는 애플리케이션은 가상화 환경(VM)과 컨테이너 환경에서 구동되는 경우가 많은데, 이를 하나의 관리 포인트에서 운용할 수 있는 환경이 필요하다. 하나의 하이퍼바이저 위에서 컨테이너와 VM을 동시에 사용하고, 단일 화면에서 관리할 수 있는 솔루션이 있어야 한다.

데이터를 활용, 분석하는 업무 워크로드 역시 각 단계별로 적합한 환경이 있다. 데이터 저장은 가상화 환경을 활용하는 것이 일반적이지만, 머신러닝 모델개발 및 분석환경은 변경이 많아 빠른 이동, 배포가 가능한 컨테이너 환경이 유리하다. 이를 유기적으로 조합하고 한 번에 관리할 수 있는 플랫폼이 요구된다. 이밖에 GPU와 같은 연산자원을 효율적으로 운영할 수 있는 가상 환경 도입도 검토하길 권장한다.

프로세스 자동화 : 프로세스 자동화는 AI/ML 분석 모델 개선∙배포 프로세스를 정형화/자동화함으로써 시간을 줄이고 분석업무에 집중할 수 있게 한다. 적절한 분석이 적절한 시기에 제대로 이뤄지면, 비즈니스에 빠르게 적용할 수 있는 데이터 가치를 크게 높여준다.

AI 분석 업무는 크게 6가지 단계를 거친다. 먼저 데이터를 수집, 저장한 후 데이터 모델링을 위해 가공∙정제한다. 그 다음 데이터 과학자가 가공∙정제된 데이터에 통계 기법과 알고리즘을 적용해 모델링을 한다. 모델링된 모델은 운영에 적용 가능한지 지속 평가해야 한다. 평가가 완료된 모델은 실제 운용 시스템에 적용되고, 최종 사용자인 현업담당자가 추론이란 결과를 통해 예측 결과를 비즈니스에 활용한다. 기업 사용자는 성공적인 평가를 거친 모델을 기업 수익창출에 도움이 될 수 있는 의사결정에 활용한다.

이 과정에서 데이터 분류 작업은 필수며, 이를 어떻게 자동화해 시간을 단축할 지가 AI 분석 업무 효율의 핵심이다. AI 기반 데이터 태깅을 활용하면 데이터 분류를 자동화해 소요 시간을 줄일 수 있다. 또한 가공된 데이터로 만들어진 모델을 지속적으로 모니터링하고, 적용 가능 여부를 평가하는 프로세스의 자동화, 나아가 모델의 테스트 환경과 운용 환경에 배포하는 반복 작업을 자동화하는 단계도 필요하다.

협업 환경 : AI 개발 프로젝트에는 많은 전문입력이 투입되며 협업 환경이 요구된다. 따라서 프로젝트 단위별로 각 담당자가 요구하는 인프라, 개발 환경이 상이하다. IT 운영자가 요청할 때마다 개별적으로 인프라 환경을 구성해 배포하기에는 한계가 있기 때문에, 사전 정의된 카탈로그 환경을 구현하여 VM 또는 컨테이너 환경을 만들고, 리소스를 할당하고 배포하는 방식이 효과적이다.

사전 정의된 카탈로그 환경에서는 담당자가 요구하는 CPU, 메모리, 스토리지, 네트워크 등 자원을 할당할 수 있다. 또한 이 같은 환경을 개인 또는 사용자 그룹에 배포해 자유롭게 다룰 수 있는 샌드박스 환경을 제공하면 프로젝트 효율성을 높일 수 있다.

AI시대, 클라우드가 나가야 할 방향은?

AI 시대가 도래함에 따라 기업의 IT 환경도 새로운 조직, 새로운 업무, 새로운 요구 사항에 적극 대응해야 한다. 클라우드 환경이 보편화되면서 서버, 스토리지, 네트워크, 운영체제 등 IT 인프라 구성에 필요한 모든 요소를 통합, 운영하는 하이퍼 컨버지드 인프라(HCI, Hyper Converged Infrastructure)가 차세대 데이터센터의 표준으로 부상하고 있다.

HCI 어플라이언스를 도입해 VM과 컨테이너를 통합하면 분산된 스토리지와 네트워크를 각각 소프트웨어 정의 기반으로 통합 운영할 수 있다. VM과 컨테이너를 통합된 컴퓨팅 클러스터에서 운영할 경우, 자원 사용 효율 극대화뿐 아니라, 예산 절감과 통합 관리에 따른 효율성도 얻을 수 있다.

효성인포메이션시스템은 AI 시대의 클라우드 환경에 최적화된 'AI/ML 플랫폼'을 통해 고객의 데이터 혁신을 지원하고 있다. IT 운영자부터 데이터 과학자, 개발자 등 모든 구성원이 제 역할에 맞게 사용하고, 비용 최적화는 물론 어떤 형태의 서비스도 즉시 운영∙관리∙확장할 수 있는 디지털 데이터센터의 모델을 제시한다. 아울러 고객이 최적화된 IT 인프라로 최상의 비즈니스 성과를 내고, 성공적인 디지털 전환(DX)를 구현하도록 지원하고 있다.

글 / 효성인포메이션시스템 클라우드사업팀 김형섭 컨설턴트

IT 분야의 경력과 노하우를 보유한 IT전문가로, 다수의 ERP 사업기획, BI 프로젝트, 인프라/데이터 분석 부문 리더로 참여했다. 현재는 효성인포메이션시스템에서 클라우드 인프라 기반의 데이터 플랫폼 도입 지원 및 컨설팅 업무를 담당하고 있다.

정리 / IT동아 이문규 (munch@itdonga.com)