아마존 EKS로 기계학습 모델 최적화 및 운영 효율 높였다, LG전자 유홍근 연구원

[IT동아 이상우 기자] 빅데이터와 이를 활용한 기계학습은 디지털 트랜스포메이션을 이루려는 기업에게 필수적인 것처럼 여겨지고 있다. 특히 인공지능을 기반으로 한 디지털 트랜스포메이션은 기존과는 전혀 다른 인사이트를 얻게 해주며, 업무 프로세스를 최적화하거나 더 빠른 의사결정을 내릴 수 있게 해준다. 이는 제조업에서도 마찬가지다. 제조공정에서 발생한 데이터를 기반으로 인공지능 모델을 학습시키면 불량 발생의 근본적인 원인을 찾고, 불량률을 낮출 수 있으며, 여기에 유통이나 소비 등의 데이터까지 접목 한다면 생산량을 조절하거나 시장이 원하는 제품을 적시에 출시하는 것이 가능하다.

LG전자 스마트데이터 팀 유홍근 선임 연구원은 "LG전자 스마트데이터 팀은 LG전자 곳곳에서 발생한 로그 데이터, 소비자 데이터, 생산 데이터 등 여러 정보를 바탕으로 소비자에 대한 인사이트를 발굴화하고, 생산 공정을 최적화하는 등의 작업을 하고 있다"고 설명했다.

LG전자는 이러한 인공지능 관련 작업을 자체 클라우드 서버와 함께 AWS 퍼블릭 클라우드를 병행해 쓰는 하이브리드 클라우드상에서 운영하고 있는 상황이다. 인공지능 모델 서버 하나에서 운영하는 것은 쉽지만, 모델이 많아질 경우 각각의 모델을 학습시키거나 운영하는 데 어려움이 생긴다.

온프레미스 형태로 운영할 경우 각각의 모델이 설치된 서버마다 개별적인 관리가 필요하며, 특히 빅데이터 특성상 언제 얼마나 많은 데이터가 발생할지 예측하기 어려운 만큼, 필요한 수준의 성능을 사전에 준비하는 것도 어렵다. 데이터가 많이 발생할 상황을 상정해 시스템 자원을 구축할 경우 평소에는 이 자원을 사용하지 않기 때문에 구축 및 관리에 지나치게 많은 비용이 들어가며, 반대로 평상시 상황을 가정해 데이터 센터를 구축하면 갑작스럽게 발생한 데이터에 대응하기 어렵다.

이 때문에 LG전자는 관리형 쿠버네티스 시스템으로 스케줄링, 리소스 관리, 소프트웨어 전개 자동화 등을 이뤘으며 AWS 퍼블릭 클라우드를 통해 많은 자원이 필요한 작업에서만 리소스를 임대하는 방식을 적용해 인공지능 모델을 확장 및 학습시키고 있다.

유홍근 연구원은 "AWS 퍼블릭 클라우드와 쿠버네티스를 통한 클러스터링을 통해 관리 효율성을 높일 수 있었다. 인공지능 모델을 운영하기 위해서는 데이터센터를 구축하고, 시스템 자원을 관리하는 등의 작업을 AWS에서 제공한다. 이를 통해 우리 팀은 데이터 분석이라는 본연의 업무에만 집중할 수 있다"고 설명했다.

또, "우리는 한 두개의 모델을 기계학습하는 것이 아니라 여러 서버에 걸쳐서 많은 모델을 관리하고 있는 상황이며, 이를 위해 각각의 서버를 구축하고 관리하는 것은 비효율적이다. 특히 기계학습은 언제나 많은 시스템 자원을 요구하는 것이 아니며, 학습하는 순간에만 많은 자원이 필요하다. 이 때문에 많은 수의 고성능 서버를 사전에 구축할 경우 대부분은 낭비하는 셈이다. 이와 달리 퍼블릭 클라우드를 통해 구축할 경우 시스템 자원이 필요할 때만 임대할 수 있기 때문에 유연하게 대응하는 것은 물론, 비용도 효율적으로 절감할 수 있다"고 덧붙였다.

그는 AWS 관리형 쿠버네티스(AWS EKS)의 가장 큰 장점으로 운영 효율성을 들었다. 관리자는 마스터 컴포넌트만 관리하면 되고, 각각의 클러스터에서 문제가 발생할 경우 마스터에서도 이를 모니터링하고 문제가 되는 개별 장애 지점을 제거할 수 있다. 뿐만 아니라 쿠버네티스 잡 API를 통해 어떤 클러스터에서 어떤 잡을 실행하고 완료했는지 쉽게 확인할 수 있는 것은 물론, 컨테이너 형태의 애플리케이션을 쉽게 배포해 인공지능 학습 모델 확장 역시 빠르게 할 수 있다.

LG전자 스마트데이터 팀 이러한 빅데이터 분석 시스템을 태양광 모듈 생산라인에 적용했으며, 이를 통해 불량률을 낮췄다. 생산 과정에서 센서, 장비 등을 통해 수집한 데이터를 바탕으로 머신러닝 알고리즘을 개발했고, 태양광 모듈의 출력을 극대화할 수 있는 조합을 찾아냈다. 뿐만 아니라 생산된 제품 품질에 문제가 있을 경우 원인을 찾을 수 있게 됐고, 향후 제작될 모듈 품질을 예측하는 수준까지 이뤘다. 이러한 빅데이터 분석을 통해 사전에 불량률을 정확히 예측하고, 불필요한 재검사 등을 줄여 비용 절감 효과까지 얻을 전망이다.

유홍근 연구원은 "서버의 특성과 네트워크 스택을 모두 이해하고 프로그래밍을 하는 것은 너무나 어려운 일이다. 중요한 것은 해결하려는 문제를 해결하는 것이다. 모든 것을 배우고 혼자서 하는 것보다는 누군가 잘 만들어 놓은 해결책을 가져와 적용한다면, 하드웨어나 네트워크를 직접 관리하지 않고도 본질적인 개발에 더 집중할 수 있다. 각 기업마다 잘하는 분야가 다른 것처럼, 퍼블릭 클라우드와 관련한 것은 AWS 같은 전문 기업에 맡기고, 우리는 우리가 잘 할 수 있는 개발에 집중해 더 나은 결과를 만들 수 있다"고 말했다.

글 / IT동아 이상우(lswoo@itdonga.com)