데이터독, "AX 전환, 도입이 필요한 기업이라면 '가시성'에 주목"

[IT동아]

엄수창 데이터독 한국 지사장 인터뷰

‘데이터독(Datadog)’은 전 세계 옵저버빌리티(Observability) 시장을 주도하는 글로벌 대기업으로, 한국지사는 8년 전에 설립해 국내 시장에서도 꾸준히 사업을 이어오고 있다.

옵저버빌리티는 IT/시스템 환경의 내부 운영, 동작, 상태를 외부에서 모니터링하고, 장애 발생에 따른 원인과 조치, 대응 등을 추적, 진단할 수 있도록 하는 기술을 말한다.

가트너의 시장조사 보고서인 ‘매직 쿼드런트’의 옵저버빌리티 분야에서 리더 영역에 데이터독이 홀로 자리하고 있고, 연 매출도 한화로 5조 원이 넘는다. 최근 AI 수요 급증에 힘입어 시가총액도 100억 달러(약 14조 원)에 육박하는 등, AI 시대 옵저버빌리티 시장에서 지배적인 입지를 다졌다.

데이터독 코리아는 2019년에 설립된 후 국내 시장에 안착해 많은 고객사를 확보했다. 2024년부터 한국지사를 이끌고 있는 엄수창 지사장을 통해, AI 시대를 맞아 기업이 갖춰야 할 옵저버빌리티 환경에 관해 들어본다.

데이터독에 대한 간단한 소개 부탁 드립니다.

일반적으로 IT 분야에서는 ‘모니터링(Monitoring, 관제)’이라는 용어가 좀더 보편적으로 사용되는데, 현재 운영 중인 IT 인프라를 관리하고, 문제가 발생했을 때 이를 발견하고 대응할 수 있도록 지원하는 솔루션을 의미합니다. 데이터독 역시 이러한 모니터링 솔루션 기업으로 출발했습니다.

지금의 클라우드 환경은 물론, 마이크로서비스 아키텍처, 데이터베이스, 네트워크, 보안, 그리고 AI에 이르기까지 관리 영역이 크게 확대됐습니다. AI 부문도 LLM 기반 애플리케이션과 이를 뒷받침하는 인프라까지 포함됩니다.

데이터독은 이러한 모든 영역을 통합적으로 관찰, 관리할 수 있는 플랫폼을 제공합니다. 그래서 ‘모니터링’이라는 단순 표기보다 ‘옵저버빌리티’라는 용어를 사용합니다. 데이터독은 클라우드, 애플리케이션, 데이터베이스, 네트워크, 보안, AI 인프라 및 애플리케이션 전반에 대한 ‘가시성’을 제공하는 AI 기반 옵저버빌리티 및 보안 플랫폼 기업입니다.

그럼 옵저버빌리티는 IT 환경에서 장애나 이상 징후를 감지했을 때, 단순 알림 발송을 넘어 문제 원인을 파악하거나 초기 대응까지 지원하는 개념인가요?

모니터링은 장애나 문제가 발생한 이후 이를 확인하는 단계입니다. 즉 발생 문제의 원인을 운영자(사람)가 직접 분석하고 필요한 조치를 해야 합니다.

반면 옵저버빌리티는 문제 발행 후 대응/조치가 아니라, 문제가 발생할 가능성이 있는 징후를 사전에 발견하고 운영자에게 알려줍니다. 즉 장애 확인은 물론, 잠재적인 위험 요소를 미리 파악하고 대응할 수 있습니다.

우리는 여기서 한 단계 더 나아가 ‘오토노미(Autonomy)’라는 방향성을 강조합니다. 이는 AI가 이상 징후를 사전 감지하고, 원인을 분석해 적절한 대응 방안을 제시하거나 자동으로 조치를 수행하는 단계입니다. 결국, 모니터링 -> 옵저버빌리티 -> 오토노미 단계로 진화하는 방식이 우리가 추구하는 목표입니다.

데이터독은 각 단계에 해당되는 솔루션, 제품을 모두 공급하고 있나요?

그렇습니다. 이러한 방향성에 적합한 솔루션을 보유하고 있고, 개선된 제품과 기능을 지속적으로 출시하고 있습니다.

최근 개최된 '데이터독 글로벌 연례 컨퍼런스'에서는 AI를 보다 효과적으로 운영하고 관리하는 방법은 물론, AI가 스스로 분석하고 대응하는 자율 운영 환경을 구현하는 신제품을 공개했습니다.

데이터독 한국 지사장으로 합류 후 2년이 지났는데, 그 동안 데이터독 코리아의 가장 의미 있는 성과는 무엇인가요?

가장 먼저, 조직의 변화를 꼽을 수 있습니다. 지난 2년 간 한국지사 조직 규모가 크게 확대됐습니다. 한국 시장 내 입지를 더욱 공고히 하려, 필요한 기능과 조직에 대해 본사와 지속적으로 협의했습니다. 현재 데이터독 코리아는 다른 SaaS 기업과 비교해도 제법 큰 조직 규모를 갖췄으며, 기술 지원 조직도 한국지사가 직접 운영하고 있습니다.

글로벌 SaaS 기업 중에 한국 내 이 같은 규모의 기술 지원 조직을 갖춘 곳은 그리 많지 않을 겁니다. 특히 프리세일즈와 사후 기술 지원, 엔지니어링 인력을 포함한 기술 조직을 탄탄하게 갖췄습니다.

한국지사가 설립된 지 8년 정도 됐는데, 한국 내 데이터독의 경쟁 기업은 어디인가요? 국내외 시장 점유율도 궁금합니다.

특정 기업 몇몇을 직접적인 경쟁사로 규정하기 어렵습니다. 전통적인 모니터링 분야라면 글로벌 경쟁 기업이 몇 군데 있겠지만, 인프라, 애플리케이션, 로그, 네트워크, 보안, AI 환경까지 모든 영역을 단일 플랫폼과 단일 대시보드에서 통합 제공하는 곳은 사실상 데이터독이 유일하기 때문입니다.

국내외 시장 점유율을 수치화하긴 어렵지만, 데이터독의 시장 위치를 파악하는데 참고할 지표는 있습니다.

현재 데이터독의 연매출은 약 36억 달러, 한화로는 약 5조 원 규모입니다. 주요 경쟁사들이 각자의 영역에서는 강점이 있겠지만, 데이터독은 통합 옵저버빌리티 플랫폼 시장에서 빠른 성장세를 보이고 있는 기업입니다. 이에 시장 점유율을 명확하게 산정하기는 모호하지만, 매출 규모와 시장 평가를 기준으로 보면 전 세계 옵저버빌리티 시장을 선도하는 기업이라고 말씀드릴 수 있습니다.

고객사와 직접 소통하면서 현장의 다양한 목소리를 접할 텐데요. 최근 AI 트렌드와 관련해 고객사가 가장 어려워하는 부분은 무엇인가요? 또 이를 데이터독은 어떻게 해결할 수 있나요?

작년까지는 고객사의 관심사는 ‘어떤 AI 애플리케이션이나 모델을 도입’할 지에 집중돼 있었습니다. 올해 들어서는 AI를 실제 업무 환경에 적용한 후 발생하는 운영상의 문제와 관리 체계에 대한 고민이 점점 많아지고 있습니다.

‘AI 거버넌스’가 대표적인 이슈인데요. 많은 기업들이 AI를 빠르게 도입하고 있지만, 이를 체계적으로 관리하기 위한 거버넌스는 아직 충분히 갖추지 못한 경우가 많습니다. 그 결과 장애 발생 시 원인 파악이 어렵고, 성능이나 비용, 보안 측면에서 발생하는 문제에 효과적으로 대응하기도 어렵습니다.

최근 저희가 고객사와 가장 많이 논의하는 분야도 이러한 AI 운영 영역입니다. 우리는 이를 'AI Ops(AI 옵스)'라고 부르는데, AI 인프라부터 모델, 애플리케이션 운영에 이르기까지 AI 환경 전반을 모니터링하고 관리할 수 있는 다양한 솔루션을 제공함으로써 이 문제를 극복하고 있습니다.

AI 옵스는 AI가 문제 발생 가능성을 사전에 감지해 알림을 보내고, 이를 토대로 사전 정의된 조치가 자동으로 수행되는 방식이라고 이해하면 될까요?

AI 옵스는 애플리케이션 개발 영역을 넘어, AI 서비스 운영에 필요한 모든 인프라와 운영 환경을 포함하는 개념입니다.

예를 들어 최근 많은 기업들이 GPU를 대규모로 도입하고 있는데요. 이 고가의 GPU 자원을 얼마나 효율적으로 활용하는지, GPU에 어떤 문제가 발생할 지 지속적으로 확인해야 합니다. 또한 AI 애플리케이션이 어떤 이유로 성능이 저하되는지, 모델 자체의 문제인지, 인프라 문제인지, GPU 문제인지, 또는 특정 AI 모델 제공업체와 관련된 이슈인 지도 파악해야 합니다.

이런 경우에 AI 옵스 체계를 적용하면 AI 인프라, GPU, 모델, 애플리케이션을 통합적으로 관리하고 분석할 수 있습니다.

AI 응답 품질(신뢰도) 역시 빼놓을 수 없습니다. AI가 생성한 답변/결과가 항상 정확할 순 없고, 잘못된 정보나 할루시네이션(환각)이 얼마든지 발생할 수 있습니다. 따라서 이러한 문제를 사전에 발견하고 대응할 수 있는 체계 역시 필요합니다.

데이터독은 이러한 영역의 데이터를 통합적으로 수집, 분석해서, 고객이 AI 운영 환경을 한눈에 파악할 수 있도록 지원합니다. 문제의 원인을 분석하고 개선 방안을 제시함으로써 기업이 AI 서비스를 보다 안정적이고 효율적으로 운영할 수 있도록 돕는 거죠.

최근 출시된 데이터독 ‘Bits AI’는 어떤 제품인가요?

자사 마스코트인 강아지 캐릭터 이름이 ‘Bits’인데, 이 이름을 따서 Bits AI로 명명했습니다. Bits AI는 운영 엔지니어의 역할을 수행하는 AI 에이전트입니다. 최근에는 AI 에이전트 개념에 익숙해지는 분위기인데, 이를 IT 운영 영역에 적용한 것입니다.

예를 들어, 서비스에 문제가 발생하면 운영 엔지니어는 네트워크 데이터, 애플리케이션 데이터, 로그 데이터 등을 각각 분석하면서 원인을 찾아야 합니다.

Bits AI는 데이터독 플랫폼에 수집된 다양한 데이터를 종합적으로 분석해 문제의 원인을 파악합니다. 문제가 네트워크에 있는지, 애플리케이션에 있는지, 인프라에 있는지를 AI가 먼저 조사하고 분석합니다.

쉽게 말해, 기존에는 2~3명, 많게는 수십 명의 엔지니어 인력이 수행해야 했던 조사와 분석 작업을 AI가 대신 수행하고, 어디에 문제가 있는지, 무엇을 우선 확인해야 하는지 인사이트를 제공합니다.

초기 버전에서는 이상 징후 감지 및 알림 제공 기능이 중심이었다면, 현재는 훨씬 더 많은 데이터를 기반으로 상황을 이해하고 판단하는 방향으로 개선됐습니다. 예컨대, 이전의 장애 사례와 운영 데이터를 학습해, ‘다음 주에 디스크 용량 부족으로 서비스에 문제가 발생할 가능성이 있다’거나 ‘이전 장애와 유사한 패턴이 감지되고 있다’는 식의 예측과 분석도 가능합니다.

공개 자료에 따르면, Bits AI를 통해 위협 조사 시간을 최대 98%까지 줄일 수 있는데, 어떻게 가능한 건가요?

이를 테면, 데이터독 ‘온콜(On-Call) 서비스’라는 게 있습니다. 보안 담당자가 식사 중에도 자동으로 전화 대응이 가능합니다.

시스템에서 자동으로 고객에게 전화를 걸어 문제 발생을 알려주는데, Bits AI가 먼저 원인을 분석해서 어디서 문제가 생겼는지, 언제까지 어떻게 조치하는 것이 좋을지 권고안을 제시합니다. 그런 다음 보안 담당자가 조치를 지시하면 바로 처리가 완료되는 구조입니다.

그럼 보안 담당자들의 업무나 역할이 줄어들거나, 아예 없어질 수도 있겠네요?

그렇지는 않습니다. 업무를 AI가 대체하는 게 아니라 업무 생산성을 높이는 겁니다. 경영자 입장에서도 인력을 줄이는 게 목적이 아니라, 얼마나 빠르게 대응, 조치할 수 있느냐가 핵심입니다.

조치 시간이 줄어들면 각 담당자들은 본연의 업무에 더 집중할 수 있습니다. 장애 대응 자체보다는 정책을 수립하고, 문제 재발을 방지하는 프로세스를 만드는 일에 집중할 수 있게 됩니다. 반복 업무는 AI가 대체하고, 자동화가 이뤄지는 겁니다. 따라서, AI 기술로 인해 이들의 역할이 사라진다고 여기지 않습니다.

물론 유사한 솔루션이 이전부터 시장에 존재하고 있었을 텐데요. 즉 장애를 사전에 감지해 통보하고, 보안 담당자나 시스템 관리자의 업무 부담을 줄이면서 다른 역할에 집중하도록 하는 솔루션이나 서비스가 그렇습니다.

맞습니다. 이상 징후를 감지하거나 문제 발생 가능성을 사전에 알려주고, 운영자가 대응할 수 있도록 지원하는 솔루션은 이미 많이 존재합니다.

데이터독은 여기서 한 단계 더 나아 갑니다. 우리는 ‘모니터링’에서 ‘옵저버빌리티’를 거쳐 ‘오토노미’로 발전하는 방향을 추구합니다.

문제 감지 및 통보를 넘어, AI를 활용해 문제를 사전에 예측하고 원인을 분석하며, 필요한 대응 방안까지 제시하는 데 초점을 맞춥니다. 데이터독이 지향하는 방향은 이러한 개별 기능을 하나의 플랫폼으로 통합하는 것입니다. 접근 로그, 인프라 데이터, 애플리케이션 데이터, 보안 이벤트 등을 함께 수집하고 분석함으로써 단순히 개별 이벤트를 확인하는 것이 아니라 데이터 간의 연관성을 파악할 수 있습니다.

국내 시장에 진출한지 8년 정도 됐지만, 업계에서는 이미 상당한 인지도를 확보한 상황으로 보입니다. 공개 가능한 범위 내에서 현재 국내 고객 규모는 어느 정도인가요?

정확한 한국 고객 수를 공개하기는 어렵지만, 참고할 만한 사례는 있습니다. 데이터독은 한국에서 매년 두 차례 정도 대형 고객 행사를 개최하고 있습니다.

상반기에는 데이터독 라이브(Datadog Live)를, 하반기에는 데이터독 서밋(Datadog Summit)을 진행하는데, 여기서는 사례 공개에 동의한 한국 고객들이 직접 참여해 데이터독 활용 사례를 발표합니다.

최근 행사에서는 삼성전자 모바일 계정 사업 부문, CJ올리브영, 크래프톤 등이 데이터독 활용 사례를 소개한 바 있습니다. 이처럼 국내 주요 기업들 가운데 상당수가 데이터독을 사용하고 있습니다(다만 활용 범위와 규모는 고객마다 다를 수 있습니다).

CJ올리브영 사례를 언급하셨는데, 좀더 구체적인 설명이 가능할까요?

CJ올리브영은 전국에 많은 매장을 운영하고 있으며, 올영세일과 같은 대형 프로모션도 정기적으로 진행합니다. 이런 행사가 진행되는 동안에는 매출 현황을 실시간으로 확인하는 것이 매우 중요합니다.

이 과정에서 데이터독은 매장별, 상품별 판매 현황과 백엔드 시스템 상태를 함께 모니터링할 수 있도록 지원합니다. 결제 시스템에 문제가 있는지, 서버에 장애가 발생했는지, 또는 개발 과정에서 오류가 발생했는지를 실시간으로 확인하고 신속하게 대응할 수 있습니다.

실제로 대규모 프로모션이나 이벤트를 진행할 때 데이터독 대시보드를 통해 비즈니스 지표와 시스템 상태를 함께 모니터링하며 운영하고 있습니다. 만약 문제가 발생하더라도 어디에서 문제가 발생했는지 빠르게 파악하고 즉시 대응할 수 있도록 하기 위한 것입니다.

결국 시스템 운영과 장애 대응에 대한 부담은 데이터독이 지원하고, CJ올리브영은 매출 확대나 고객 서비스 개선과 같은 본연의 비즈니스에 더욱 집중할 수 있도록 하는 것이 핵심입니다.

최근 많은 기업들이 AI 서비스를 도입, 활용하고 있습니다. 현장에서 다양한 고객들을 접하다 보면, 이들 기업이 AI를 도입, 운영하는 과정에서 공통적으로 어려워하는 부분이 있을 듯합니다.

이전에는 어떤 LLM을 선택할 것인가를 가장 많이 고민했습니다. 그러다 최근에는 AI를 실제 서비스에 적용한 이후 운영 측면에 대한 고민이 훨씬 커지고 있습니다.

예를 들어 AI 서비스의 품질과 성능을 어떻게 관리할 것인지, 장애가 발생했을 때 원인이 무엇인지 파악하는 것이 중요한 과제로 보입니다. 특히 국내 기업도 여러 LLM 기반 서비스를 운영하고 있는데, 그들 입장에서는 문제가 발생했을 때 어디에서 문제가 발생했는지 신속하게 파악할 수 있는 체계가 필요합니다.

고객사는 AI가 생성하는 결과물의 품질도 중요하게 여깁니다. 응답의 정확도는 어떤지, 할루시네이션은 발생하지 않는지, 사용자가 만족할 만한 결과를 제공하고 있는지까지 관리해야 합니다.

종합해보면, 기업의 관심은 단순한 AI 도입을 넘어, AI의 운영, 비용, 성능, 품질을 어떻게 관리할 것인가로 이동하고 있으며, 우리도 이러한 영역 전반을 지원하는 데 집중하고 있습니다.

국내에서도 AX가 중요한 화두입니다. AI 도입과 전환을 추진하고 있는 기업들에게 전하고 싶은 조언이나 메시지가 있다면 무엇인가요?

AX를 추진하다 보면 이것도 필요하고 저것도 필요한데, 이에 여러 가지 솔루션을 대거 도입하게 됩니다. 그렇게 솔루션 수가 늘어나면 되레 관리가 복잡해지고 어려워집니다.

실제로 고객사와 이야기를 나눠보면 AI 도입이 확대될수록 보안 위협과 관리해야 할 영역도 함께 늘어나고, 관련 비용 역시 예상보다 빠르게 증가하고 있다는 고민을 많이 듣습니다.

그래서 최근에는 "AX 투자가 실제로 효과를 내고 있는가", "비용 대비 충분한 가치를 얻고 있는가"를 검증하는 데 더 많은 관심을 두고 있습니다. 그런 의미에서 AX를 추진할 때는 개별 솔루션 도입보다 AI 거버넌스를 어떻게 설계할 것인지 먼저 고민할 필요가 있다고 생각합니다.

그리고 그 과정에서 가장 중요한 것이 바로 ‘가시성’입니다. 어떤 AI 모델이 얼마나 사용되고 있는지, 비용은 얼마나 발생하는지, 어떤 부서와 개발자가 얼마나 활용하고 있는지, 그리고 실제 비즈니스 생산성 향상에 얼마나 기여하고 있는지를 파악할 수 있어야 합니다.

그러려면 관련 데이터를 하나의 플랫폼에서 통합적으로 수집하고 체계적으로 관리할 수 있어야 합니다. 우리는 바로 이러한 부분을 지원하려 합니다.

결국, AI 거버넌스와 운영 정책을 먼저 고민한 뒤 AI를 도입해야 한다고 조언하고 싶습니다. 그렇게 해야 AI 투자 비용을 보다 효율적으로 활용할 수 있고, AX 역시 더 큰 성과로 이어질 수 있다고 봅니다.

IT동아 이문규 기자 (munch@itdonga.com)