AI 프로젝트의 80%는 실패, '렛서'가 제시하는 구축·운영의 비책은?

[IT동아 남시현 기자] 딜로이트 AI 인스티튜트가 매 분기 발간하는 ‘생성형 AI 현황(State of Generative AI)’에 따르면 생성형 AI의 발전 속도는 매우 빠르지만 조직 변화의 속도는 제한적임을 보여준다. AI를 통한 투자수익률은 고무적인 반면 규제와 위험 부담은 커지고 있으며, 에이전트 AI가 등장하고 있지만 여전히 기업들의 AI 도입은 속도를 내지 못하는 것으로 나타났다.

전체 응답 기업 중 74%는 투자수익률(ROI)가 기대치를 충족하거나 초과 달성하고 있다고 답했고, 응답 기업 대다수는 20개 이하의 실험 또는 개념증명(PoC)을 추진 중이며, 다음 단계로 나아가는 비중은 30% 정도에 불과했다. 도입에 12개월 이상 소요되는 사례도 목적에 따라 55%에서 최대 70%에 달했고, 70%는 ROI 확보에 12개월 이상이 소요되는 상황이다.

AI 도입이 어려운 이유는 개발 환경이나 인력 부족, 신뢰성 및 법적 윤리적 문제, 데이터 확보의 어려움 등으로 제시됐고, 76%의 경영진은 가치 투자가 확보될 때까지 최소 12개월 이상은 기다릴 것이라고 응답했다.

하지만 현장의 도입 속도는 여전히 더디다. AI 기업들은 새로운 기술이 도입된 최신 AI 모델을 내놓고 있지만, 이를 활용하는 기업들이 발전 속도를 따라가지 못하고 있다. 사용자 목표를 자율적으로 판단하고 달성하는 AI 에이전트 등이 등장하고 있지만 아직도 LLM 도입조차 고민하는 기업들이 있을 정도다.

즉 현장에서는 디지털 전환이 확실한 소수의 경우를 제외하고는 AI 에이전트는 커녕 챗봇 조차도 제대로 운용하기 어려운 게 현실이다. AI 도입의 필요성을 느끼는 기업, 이를 가공해서 도입을 돕는 기업은 많지만 이를 지속적으로 운영하고 관리하며, 추세에 맞춰 AI를 발전시켜나가는 것이 더 중요한 과제로 떠오르고 있다.

AI 도입률 높다는데, 현장에서는 글쎄··· 이유는?

미국 랜드연구소가 발간한 ‘인공지능 실패의 근본 원인’ 보고서에 따르면 AI 프로젝트 중 80%는 실패하며, 이는 AI를 활용하지 않은 일반 프로젝트 폐기율의 두 배에 달한다. 유독 AI 프로젝트의 실패율이 높은 원인으로는 ▲ 이해관계자들이 AI를 활용해 해결할 문제를 오인하거나 제대로 전달하지 못해 잘못된 모델이 생성되는 경우 ▲AI 모델을 훈련시키기에 적절한 데이터를 확보하지 못함 ▲AI 프로젝트가 실제 문제 해결보다 최신 기술 활용에만 집중하는 경우 ▲인프라 부족 ▲AI가 해결하기에 너무 복잡하고 어려운 문제 제시를 이유로 꼽았다.

운영이 복잡해 유지관리가 어렵다는 점도 AI 프로젝트의 도입 가능성을 저해하는 요인이다. 유지관리의 어려움은 총 세 가지 항목으로 정리할 수 있다. 첫째, 서로 다른 AI들을 통합 운영하기가 어렵다. 각 AI는 입출력 형식, 동작 방식, 인프라가 다르다. AI를 다양하게 도입했을 때 이를 하나의 시스템처럼 유연하게 운영하고 각각의 환경에 대응하게 만드는 게 어렵다.

두 번째는 기술 변화 속도가 빠르고 관리할 지점이 많다. AI 개발 환경에서는 여러 상용 AI들을 조합해서 쓰는 경우가 많다. 여기에 맞는 공급사, API, 비용 정책, 모델별 특성 등 짚어야 할 부분이 많다. 마지막은 내외부 환경 변화에 대한 반응성이다. AI가 학습한 데이터는 시간이 지나면 낡는다. AI의 데이터는 계속 유지보수 및 업데이트가 필요하고, 그렇지 않으면 옛 정보를 계속 활용할 뿐이다. 기업 내부의 조직이나 업무 절차를 고도화하는 것처럼 최신 데이터 등을 주기적으로 반영해야 한다.

AI 프로젝트는 비즈니스 관점 보다는 학술적 시각으로 접근하는 게 맞다. 하지만 정책 결정자나 현장에서 필요로 하는 기능은 비즈니스적 관점이고, AI 개발팀은 이를 학술적 관점으로 접근하는 경우가 많다. AI 프로젝트를 개발하는 것도, 운용하는 것도 모두 난관일 수 밖에 없는 이유다.

‘반짝이는 물건 증후군’ 딛고 AI의 지속가능성 추구해야

랜드연구소 보고서에 응답한 AI 개발자들은 경영진이 AI를 ‘반짝이는 물건 증후군’으로 접근할 수 있음을 지적했다. 반짝이는 물건 증후군은 사람들이 새롭게 유행하는 아이디어에 집중하다가 새로운 게 등장하면 기존 아이디어를 포기하고 새 것에 몰두하는 상황을 말한다. AI가 산업 현장에서 생명력을 얻으려면 기술적 유행에 그치지 않고 지속가능한 AI로 발전시켜야 하며, 이를 위한 장기적인 관리 체계를 구축해야 한다.

세일즈포스의 사례가 대표적이다. 세일즈포스는 1999년 업계 최초로 업무용 서비스를 웹으로 제공했으며, 업계에서는 이를 최초의 서비스형 소프트웨어(SaaS)로 본다. 세일즈포스가 30여 년 가까이 고객관계관리(CRM) 업계를 선도할 수 있었던 것은 연 3회 이상의 대규모 업데이트를 통해 서비스를 최신화하고, 시장의 흐름에 따라 CRM은 물론 영업 자동화나 서비스 관리, 마케팅 자동화, 분석 도구, 전자상거래 지원 등으로 서비스를 추가하고 관리한 덕분이다.

앱익스체인지로 서비스 지원과 연동성을 확보한 점, 데이터 클라우드로 AI를 지원한 점도 세일즈포스의 장점이다. 최근에는 시장과 기업이 원한다는 판단 아래 AI CRM 기반 AI 에이전트 '에이전트 포스'까지 도입했다. 이처럼 요구에 맞춰 발전을 거듭하는 점이 세일즈포스의 시장 선도 비결이다.

AI 프로젝트의 지속 가능성을 확보하려면 세일즈포스와 유사한 방식으로 접근할 필요가 있다. 시장의 요구에 맞춰 모델의 데이터를 꾸준히 추가하고 관리하며 미세 조정한다. AI 자체도 꾸준히 변경하고, 바뀐 논리에 맞도록 새로운 운영 정책과 환경을 만든다. 운용 중인 AI의 모니터링과 관리도 철저해야 한다. 즉, 개발 시점부터 운용 과정까지 모두 고려해야 AI 프로젝트의 생존력을 확보한다.

AI 문제에 집중하는 전문 조직도 등장, 어떻게 접근하나?

AI 도입 설계부터 운용 과정이 복잡한 만큼, 최근 국내에는 이를 전문적으로 지원하는 그룹도 등장하고 있다. 대표적인 사례가 ‘렛서(Letsur)’다. 렛서는 AI 활용 교육에서부터 도입과 기획, 개발 지원은 물론 구축과 운영 전 과정을 지원하는 맞춤형 AI 비즈니스 설루션 스타트업이다. 렛서는 AI 기획 단계부터 참여해 복잡하고 모호한 기업의 AI 요구사항을 전문가 관점으로 구체화한다. AI가 일회성 구축이 아닌 지속가능하게 운영될 수 있도록 AI 운영 플랫폼 스테이엑스(Staix)로 계속 관리한다.

스테이엑스는 AI 도입 이후 운영안정성을 담보하는 운영관리 플랫폼이다. AI 운영을 위한 맞춤형 관리 환경을 제공하고, 최신 AI 모듈을 빠르게 적용한다. 보안 및 내부 관리 체계 확보, AI 성능 모니터링 및 최적화 등도 포함된다. 스테이엑스의 핵심 철학은 ‘복잡성의 내재화’다. 기업은 비즈니스 가치를 창출하며, 업무를 혁신하고, 이외의 복잡한 AI의 기술적 이슈까지 모두 파악할 필요는 없다. 이를 위해 렛서가 AI를 구축하고 스테이엑스로 서비스를 운용, 관리하며 사용자 편의를 돕는다.

운영 측면에서도 사용 규모를 가변하는 오토스케일링, 서버 부하를 분산 처리하는 로드밸런싱 등을 통해 AI 서비스가 중단되지 않도록 지원한다. 또한 기업 정책이나 개인정보보호 등 규제 사안을 준수하는 가드레일 기능, 새로운 AI 기술을 안전하게 시범 도입하기 위한 실험 환경 구축 등의 기능으로 안전하고 지속 가능한 AI를 제공한다. 이처럼 시장에서는 AI를 구축하고 마는 게 아닌 장기적 활용과 지속적 업데이트까지 돕는 방안이 자리 잡고 있다.

AI 유지보수 및 관리 플랫폼, AI 개발의 다음 단계 보여줘

아직 국내에서는 렛서처럼 AI 구축부터 유지보수까지 전 과정을 플랫폼으로 관리하는 기업은 드물다. 하지만 IT 업계는 분야를 막론하고 전문적으로 유지보수만 담당하는 기업들이 존재하므로, 그 필요성은 확고하다. 일본의 아베자(ABEJA)는 기계학습 기반 데이터 분석 및 활용·관리 플랫폼을 서비스 중이며, 미국에서도 도미노 데이터 랩(Domino Data Lab), 웨이츠 앤 바이아시스(Weights & Biases) 같은 기업들이 MLOps(기계학습 운영) 플랫폼을 바탕으로 AI 구축 및 유지관리까지 제공하기 시작 했다.

AI는 여전히 극복하기 어려운 기술적 한계가 있으며, 모든 프로세스를 자동화할 수 있는 만능 설루션은 아니다. AI로 구축할 수 있는 기획과 이를 활용하기 위한 효율적인 데이터, 그리고 정확한 운용과 꾸준한 고도화가 이뤄져야 비로소 가치를 발휘한다. 이를 위한 전문 인력을 유지하고 데이터를 지속적으로 관리하는 것은 일반 기업에게는 쉽지 않은 일이다.

이를 체계적으로 수행하기 위한 시장의 목소리가 있었기에 렛서와 같은 기업들이 등장했고, 이미 클라우드 업계에서는 CSP(클라우드 서비스 제공자) 기업이 서버를 대신 관리하는 것과 같은 이치다. 이런 이유로 가까운 시일 내에 렛서와 같은 AI 관리 전문 기업들이 확산될 것으로 전망 된다.

IT동아 남시현 기자 (sh@itdonga.com)