대화형 인공지능 구현을 위한 기반, 대형 언어 모델(LLM)이란?

[IT동아 남시현 기자] GPT는 사전 학습된 생성형 트랜스포머(Generative Pre-trained Transformer)의 약자다. GPT 등장 이전에는 생성적 사전 훈련(GP)이라는 말이 쓰였는데, 2018년 오픈AI가 GPT-1을 공개하면서 GPT로 쓰이기 시작했다. GPT는 수집한 데이터를 사전에 훈련해둔 다음, 사용자가 요청을 하면 제공하는 방식을 활용해 빠르게 대답을 내놓을 수 있는 게 특징이다. 이 방식이 챗GPT에 적용되면서 GPT는 인공지능 업계에서 대명사처럼 쓰이기 시작한다.

하지만 올해 4월, 오픈AI는 가이드라인을 통해 특정 서비스 명에 GPT라는 이름을 붙일 수 없게 하겠다고 발표했다. GPT라는 개념 자체가 널리 퍼지자 상표권을 행사하겠다는 취지다. 언어 모델 개발사는 GPT라는 이름을 그대로 쓸 수 없고, GPT로 개발된, GPT로 서비스되는 등의 구식어를 붙어야 한다. GPT라는 이름을 사용하기 곤란해지면서 업계에서는 보다 크고 포괄적 개념인 대형 언어 모델(Large Language Model, LLM)이라는 단어를 본격적으로 활용하기 시작한다.

수십~수천억 개의 언어 모델로 구성된 대형 언어 모델

언어 모델은 단어나 문장이 복잡하게 배열돼 있을 때, 문장의 구성이 통계학적으로 가장 일반적으로 쓰이는 형태를 취하도록 학습된 모델이다. 대형 언어 모델은 이런 언어 모델을 수 억에서 수천억 개 단위로 모아놓은 것이다. 2018년 출시된 구글의 BERT는 33억 개의 단어와 3억 4천만 개의 언어 모델로 구성됐고, 본격적으로 이름을 알리기 시작한 GPT-3는 약 1750억 개의 언어 모델로 구성된다. 구글의 최신 모델인 PaLM 2는 3400억 개의 매개 변수를 사용하고, 화웨이의 판구-Σ는 1조 850억 개를 사용했다고 알려져 있다.

대형 언어 모델이 동작하는 방식은 데이터를 수집한 다음, 계산해서 제공하는 것이다. 우선 데이터는 온라인상에 있는 글과 논문, 뉴스, 서적 등으로 수집하며, 이를 사전 훈련이라고 한다. 매개변수라고 지칭하는 단위가 바로 이 데이터의 양이다. 그 다음 장치를 통해 언어 데이터의 구조와 단어의 의미, 어떤 상황에서 사용되는지 학습하고, 적절한 값으로 제공할 수 있도록 미세 조정한다. 사용자가 질문을 하면 이를 추론하고 저장된 매개변수에서 적절한 값을 생성해 제공한다.

현재 개발되고 있는 다양한 대형 언어 모델은 자연어가 사용되는 다양한 분야에서 애플리케이션 형태로 쓸 수 있게 제공된다. 지난 7월 공개된 구글의 의료 전문 LLM인 메드-PaLM은 미국 의사면허시험 양식 질문에서 전문가 수준의 성능을 발휘해 복잡하고 어려운 의학적 질문에 대해서도 짧거나 긴 형태로 답변을 받을 수 있다. 또한 의료 보험이나 임상 시험 지원, 암 검진 등에 대해서도 실용적인 대답을 얻을 수 있다.

고객관계관리(CRM) 기업 세일즈포스는 비용 및 주문 가치를 개선하는 커머스 GPT, 영업 담당자에게 필요한 업무 절차를 지원하는 세일즈 GPT, 실시간 데이터를 기반으로 개인화된 응답을 자동으로 제공하는 서비스 GPT와 필드 서비스 GPT 등으로 구성된 아인슈타인 GPT를 활용하고 있다. 인공지능 학습 플랫폼 ‘콴다’의 운영사 매스프레소의 경우에는 학습 수준과 맥락에 맞게 상호작용하고, 도형, 그래프, 손글씨까지 인식하는 기술을 더해 AI 보조 교사인 ‘AI 튜터’의 성능을 고도화할 예정이다.

대형 언어 모델의 현재 진행 상황은?

오픈AI의 GPT가 생성형 AI의 문을 연 것은 맞지만, 시장의 분위기는 구글, 그리고 메타가 이끌어갈 전망이다. 메타는 올해 2월 LLaMA(Large Language Model Meta AI)라는 이름의 대형 언어 모델을 공개했다. 이 모델은 70억 개부터 650억 개 매개변수로 구성된 모델이 있으며, 비상업적 목적으로 제공됐다. 이후 7월에 마이크로소프트와 협력한 LLaMA-2를 공개했다. LLaMA-2는 기존 모델을 고도화함과 동시에 상업적 사용까지 무료로 제공되는 게 특징이다. 전반적인 성능은 GPT보다 우위로 평가되고 있는데, 무료로 쓸 수 있는 만큼 상당한 시장 장악력을 발휘할 것으로 평가받고 있다.

구글의 PaLM(Pathways Language Model)은 5400억 개의 매개변수가 포함된 대형 언어 모델이다. 2022년 4월 처음 발표된 이후 꾸준히 고도화하고 있으며, 지난 7월에 의료 분야에서 활용할 수 있는 메드-PaLM으로 공개됐다. 또한 로봇 조작에 사용할 수 있는 PaLM-E라는 모델도 공개됐고, 음성을 다른 음성으로 변환하는 오디오PaLM도 있다.

2세대 버전인 PaLM 2는 구글의 대화 생성형 AI인 바드(Bard)를 지원하고, 자바스크립트나 파이썬 등 20개의 프로그래밍 언어를 훈련해 코딩 용도로도 쓸 수 있다. 구글은 메타와 달리 신중하게 서비스를 공개하고 있지만, 구글 검색엔진 자체의 점유율과 100개 이상의 언어를 지원하는 성능으로 뒷심을 발휘할 것으로 예상된다.

국내에서는 네이버의 클로바X가 강세다. 클로바X는 2040억 개의 매개변수를 갖췄으며, 한국어에 특화된 모습을 보여준다. 핵심 기능은 생성형 AI 검색 ‘큐(CUE):’로 접할 수 있으며, 네이버 내외부에 구축된 다양한 API를 연결하는 시스템 ‘스킬(skill)’을 통해 언어모델 자체의 한계를 보완한다. 물론 초기 공개 이후 가치판단이 필요한 답변을 피하거나, 국문을 제대로 이해하지 못하고 엉뚱한 답변을 제공하는 등의 모습을 보이면서 부정적인 평가를 받고 있으나, 한국어 기반이라는 강점을 내세우며 차근차근 성장하리라 본다.

인공지능 산업의 중심 된 대형 언어 모델

대형 언어 모델이 주목받고 있는 이유는 실용성 덕분이다. 이미 구글과 메타는 십수 년 전부터 인공지능을 개발해 왔지만, 연구 과정은 비밀에 부쳐왔다. 개발은 하되, 어디에 어떻게 쓰일지를 보여주지 않는 식으로 이목을 피해왔다. 하지만 오픈AI가 GPT3로 대화형 인공지능이라는 새로운 활용 방안을 제시했고, 누구나 체감할 수 있는 방식으로 인공지능을 접하게 되면서 주목을 받는 것이다.

하지만 대형 언어 모델의 가장 큰 한계는 명확한 목표를 두고 개발하는 것이 아니라는 점이다. 대형 언어 모델을 활용한 생성형 AI 역시 자율적인 사고가 가능한 인공 일반지능 구현이 궁극적 목표긴 하나, 지금의 언어 모델은 어떤 상한선이 규정되지도 않고 달성 가능한 목표가 수립된 것도 아니다. 아무리 완벽하고 고도화되어도 데이터에 없는 해답을 내놓을 수는 없는 게 한계다.

대형 언어 모델 자체의 목표가 불투명하다 보니 현 상황에서는 대다수 기업들이 매개변수 규모를 키우고, 큰 언어 모델을 기반으로 원하는 대답을 내놓는 것에 초점을 맞추고 있다. 하지만 매개변수를 늘리고 활용도가 많아질수록 많은 자원이 소비되고, 이 비용은 기업이 부담하게 된다. 메타의 경우 개방적이면서도 효율적인 기초 언어 모델 구현을 목표로 한다. 인공 일반지능이 구현되지 않는다면 대다수 모델이 메타처럼 생태계를 구축하고 보다 효율적으로 진화하는 방향을 목표로 잡으리라 본다.

글 / IT동아 남시현 (sh@itdonga.com)