[기고] '지속 가능'한 AI 데이터센터 구축 위한 세 가지 접근법

[IT동아]

최근 데이터센터 업계에서 가장 자주 언급되는 키워드는 ‘전력’이다. GPU 서버 한 랙이 수십 킬로와트를 소비하는 시대, 데이터센터 운영은 이제 에너지 싸움이 됐다. 잘 구축하고 안정적으로 운영하는 것을 넘어, 동일한 성능을 유지하면서도 전력 사용을 얼마나 효율적으로 줄일 수 있는지가 관건이다.

AI 데이터센터의 전력 문제, 기술 과제가 아닌 경영 리스크

AI 데이터센터의 전력 부담은 이미 현실이 됐다. 예를 들어 엔비디아 B200 GPU 하나는 최대 약 1,000W(와트)의 전력을 소비한다. 이를 8개 탑재한 서버 한 대의 소비 전력은 소형 공장과 맞먹는다. 이 서버가 랙 단위로 배치되면 전력 밀도는 수십 킬로와트까지 치솟는다. 이런 환경의 열 부하는 기존 공랭 방식만으로는 안정적으로 제어하기 어렵다.

이는 특정 기업이나 지역에 국한된 문제가 아니다. 국내에서도 AI 인프라 투자가 급증하면서 전력 인프라와 냉각 설계의 중요성이 함께 커지고 있다. 정부의 ‘AI 컴퓨팅 인프라 확충’ 전략에 맞춰 민간 클라우드 사업자와 대형 포털, 통신사가 GPU 클러스터 증설에 나서고 있지만, 일부 수도권 지역에서는 전력 공급 여력 부족이 신규 데이터센터 구축 인허가의 걸림돌로 작용한다.

문제는 이런 추세가 단기간에 완화되기 어렵다는 점이다. AI 모델은 계속 대형화되고, 추론 수요 역시 빠르게 늘고 있다. ‘더 강한 GPU를 더 많이’라는 방향만 고집하면 전력 비용과 냉각 부담은 고스란히 운영 리스크로 이어질 수 있다. 효율을 확보하지 못하면 AI 인프라 투자의 지속 가능성 자체가 흔들릴 수 있다.

냉각부터 운영까지, 에너지 효율을 높이는 세 가지 접근법

AI 데이터센터의 에너지 효율을 높이기 위한 접근은 크게 하드웨어, 소프트웨어, 시스템 수준으로 나눌 수 있다.

1.하드웨어 - 액체 냉각이 대세가 된 이유

하드웨어 측면에서는 콜드 플레이트 방식의 액체 냉각이 현실적인 대안으로 떠오른다. 데이터센터 전체 전력 소비의 80% 이상을 차지하는 프로세서와 메모리를 직접 냉각하는 콜드 플레이트 방식은 열 방출 효율이 높고 PUE(전력 사용 효율)를 낮출 수 있다는 장점이 있다.

특히 AI 학습·추론 클러스터와 HPC(고성능 컴퓨팅) 센터, 고밀도 클라우드 환경처럼 기존 공랭 방식이 한계에 도달한 영역에서 진가를 발휘한다. 다만 공기 대신 물을 쓴다는 것은 설계 전반을 바꾼다는 뜻이기도 하다. 전력 배전과 HVAC(냉난방공조) 경로 설계, 구조적 하중, 기류 관리 등 복합적인 전문 지식을 요구하는 만큼 도입 전 충분한 기술 검토가 필요하다.

2.소프트웨어 - 보이지 않는 낭비를 잡아라

소프트웨어 영역의 개선 여지도 상당하다. AI 데이터센터에서 큰 낭비 중 하나는 GPU가 유휴 상태로 전력을 소비하는 경우다. 문제는 기존 모니터링 시스템이 AI 워크로드에 필요한 수준의 가시성을 제공하지 못한다는 점이다.

AI 데이터센터에는 장애 추적과 3D 시각화, 이상 징후 사전 감지, 애플리케이션과 네트워크 간 의존성 분석, 운영 자동화까지 통합적으로 지원하는 관리 체계가 필요하다. 특히 IT 전력 데이터와 냉각·시설 데이터를 함께 분석하는 통합 모니터링이 핵심이다. 이를 통해 PUE를 낮추고 탄소 배출 관리까지 가능해진다.

또 하나의 핵심은 GPU 활용률 극대화다. 고급 리소스 관리 레이어를 통해 컴퓨팅 파워와 메모리를 워크로드별로 정밀하게 분할·할당하면 전체 활용률을 70% 이상으로 끌어올릴 수 있다. 여기에 지능형 태스크 스케줄링을 적용하면 처리량이 높아지고 유휴 전력 낭비를 줄일 수 있다.

3.시스템 수준 - 튜닝으로 성능을 20% 더 끌어올린다

시스템 수준의 성능 튜닝은 AI 데이터센터 효율화의 또 다른 핵심 축이다. 단일 노드부터 크로스 랙 시스템까지 종합적인 벤치마킹과 검증을 거쳐 액세스 경로와 메모리 할당, I/O 가속, 네트워크 프로토콜 스택을 최적화하면 부동소수점 연산과 병렬 통신, 모델 학습 효율 등 핵심 지표에서 기존 베어메탈 대비 최대 20%의 성능 향상을 달성할 수 있다.

‘20%의 성능 향상은 곧 20%의 전력 절감’으로 이어진다. 동일한 작업을 더 짧은 시간에 처리할 수 있는 만큼, 결과적으로 전력 사용 시간 자체를 줄이는 효과로 연결되기 때문이다. 성능 최적화가 곧 에너지 효율 개선과 직결되는 셈이다.

액체 냉각 데이터센터 구축, 기술만으로는 부족하다

액체 냉각 기반 AI 데이터센터 구축은 단순한 기술 과제가 아니라 운영 체계 전반을 아우르는 종합적인 문제다. 완전한 액체 냉각 시스템을 구현하려면 전력과 IT, 액체 냉각, HVAC, 누수 방지 등 다양한 영역에 대한 통합적 이해와 정교한 조율이 필요하다. 내부 역량으로 추진하든 외부 전문 파트너와 협력하든, 충분한 사전 준비와 실행 가능한 역량 확보가 전제되어야 한다.

최근에는 캐비닛 수준에서 완전히 사전 제작(prefabricated)된 액체 냉각 시스템이 주목받고 있다. 이 방식에서는 액체 냉각 서버와 퀵 커플링, 분배기, 냉각수 분배 장치(CDU) 등 핵심 구성 요소의 시스템 통합과 압력 테스트, 냉각수 준비 작업이 공장에서 사전에 완료된다. 이른바 ‘캐비닛-애즈-어-시스템(cabinet-as-a-system)’ 구조다. 이러한 접근은 설치 시간을 수일에서 수 시간으로 획기적으로 단축한다. 이는 곧 프로젝트 리스크를 낮추고 운영 개시 시점을 앞당기며, 설치 과정에서 발생하는 환경 영향까지 최소화하는 효과로 이어진다.

결국 선택의 문제, IT 의사결정자가 고려해야 할 기준

AI 데이터센터 구축 또는 고도화를 추진하는 조직이라면 에너지 효율을 핵심 기준으로 고려해야 한다. 이는 단순한 운영 비용 절감을 넘어 ESG 대응 수준에도 직접적인 영향을 미친다.

하드웨어 선정 단계에서는 성능뿐 아니라 냉각 방식과 PUE 목표, 랙 전력 밀도까지 종합적으로 검토해야 한다. 소프트웨어 측면에서는 운영 가시성을 확보하고 GPU 활용률을 높일 수 있는 관리 체계가 갖춰져 있는지 점검해야 한다. 시스템 차원에서는 사전 벤치마킹과 성능 최적화 계획이 마련돼 있는지 살펴야 하며, 구축 방식에서도 전통적인 현장 통합 방식과 사전 제작 시스템 중 어떤 접근이 더 적합한지 전략적으로 비교·검토하는 것이 중요하다.

AI 인프라 경쟁력은 더 이상 GPU 성능만으로 결정되지 않는다. 결국 같은 전력으로 얼마나 많은 성과를 만들어내고, 그 효율을 얼마나 지속적으로 유지할 수 있느냐가 승부를 가른다.

나한돌 케이투스(KAYTUS) 코리아 엔터프라이즈 사업부 기술 총괄 이사

데이터센터 및 서버 기술 분야에서 20년 이상 경력을 쌓은 전문가로, 기업 고객을 대상으로 한 기술 컨설팅을 총괄하고 있다. 케이투스 합류 전에는 서버 전문가로 15년 이상 활동했으며, 델 테크놀로지스에서 3년간 기업 고객 대상 기술 영업을 담당했다.

정리 / IT동아 이문규 기자 (munch@itdonga.com)