인텔, 빠른 빅데이터 처리를 위한 아파치 하둡 SW 출시

인텔이 빅데이터를 활용할 수 있도록 돕는 '인텔 아파치 하둡 소프트웨어'를 출시했다고 27일 밝혔다. 하둡(Hadoop)은 다양하고 많은 양의 데이터를 서버 클러스터에서 저장하고 처리하기 위한 오픈 소스 프레임워크로, MS, 오라클, 테라데이터 등 빅데이터 관련 업체들이 활용 중이다. 빅데이터 관리에 적합한 플랫폼으로 선호되고 있다. 향후 보다 많은 정보를 처리하기 위해 프레임워크는 반드시 확장이 가능한 공개 플랫폼으로 유지되어야 하고, 엔터프라이즈급 성능, 보안, 손쉬운 관리 능력 등을 갖춰야 한다고 인텔 관계자는 전했다.

인텔 아파치 하둡 소프트웨어는 인텔 제온 프로세서에 포함된 인텔 AES-NI 기술을 활용해 데이터 전체 암호화를 할 수 있고, 하둡 분산 파일 시스템(Hadoop Distributed File System)의 실리콘 기반 암호화(silicon-based encryption)를 통해 성능 저하 없이 빠르게 데이터 세트 분석을 할 수 있다.

인텔 아파치 하둡의 기반인 인텔 제온 프로세서 플랫폼은 빠른 분석 기능을 제공한다. 과거 1테라바이트(Tera Byte)의 데이터 분석은 4시간 이상의 처리 시간을 필요로 했지만, 인텔 아파치 하둡과 제온 프로세서 플랫폼을 조합하면 7분만에 처리할 수 있다. 예를 들어 병원의 수백만 건에 이르는 전자적 의료 기록을 분석해 약물의 효능, 약물의 상호작용, 권장 투여량, 잠재적인 부작용 등을 파악하고, 이를 활용해 의사들이 효율적인 결정을 내릴 수 있도록 돕는다. 물론 분석과정에서 필수인 보안 및 개인 정보 보호 등도 준수한다.

새로운 응용프로그램 설치를 빠르고 효울 적으로 할 수 있도록 클러스터 구현, 구성, 감시를 더 효율적으로 처리할 수 있도록 했다. 예전에는 이 작업을 위해 시스템 자원 이용 관련 전문 지식이 필요했지만, 아파치 하둡 소프트웨어는 내장된 인텔 하둡 액티브 튜너(Intel Active Tuner for Hadoop) 기능을 활용해 최적의 성능을 자동 구성한다.

인텔 데이터센터 소프트웨어 부문 보이드 데이비스(Boyd Davis) 부사장은 "사람과 기계가 악천후를 정확하게 예측하고 불치병을 위한 맞춤 치료법을 개발하는 등 다양한 방식으로 인간의 삶을 향상시켜 줄 수 있는 가치 있는 정보(빅데이터)를 만들어내고 있다"며, "인텔은 이러한 빅데이터를 효율적으로 처리할 수 있는 기반을 마련하고자 오픈 소스 커뮤니티 지원에 전력을 다하고 있다"고 말했다.

글 / IT동아 강일용(zero@itdonga.com)