데이터를 지배하는 자, 세상을 얻는다 - 빅데이터

전세계에 걸쳐 트위터는 하루 평균 3억 5,000만 건 트윗(tweet)이 발생하고, 페이스북 콘텐츠도 25억 개 이상 게시되고 있다. 동영상 콘텐츠도 30초마다 한 개씩 유튜브에 올라오며, 카카오톡으로 하루에 약 40억 개의 메시지가 이동한다. 지난 해 전세계에서 약 2조GB(1GB=1,024MB)의 데이터가 생산된 것으로 집계됐다. 우리나라도 작년 한해 약 280억GB의 데이터가 생산, 소비됐다. 우리나라 5,000만 국민 모두가 560편의 DVD급 영화를 본 셈이다. 최근 들어 이러한 엄청난 양의 데이터를 관리, 제어함으로써 산업 전반의 트렌드를 파악할 수 있는 데이터 분석 기술이 각광을 받고 있다. IT분야에서는 이를 '빅데이터(Big Data)'로 부르고, 근미래 디지털 시대를 주도할 핵심 요소로 보고 있다.

빅데이터의 조건 - 대량 데이터, 다양한 형태, 고속 이동

빅데이터는 용량이나 수량 등 수치적 의미 외에 데이터의 형태와 이동 속도 등의 조건이 모두 충족돼야 한다. 즉 방대한 용량의 데이터가 다양한 형태(방식)로 빠르게 생성, 이동해야 빅데이터로서 의미가 있다. 현재는 빠른 인터넷 속도에 따라 전송되는 데이터 용량도 폭발적으로 증가하고 있으며, 그 형태도 텍스트, 이미지, 음성, 동영상 등으로 다양하다. 이러한 데이터가 트위터나 페이스북, 카카오톡과 같은 SNS를 통해 전세계에 신속하게 퍼져 나가니 빅데이터의 구성 조건인 '3V(Volume-양, Variety-형태, Velocity-속도)'에 충족한다. 하지만 이 때문에 이들 데이터를 분석, 제어하는 데는 엄청난 기술력이 필요하다.

빅데이터를 체계적으로 분석하고 활용한다면 기업이나 국가의 미래를 결정할 결정적인 요소가 될 수 있다. 빅데이터 분석 기술이 공개되면서 이를 통해 경제 예측이나 비용 절감, 여론 감지, 트렌드 분석 등이 가능하기 때문이다. 예를 들어, 포털 사이트의 검색 기록을 토대로 독감이나 바이러스 유행 지역을 의료기관보다 빨리 파악할 수 있다. 또한 SNS를 통해 선거 결과를 예측하거나 유권자 반응을 예상할 수 있다.

이러한 데이터 분석 기술을 적용하려면 모든 데이터를 한 곳에 저장할 수 있는 대용량 저장기술도 필요하다. 저장장치 역시 최근 들어 저장능력은 향상되고 가격은 떨어지면서 빅데이터 저장이 더욱 용이해졌다. 10여 만 원짜리 1TB(테라바이트, 약 1,000GB) 하드디스크 10개 정도로 약 1억 권 이상의 서적 정보를 기록할 수 있다. 더불어 비연속성/비연관성 데이터를 분류하여 분석 처리하는 '마이닝(mining) 기법'을 통해 데이터 간의 연관성까지 부여하면 비로소 가치 있는 ‘정보’로서 재탄생된다.

세상은 이미 빅데이터 전쟁 중

빅데이터 시대의 도래를 예견하고 진작부터 착실히 대응한 기업이 적지 않다. 빅데이터를 완벽하게 활용하면 시장을 지배할 것이라는 확신 때문이다. 늘 그렇듯 국내 기업보다는 외국계 기업이 한발 앞서 있다. 세계 최대의 온라인 쇼핑몰인 ‘아마존닷컴’은 고객이 구입한 서적 정보를 분석하여, 구매예상 서적을 추천하고 그에 맞는 쿠폰을 제공해 추가 구매를 유도한다. 수 많은 구매 데이터를 토대로 고객의 구매 성향과 잠재적 구매를 파악, 예측하는 것이다. 미국 최대의 미디어 콘텐츠 업체인 '넷플릭스' 역시 자사가 보유하고 있는 10만 여 개의 영화 콘텐츠와 1,600만 명의 고객 정보를 분석, 연결하여 하루 평균 50억 개 이상의 영화 추천 정보를 생산한다. 물론 이러한 시도는 추가 매출로 이어 지고 있다.

뿐만 아니라 미국의 대형통신사인 'T-모바일'은 가입자 이탈/이동을 방지하고자 3,000만 명이 넘는 가입자의 통화 데이터를 전면 분석하여 가입자 이탈 위험을 예측하는 시스템을 개발했다. 하루에 200억 건에 달하는 송수신 내역을 분석함으로써 가입자의 이용 상황과 충실도, 만족도 등을 파악하는 것이다. 빅데이터 분석은 제조업 분야에서도 유효하다. 세계적인 자동차 제조사인 ‘볼보’는 차량 내부에 갖가지 센서를 부착하여 이를 통해 수집되는 차량 운행 데이터를 분석함으로써, 생산 과정에서 발견하기 어려운 결함을 잡아 내는데 성공했다.

이외에도 많은 글로벌 기업이 빅데이터의 중요함을 깨닫고, 그동안 무심코 흘려 보냈던 데이터를 하나로 수집하고 분석하는데 총력을 다하고 있다. 그렇다면 ‘IT강국’임을 자부하고 있는 우리나라는 빅데이터에 어떻게 대응하고 있을까?

우리나라, 데이터는 '빅', 준비는 '스몰'

애석하게도 세계 최고 수준의 IT 인프라를 갖춘 우리나라는 빅데이터에 대해 아직까지는 관조적인 상태다. 기존의 고객정보 활용법(CRM 등)과 크게 다르지 않다는 것이 지배적인 의견이다. 물론 몇몇 기업(주로 IT 관련)은 빅데이터에 대해 긍정적인 분석 활동을 보이고 있지만 아직은 걸음마 단계에 머물러 있다. 빅데이터에 대한 인식 부족과 안일한 반응 때문이다. 이와 관련된 기술과 인력, 제도적 지원이 부실한 점도 지적할 수 있다. 전세계 어느 나라보다 하루 데이터 생산량이 높지만, 이를 수집, 공유, 분석하는 기술력은 턱 없이 부족한 것이다.

그래도 우리나라는 급성장이 가능한 여건은 갖추고 있으니 이제라도 하나하나 개선한다면 금세 입지를 다질 수 있다. 우선 앞서 지적했듯 빅데이터 관련 기술력 강화가 시급하다. 이를 위해서는 빅데이터 전문 인력을 적극 육성해야 한다. 데이터 전문가와 함께 의료, 회계, 법무 등 여러 분야의 데이터를 수집, 분석할 수 있는 이들도 필요하다. 또한 이들이 진취적인 분석 활동을 유지할 수 있도록 정부 지원 대책도 하루바삐 마련돼야 한다. 이를 통해 여러 기업이 자유롭게 활용할 수 있는 공용의 빅데이터 체계를 구축해야 하는 것이다. 단 이들 기업이 빅데이터 내 개인정보를 어느 범위까지 활용케 할 지 명확한 기준이 우선 정립돼야 할 것이다.

글 / IT동아 이문규(munch@itdonga.com)