클라우데라(Cloudera)는 오라클, 구글, 야후, 페이스북 등에서 일했던 IT 관련 전문가들이 모여 설립한 컨설팅 회사다. 대용량의 데이터 분석·처리 기술을 기업에 판매하고 있다. 지난 24일 클라우데라는 ‘알투스(Altus)’란 명칭의 플랫폼을 공개했다.

 이 플랫폼은 기업들이 방대한 양의 업무를 수행하려 할 때 그 일을 대신해줄 수 있는 장치다. 기존의 방법이나 도구로 수집·저장·분석이 어려운 복잡한 구조의 데이터를 목적에 따라 다양한 방식으로 처리할 수 있는 능력을 지니고 있다.

 클라우데우라 관계자는 ‘알투스’의 능력이 추상(abstraction)에 기반을 두고 있다고 밝혔다. 데이터의 특성을 분석해 그 특징들을 가지고 필요한 데이터를 추출해나가는 방식이다. 인공지능을 도입해 사람이 고민해야 할 일을 대신할 수 있다는 점을 시사하고 있다.

최근 빅데이터 기술이 기업경영은 물론 개인·기업의 신용도를 분석할 정도로 업그레이드 되고 있다. ’4차 산업혁명’의 핵심 역할을 하며 산업 각 분야로부터 큰 주목을 받고 있다. 사진은 IBM의 빅데이터 분석자료를 영상화한 것이다.  ⓒ Wikipedia

빅데이터 기술로 금융 관행 바꿔놔    

 이 클라우드가 주목을 받고 있는 것은 방대한 양의 정보와 항시 접촉해야 하는 많은 기업들의 정보처리 부담을 덜어줄 수 있기 때문이다. 그동안 사람이 해오던 세무, 회계, 인사관리, 고객관리 등 복잡한 일들을 수행해나갈 수 있다.

 최근 빅데이터 기술은 금융계 풍토를 바꿔놓고 있다. 25일 ‘포브스’ 지에 따르면 신용조회 업무를 대행하고 있는 익스페리언(Experian)은 세계 전역으로부터 의뢰받은 방대한 양의 개인신용정보를 처리하기 위해 인공지능인 머신러닝 시스템을 도입했다.

 익스페리언의 배리 리벤슨(Barry Rivenson) CIO는 “이 시스템을 통해 자사가 보유한 360만 페타바이트(1 페타바이트는 100만 기가바이트)의 개인 및 기업 신용정보를 보다 정확하고 신속하게 분석·처리해나가겠다”고 말했다.

 알려져 있다시피 머신러닝이란 컴퓨터 스스로 새로운 결론을 도출해나갈 수 있도록 추론과 판단 기능을 부여한 알고리듬이다. 사람처럼 바둑을 두면서 바둑계 최강자로 부상한 구글의 인공지능 ‘알파고’를 생각하면 된다.

 슈퍼컴퓨터 수천 대가 연결된 이 머신러닝이 24시간 가동될 경우 기업과 개인의 재정 상태를 보다 더 정확히 분석하고 어떤 정도의 금융거래가 가능한 것인지 추정이 가능하다. 금융권에서 가장 중요시 하는 데이터인 신용도가 결정되는 셈이다.

 리벤슨 CIO는 “익스페리언이 금융권 최초로 머신러닝을 도입했다”고 말했다. ‘4차 산업혁명’의 물결이 금융권에 몰아치고 있음을 말해주고 있다. 이런 변화는 향후 인간 삶에 큰 변화가 다가올 것을 예고하고 있다.

실리콘밸리, 빅데이터 칩 개발 경쟁    

 가장 가깝게 다가오고 있는 것이 스마트폰 앱이다. 은행 등과 연결된 모바일 앱을 통해 이미 개인·기업과 빅데이터가 연결돼 있다. 은행 창구에 가지 않고서도 언제 어디서든지 금융거래 가능한 시대가 됐다.

 익스페리언의 머신러닝 도입은 그동안 사람을 중심으로 소규모 작업을 해오던 정보처리 과정을 인공지능에게 의뢰하겠다는 것이다. 세계 금융가에 ‘알파고’와 같은 천하무적의 정보처리 시스템이 도입되는 셈이다.

 최근 빅데이터 기술 발전은 상상을 초월할 정도다. 25일 IT 전문매체 ‘EE타임즈’는 아마존, 구글, 페이스북 등 실리콘밸리의 거인들이 빅데이터를 보다 더 신속·정확하게 처리할 수 있는 칩을 개발하고 있다고 전했다.

 최근 개발되고 있는 칩들을 보면 기존 칩과 비교해 100배 이상 뛰어난 성능을 보여주고 있다. 엄청난 투자도 이어지고 있다. 인텔의 경우 새로운 인공지능 기술을 빅데이터 처리용 칩에 적용하기 위해 스타트업을 3개나 인수했다.

 공룡 기업들이 빅데이터 기술에 막대한 투자를 거듭하고 있는 이유는 인터넷 사용량이 급증하면서 빅데이터 기술 수요가 급팽창하고 있기 때문이다. 많은 기업들이 소비자 반응을 살피고 마케팅 전략을 세우는데 빅데이터를 활용하기 시작했다.

 독일 경제 일간지 ‘한델스블라트’가 자체 ‘스타테스티아(statistia)’ 등과 협력해 산출한 빅데이터 활용도를 보면 지난 2016년 주요 기업들 중 100%가 기업 데이터를 활용하고 있는 것으로 나타났다.

세계 빅데이터 시장 5년간 168% 성장    

 이어 고객 데이터 활용도는 86%, 시스템 데이터 활용도는 79%, 공공 데이터 활용도는 70%로 나타났다. 이는 거의 대다수 기업들이 기업을 운영하면서 다양한 분야의 빅데이터를 활용하고 있음을 말해주고 있다.

 그러나 기술적으로 보면 빅데이터 분석은 아직 초기 단계다. 프라운호퍼 연구소(IAIS)의 빅데이터 전문가 디크 헥커(Dr. Dirk Hecker) 씨는 “최종소비자를 대상으로 한 라이프스타일 분석 및 연구가 독일 자동차 제조사에게도 아직 도입 초기”라고 말했다.

 그러나 “ 향후 자동차 산업 분야 내 개별 차량 제조 및 고객관리와 관련해 빅데이터 분석 없이는 불가능하다”며 빅데이터 기술이 향후 산업 전반에 큰 변화를 가져올 것이라고 전망했다.  빅데이터 활용이 늘어나면서 기술 시장 규모도 팽창하고 있다.

 2019년 빅데이터 기술 시장 규모는 2014년 183억 달러 대비 168% 증가한 490억 달러에 이를 것으로 예상했다. 현재 빅데이터 솔루션을 제공하는 기업 가운데 미국 IBM이 압도적인 우위를 점하고 있다.

 2위인 독일의 ‘SAP’, 아일랜드의 ‘액센츄어(Accenture)를 제외하고는 대부분의 시장을 미국 기업이 주도할 만큼 기술이 편중돼 있다. 미국을 중심으로 21세기 산업구조를 바꾸어놓을 빅데이터 혁명이 이어지고 있다.

이강봉 객원기자 / aacc409@naver.com / 2017.05.26 ⓒ ScienceTimes