2학년 4반

LG CNS의 빅데이터 담당 직원이 하드웨어와 소프트웨어를 결합한 일체형 빅데이터 분석 플랫폼(SBP 어플라이언스)을 점검하고 있다. <제공: LG CNS>

지구촌은 인터넷과 모바일 기기로 실시간 끊임없이 소통하고 있다. 소통은 흔적(데이터)을 남긴다. 통화와 문자메시지, 이메일, 동영상, 블로그, 트위터, 페이스북, 유튜브 등 ‘손가락’의 흔적들이 세계 곳곳의 데이터망에 자동으로 저장되고 있다.

바야흐로 ‘빅데이터(Big Data)’ 시대다. 그러나 빅데이터는 어마어마하게 많은 양의 데이터만을 의미하지 않는다. 디지털 환경에서 기하급수적으로 늘어나는 빅데이터에는 또다른 특징이 있다. 정치·경제·사회·문화 할 것 없이 규모가 방대하기도 하지만 데이터 생성 주기가 짧고 데이터 속도는 빨라지고 있다. 문자와 영상, 그림, 음악까지 데이터 종류도 다양해지고 있다.

전문가들은 ‘빅데이터’를 “정보화 사회의 원유(Oil)”에 비유하고 있다. 기름이 없으면 기계가 작동하지 않듯, 기름이 없으면 부가가치가 높은 각종 제품을 만들어내지 못하듯, 디지털시대에 빅데이터만큼 중요한 자산은 없다는 것이다.

어떤 사람들이 어떤 분야에 관심이 있는지, 자주 찾는 정보는 무엇인지, 한번 찾으면 얼마 동안 머무는지, 경쟁사회에서 살아남으려면 개인이건 기업이건 빅데이터를 부가가치가 높은 소중한 자산으로 만들어야 경쟁사회에서 살아남을 수 있다는 얘기다. 방대한 규모의 빅데이터를 쓸모 있고 가치있게 만드는 사람들. ‘빅데이터 분석가(Big Data Analyst)’ 또는 ‘디지털 사이언티스트(Digital Scientist)’들이 주목받고 있다.

‘빅데이터’라는 용어는 3년여 전 미국 실리콘밸리에서 처음 등장했다. 2012년 시장조사기관인 가트너그룹이 빅데이터를 세계 10대 기술로 선정하면서 빅데이터 분석가라는 직업에 관심이 모아졌다. 빅데이터 분석가는 수많은 데이터 속에서 트렌드를 읽어내 부가가치가 높은 결과물을 도출해내는 일을 담당한다. 대량의 빅데이터를 관리하고 분석해 사람들의 행동패턴이나 시장 경제상황 등을 예측하기도 한다. 페이스북과 트위터 등 SNS(Social Network Service)로 주고 받는 문자나 몇 개의 키워드로 상대방의 성향을 파악할 수도 있다.

업계 전문가들은 “빅데이터 분석가는 기본적으로 통계학에 대한 지식과 비즈니스 컨설팅에 대한 이해, 데이터 분석을 위한 설계기법 활용 등에 관한 전문적인 역량이 필요하다”고 말한다. 여기저기 흩어져 있는 데이터를 모으고 가공하려면 데이터 처리 능력이 우선 필요하다는 것이다. 또 데이터 분석에 필요한 가설·모형을 만들고, 결과를 도출한 뒤에는 분석할 줄도 알아야 한다. 김지현 신한카드 빅데이터센터 마케팅파트장은 “요즘 고객관련 데이터는 인터넷사이트, 블로그, 상담내용, SNS, 댓글 등 헤아릴 수 없다”며 “최신 유행흐름과 기획아이디어를 찾는다는 점에서 특히 젊은 청년들이 창의성을 발휘하기 좋은 유망직업”이라고 말했다.

빅데이터 분석가는 실시간 쏟아지는 빅데이터를 어떻게, 어디에 활용할 것인지 기획하는 일부터 시작한다. 예를 들어 모바일 쇼핑몰을 운영한다면 요즘 젊은이들 또는 중년층이 즐겨 찾는 키워드는 무엇이고, 어느 사이트에서 얼마나 머물며, 실제 구매하는 데는 가격과 상품 평가 중 어떤 요인이 영향을 미치는지 사전에 분석해 보는 것이다.

일단 기획안을 세웠다면 분석할 빅데이터의 자원을 찾고, 프로그램을 짠 뒤 통계학적으로 분석하는 작업을 거쳐야 한다. 대용량의 데이터를 처리하는 플랫폼을 통해 빅데이터를 처리한 뒤에는 결과물을 시각화한다. 결과물을 다양한 분야에서 활용하려면 통제 변인 등 키워드를 바꾸면 된다.

빅데이터 분석가는 최신 유행이나 트렌드를 많이 다루기 때문에 세계 각 기업이나 분야별 시장동향을 수시로 파악할 수 있어야 한다. 또 세계 각국의 빅데이터와 관련한 새로운 기술과 내용, 기사와 논문 등을 신속하게 찾아내는 것도 중요하다.

국내 빅데이터 분석가들은 대기업 또는 검색 포털사이트 등 IT 업체, 전문 데이터분석 업체 등에서 활동하고 있다. 삼성, LG 등 대기업 계열사를 비롯한 신한카드, 국민카드 등 금융업계가 앞다퉈 빅데이터 전담부서를 설치하고 있다. 팀원은 부서당 30명에서 많게는 100명까지 구성된다. LG CNS의 임동휘과장은 “빅데이터 전문가는 실시간 데이터를 수집해 저장하는 것은 물론 데이터를 분석하고 시각화해 사업경쟁력 방안까지 도출해야 한다”며 “엄청난 양의 빅데이터를 의미 있는 분석결과로 도출해 내는 것이 주요 업무라고 할 수 있다”고 말했다.

최근 수요가 늘면서 기업은 생산성 향상과 매출 확대를, 정부는 공공기관 서비스 효율을 높이기 위해 빅데이터 분석가를 찾고 있지만 인력은 턱없이 부족하다. 아직은 외부에서 IT전문가를 스카우트하거나 사내 마케팅 직원을 재교육 시키는 수준에 머물고 있다. 때문에 연봉 수준은 현재는 따로 없다. 삼성 등 대기업을 비롯한 신한카드 등 금융업계의 신입사원 초봉이 4000만원대다. 빅데이터 분석가라도 급여는 일반 직장인과 똑같다고 보면 된다.

주목할 점은 고객관계관리(CRM, Customer Relationship Management) 전문가와 다소 차이가 있다는 것이다. 기존 CRM은 고객유지 또는 이탈방지에 힘썼다면 빅데이터 분석가는 자사고객 데이터뿐 아니라 제휴회사의 데이터를 활용해 가상고객과 미래 시장상황까지 예측하는 것이 다르다. 고객의 라이프스타일에 맞는 상품을 미리 찾아내 쿠폰을 발송하고, 반송고객은 따로 카테고리 분류해 대응방안을 마련하기도 한다.

미국 저장장치 기업 EMC 디지털 유니버스 보고서. EMC는 2020년 디지털 데이터의 35%가 빅데이터 기술을 통해 기업 등 사회 각 분야에 활용될 것으로 전망하고 있다.

기업들이 트위터와 인터넷에 떠도는 자신들의 회사 관련 검색어와 댓글을 분석하는 것은 기본 업무다. 자사제품과 서비스에 대한 고객 반응을 실시간 파악해 즉각 대처하는 것도 일상적인 일이다. 온라인몰 등 쇼핑업계와 카드사들은 구매이력 정보와 위치기반 서비스(GPS) 등을 결합해 근거리 맛집 등 소비자가 정보를 원하면 적절한 시기에, 적합한 장소로 안내한다.

정부와 공공기관 입장에서 빅데이터는 시민이 요구하는 서비스를 제공하는 데 도움이 된다. 서울시 심야버스의 경우 자정 이후 가장 붐비는 택시노선 데이터를 분석, 버스애플리케이션 등에 기반해 노선을 배치해 호응을 얻었다. 경찰청은 범죄유형에 따른 지역·시간대별 범죄다발지역과 위험도를 통합 분석해 범죄율을 줄이는 효과를 봤다. 관세청과 국세청은 역외탈세 정보를 공유하는 것만으로 연간 1000억원에 가까운 세수를 모았다. 기상청은 호우, 풍랑, 강풍, 한파 등 위험기상 예측 프로그램을 무료로 제공해 국내 항공업체가 항공기 이륙과 운항, 착륙 기상정보 예산을 절감하도록 도왔다.

대학에서 통계학이나 컴퓨터 공학, 기계공학 등을 전공하면 도움이 된다. 빅데이터를 활용할 수 있는 기초 지식과 기술을 우선 갖춰야 하기 때문이다. 빅데이터 분석가는 단순히 수치를 나열하는 연구를 하지 않기 때문에 경영학이나 마케팅분야의 지식과 경험을 쌓아두면 좋다. 인문학 전공자라면 통계학을 추가로 공부하면 된다. 기존 직장인들은 단기 전문 교육과정을 통해 자기계발 차원에서 빅데이터를 연구하는 추세다.

대학마다 빅데이터 전문 인력 양성에 앞장서고 있어 전문직으로 진출하기가 쉬워지고 있다. 최근에는 대학 중심의 빅데이터학회까지 생겼다. 빅데이터학회는 올해 처음 연세대 정보대학원과 빅데이터 계약학과 대학원 석사과정 15명을 정원외로 뽑았다. 충북대는 정부 지원 아래 빅데이터 석사과정을 마련하고 있는데 졸업 후 취업과 연계된다. 울산과학기술대는 빅데이터 석사과정을 장학생으로 뽑고 있고, 국민대 통계학과는 올해부터 과명을 빅데이터과로 바꿨다.

이화여대는 2014년 가을학기에 석사·박사·석박사 통합과정 15명을 선발할 예정이다. 카이스트도 하반기에 빅데이터 교육과정을 마련할 계획이다. 서강대학교는 빅데이터 전문가 단기교육을 8주과정으로 진행하고 있다. 매주 토요일 총 50시간 교육하는데 비용은 250만원 정도 든다. 빅데이터학회 김세을 사무국장은 “미국에서는 현재 50개 대학에서 빅데이터 과목을 가르치고 있다”며 “빅데이터 분석가는 기획력과 창의력을 겸비한 IT강국 한국인의 저력을 보여줄 수 있는 직업”이라고 말했다. 한국데이터베이스진흥원(KDB)은 2014년 하반기 빅데이터 자격증 제도를 도입한다는 계획이다.