디지털 데이터 시대 빅데이터의(Big data) 전망

과거와 달리 기하급수적으로 늘어난 정보들 속에 살고 있는 우리는 이미 데이터의 홍수 속에 살고 있다. 축적된 데이터를 바탕으로 가깝게는 원하는 정보를 쉽게 구할 수 있게 되었으며 더 나아가 기업들의 고객의 니즈 파악 및 공장의 효율적이고 유연한 생산이 가능해졌다. 이러한 디지털 데이터 세상을 살아가며 반드시 알아야 할 미래산업기술들 중 빅데이터에 대해 정리해 보았다.

빅데이터(big data)란 말 그대로 기존 데이터베이스 관리 도구의 능력을 넘어서는 수십테라바이트와 같이 대량의 정형 또는 비정형의 데이터의 집합까지 포함하는 데이터로부터 그것의 가치를 추출 및 결과를 분석하는 기술이다. 다양하고도 대량의 데이터에 대한 생성과 수집 그리고 분석과 표현을 특징으로 하는 빅데이터 기술은 빠르고 급격하게 변화하는 현대사회를 더욱 정확하게 예측하여 효율적으로 작동하게 하고 개인화된 구성원마다 맞춤형 정보를 제공 및 관리, 분석이 가능하게 하며 과거에는 불가능했던 기술을 실현시키기도 한다. 이와 같이 빅데이터는 정치와 사회 그리고 문화와 경제 및 과학과 기술 등 광범위한 영역에 걸쳐서 인류와 사회에 가치 있는 정보를 제공하며 그것에 대한 중요성이 더욱더 부각되고 있다. 세계 경제 포럼에서 2012년 10대 유망 기술 중 그 첫 번째로 선정된 빅데이터의 공통적인 특징은 3V로 설명할 수 있는데 그것은 데이터의 양(Volume)과 생성 속도(Velocity) 그리고 데이터 형태의 다양성(Variety)이라고 할 수 있다. 최근에는 두 가지를 더해서 가치(Value)나 복잡성(Complexity)을 추가하기도 한다. 이처럼 다양하고 막대한 규모의 데이터는 미래 경쟁력을 확보하기 위한 중요한 자원으로 사용되고 활용될 수 있다는 점에서 주목받고 있다. 과거에도 이러한 데이터를 분석해서 보다 가치 있는 정보를 추출하는 것이 중요하게 여겨졌지만 현재의 빅데이터 환경은 과거와 비교해 데이터의 양은 더욱더 많아졌고 그것의 중요성과 다양성 부분에서 혁신적인 성장을 이루었다는 것을 의미한다. 빅데이터는 과거의 석탄과 같이 현재의 정보화 시기의 경쟁력 강화와 생산성의 발전을 위한 중요한 요소로 받아들여지고 있다. 

빅데이터의 데이터 처리 방식은 데이터를 독립된 형태로 나누고 이를 병렬적으로 처리한다. 즉 이것을 분할 점령 방식이라 하는데 어떠한 문제를 작은 연산으로 여러개로 나눈 후 이를 취합하여 한 가지의 결과로 만들어 내는 것을 말한다. 이중 가장 널리 알려진 것은 맵리듀스(MAP REDUCE) 방식의 아파치 하둡으로 이것을 분산 데이터 처리 프레임워크라 한다. 최근에는 분석기법들 중 텍스트 마이닝과 오피니언 마이닝 그리고 소셜 네트워크 분석 및 군집분석 등이 중요하게 여겨지고 있는데 이는 SNS와 같은 소셜 미디어의 사용의 증가로 인한 비정형 데이터의 증가 때문이다.  

빅데이터는 각종 분야에서 활용 가능하다. 각 분야들을 살펴보면 미국의 경우 환자와 관련된 데이터를 플랫폼화 하였고 각 협회 간의 데이터 공유로 환자 치료 효과를 올리고 있으며, 보건 분야에선 전국의 데이터를 연계하여 전염병과 같이 비상사태 혹은 긴박한 순간에 보다 정확하고 빠른 의사 결정을 가능하게 할 전망이다. 경영 분야에서는 데이터를 활용한 빅데이터 경영이 중요하게 여겨지면서 데이터의 품질을 높이고 막대한 양의 데이터 처리를 돕는 데이터 통합의 중요성이 드러나고 있다. 경영 분야의 데이터 통합은 데이터의 추출과 변환 그리고 적재를 위한 ETL 솔루션이 핵심이라 할 수 있다. 마케팅 분야에서는 주로 인터넷 및 스마트폰 사용을 통해 온라인 쇼핑을 하거나 검색하는 것과 같은 활동들을 할 때 발생할 수 있는 데이터들을 분석하여 각 개인의 생활패턴과 소비성향들을 예측할 수 있다. 기업들은 이러한 데이터를 참고하여 소비자가 원하는 것들을, 즉 니즈를 미리 예측할 수 있다. 기상 분야에서는 빅데이터 기상관측 정보를 사용해 일기예보와 각종 기상특보와 같은 서비스를 보다 정밀하게 고객에게 제공할 수 있다. 스포츠 분야에서는 2014년 브라질 월드컵 우승국인 독일의 경우를 들 수 있다. 당시 독일은 개최국 브라질을 7:1로 크게 이기고 이후 결승에서 아르헨티나와 접전 끝에 연장전 1:0 승리를 거두었다. 이러한 우승을 차지한 독일 대표팀은 당시 SAP와 협력하여 사용했던 SAP 매치 인사이트 솔루션을 도입했는데 이것은 선수들에게 특정 센서를 부착하여 운동량과 순간속도 및 심박수와 슈팅 자세 그리고 동작 등 수많은 비정형 데이터를 수집하고 분석하여 이를 바탕으로 전술을 짜는 솔루션이다. 이것은 스포츠 분야에서 올바르게 빅데이터를 활용하는 방법이라 할 수 있고 결국 독일에게 월드컵 우승을 달성하도록 하는 원동력이 되었다. 

향후 빅데이터 분야는 발전에 발전을 거듭하여 결국 우리삶에 있어 필수적인 마치 공기와 같은 존재로 더욱 깊숙이 자리매김할 것이다. 이미 수많은 정보와 데이터의 홍수 속에 살고 있는 현재의 사람들은 4차 산업혁명의 필수 요소이자 없어서는 안 될 빅데이터 분야에 당연히 관심을 기울여야 한다고 생각한다. 아울러 미래 유망직종으로 빅데이터 전문가가 선정되다. 이는 빅데이터 분야의 관심과 중요성을 보여주는 것과 동시에 수많은 새로운 데이터 속에서 그 시대의 트렌드를 잘 읽어내 데이터를 활용하여 기획하고 체계적으로 분석할 수 있는 것이 얼마나 큰 니즈로 자리 잡아가고 있는가를 보여주는 부분이라고 생각한다.