이 글에서 다루는 내용
‘빅데이터(Big Data)’라는 단어를 들으면 많은 사람이 엄청나게 많은 데이터를 먼저 떠올립니다.
물론 데이터의 양이 많다는 의미도 맞습니다. 하지만 빅데이터를 단순히 데이터가 많은 상태라고만 이해하면 중요한 부분을 놓치게 됩니다.
빅데이터가 등장한 이유는 데이터의 양이 늘어났기 때문만이 아니라, 기존 방식으로 다루기 어려운 규모와 형태의 데이터가 급격히 증가했기 때문입니다.
즉, 빅데이터는 데이터를 더 많이 저장하는 기술이라기보다 이전보다 훨씬 다양한 데이터를 함께 분석할 수 있는 환경을 만들기 위해 등장한 개념이라고 이해하는 것이 더 정확합니다.
데이터는 모두 같은 모습일까?
우리가 사용하는 데이터는 크게 정형 데이터와 비정형 데이터로 나눌 수 있습니다.
정형 데이터(Structured Data)
정형 데이터는 일정한 규칙과 구조를 가진 데이터입니다.
대표적으로 다음과 같은 정보가 있습니다.
- 고객 정보
- 주문 내역
- 매출 데이터
- 재고 관리
- 은행 거래 내역
이러한 데이터는 행(Row)과 열(Column) 형태로 저장되기 때문에 데이터베이스나 엑셀에서 비교적 쉽게 관리하고 분석할 수 있습니다.
기업이 오랫동안 활용해 온 대부분의 업무 데이터도 여기에 속합니다.
비정형 데이터(Unstructured Data)
반면 비정형 데이터는 일정한 구조가 없는 데이터입니다.
예를 들면 다음과 같습니다.
- 문서
- 이메일
- SNS 게시글
- 사진
- 음성
- 영상
- 웹 로그(Log)
사람은 이러한 데이터를 읽고 이해할 수 있지만, 컴퓨터가 분석하려면 별도의 처리 과정이 필요합니다.
또한 사람이 직접 수많은 문서를 읽거나 영상을 확인해 분석하는 경우에는 분석 기준이 달라질 수 있고, 경험이나 컨디션에 따라 결과가 달라질 가능성도 있습니다.
비정형 데이터가 늘어날수록 단순히 사람이 직접 확인하는 방식만으로는 한계가 생기기 시작했습니다.
과거에도 데이터 분석은 있었다
가끔 빅데이터가 등장하면서 데이터 분석이 처음 시작된 것처럼 이야기되기도 합니다.
하지만 이는 사실이 아닙니다.
빅데이터가 등장하기 훨씬 전부터 기업과 기관은 데이터를 분석해 다양한 의사결정을 내리고 있었습니다.
예를 들어
- 부서별 실적 분석
- 고객 통계
- 판매 현황 분석
- 설문조사 결과 분석
- 연구 데이터 분석
등은 오래전부터 이루어져 왔습니다.
학생들은 과제를 위해 엑셀을 활용해 데이터를 분석했고, 기업은 데이터베이스와 통계 프로그램을 이용해 경영 현황을 파악했습니다.
이러한 분석은 지금도 여전히 매우 중요한 업무입니다.
즉, 빅데이터가 기존 분석을 대신한 것이 아니라 기존 분석의 활용 범위를 더욱 넓힌 것이라고 보는 것이 맞습니다.
무엇이 달라졌을까?
그렇다면 왜 새로운 이름인 ‘빅데이터’가 등장했을까요?
가장 큰 이유는 데이터가 폭발적으로 증가했기 때문입니다.
인터넷이 보급되고 스마트폰이 등장하면서 사람들은 하루에도 수많은 데이터를 만들어 내기 시작했습니다.
- 검색 기록
- 웹사이트 방문 기록
- 온라인 쇼핑
- 위치 정보
- SNS 활동
- 영상 시청 기록
- 각종 센서 데이터
이처럼 다양한 데이터가 실시간으로 계속 생성되면서 기업이 다루어야 할 데이터의 양과 종류는 이전과 비교할 수 없을 정도로 커졌습니다.
예전에는 일부 데이터만 활용해도 충분한 분석이 가능했지만, 이제는 여러 시스템에서 생성되는 데이터를 함께 살펴보지 않으면 전체 상황을 이해하기 어려워졌습니다.
분석 방법보다 분석 범위가 달라졌다
많은 사람이 빅데이터를 새로운 분석 방법이라고 생각합니다.
하지만 조금 다른 관점에서 보면 빅데이터의 핵심은 분석 가능한 데이터의 범위와 유형이 크게 확장되었다는 점에 있습니다.
먼저 데이터의 범위를 살펴보겠습니다.
예전에도 데이터를 분석하는 기술은 충분히 존재했습니다. 다만 시간과 비용, 그리고 인력의 한계 때문에 한 번에 분석할 수 있는 데이터의 규모에는 현실적인 제약이 있었습니다.
비유해서 설명하면, 과거에는 1부터 20까지의 데이터를 분석하여 판단했다면, 빅데이터 환경에서는 1부터 70까지의 데이터를 함께 분석할 수 있게 된 것입니다. 물론 20과 70이라는 숫자는 실제 수치를 의미하는 것이 아니라, 분석 대상이 되는 데이터의 범위가 크게 확장되었다는 점을 이해하기 위한 예시입니다.
다음으로 데이터의 유형도 크게 달라졌습니다.
과거에는 데이터베이스나 엑셀처럼 숫자와 문자로 이루어진 정형데이터를 중심으로 분석하는 경우가 대부분이었습니다. 하지만 디지털 환경이 발전하면서 SNS 이미지, CCTV 영상, 문서, 음성 등 다양한 비정형데이터가 빠르게 증가했습니다.
이처럼 이전에는 함께 활용하기 어려웠던 다양한 형태의 데이터를 저장하고 관리하며 분석할 수 있는 기술이 발전하면서, 정형데이터와 비정형데이터를 하나의 분석 대상으로 활용할 수 있는 환경이 마련되었습니다.
즉, 빅데이터의 가장 큰 변화는 기존 분석 방법을 완전히 바꾼 것이 아니라, 분석 가능한 데이터의 범위는 넓어지고 데이터의 유형은 다양해졌다는 점입니다.
DANA NOTES 한 줄 정리
빅데이터의 핵심은 새로운 분석 방법을 만든 것이 아니라, 분석 가능한 데이터의 범위와 유형을 크게 확장했다는 점입니다. 이전에는 함께 활용하기 어려웠던 방대한 데이터와 다양한 형태의 데이터를 하나의 분석 대상으로 다룰 수 있게 되면서 데이터 분석의 활용 범위도 크게 넓어졌습니다.
