먼저 읽으면 좋은 글
이 글에서 다루는 내용
1부에서는 빅데이터가 등장한 배경과 함께, 분석 가능한 데이터의 범위와 유형이 크게 확장되었다는 점을 살펴보았습니다.
그렇다면 이러한 변화는 실제로 무엇을 가능하게 했을까요?
빅데이터의 가장 큰 변화는 새로운 분석 방법을 만든 것이 아니라, 이전에는 함께 활용하기 어려웠던 다양한 데이터를 연결하고 더 효율적으로 활용할 수 있는 환경을 만들었다는 점입니다.
여러 시스템의 데이터를 연결할 수 있게 되었습니다.
빅데이터 등장 이전에도 기업은 데이터를 활용하여 다양한 분석을 수행했습니다.
하지만 데이터는 부서별, 시스템별로 분산되어 관리되는 경우가 많았고, 서로 다른 데이터를 함께 활용하기 위해서는 많은 시간과 비용이 필요했습니다.
예를 들어 고객 관리 시스템, 주문 시스템, 재고 시스템, 홈페이지 접속 기록은 각각 별도의 시스템에서 관리되는 경우가 많았습니다.
이러한 데이터를 함께 활용하려면 여러 시스템의 데이터를 하나로 모으고 연결하는 과정이 필요했습니다.
빅데이터 환경에서는 이러한 여러 데이터를 하나의 분석 대상으로 연결하여 활용할 수 있게 되었습니다.
| 빅데이터 등장 전 | 빅데이터 등장 후 |
|---|---|
| 부서별 데이터 | 기업 전체 데이터 |
| 시스템별 데이터 | 여러 시스템 데이터 |
| 기관별 데이터 | 기관 간 데이터 |
즉, 데이터를 각각 따로 활용하는 것이 아니라 서로 연결하여 활용할 수 있는 환경이 마련된 것입니다.
더 많은 데이터를 가공하고 분석할 수 있게 되었습니다.
빅데이터가 등장하면서 이전보다 훨씬 많은 데이터를 가공하고 분석하는 처리 과정을 수행할 수 있게 되었습니다.
과거에는 저장 공간과 처리 성능, 시간, 비용 등의 한계 때문에 전체 데이터를 모두 활용하기 어려웠습니다. 따라서 일부 데이터만 선별하여 활용하는 경우가 많았습니다.
하지만 빅데이터 환경에서는 훨씬 많은 데이터를 저장하고, 필요한 형태로 가공한 뒤 분석에 활용할 수 있게 되었습니다.
이를 비유하면 과거에는 1부터 20까지의 데이터를 활용했다면, 이제는 1부터 70까지의 데이터를 함께 활용할 수 있게 된 것과 비슷합니다.
물론 이는 실제 수치를 의미하는 것은 아닙니다.
핵심은 이전보다 훨씬 많은 데이터를 함께 활용할 수 있는 환경이 마련되었다는 점입니다.
다양한 데이터 유형을 함께 활용할 수 있게 되었습니다.
빅데이터 환경에서는 데이터의 양뿐만 아니라 활용할 수 있는 데이터의 유형도 크게 다양해졌습니다.
예를 들어 판매량이나 재고처럼 구조화된 데이터뿐만 아니라 고객 문의 내용, 문서, 웹 로그, 이미지, 음성 등 서로 다른 형태의 데이터도 함께 활용할 수 있게 되었습니다.
하나의 데이터만 활용할 때보다 다양한 데이터를 함께 활용하면 동일한 현상을 여러 관점에서 살펴볼 수 있으며, 보다 폭넓은 분석이 가능해집니다.
이처럼 서로 다른 데이터 유형을 함께 활용할 수 있게 된 것도 빅데이터가 가져온 중요한 변화 가운데 하나입니다.
데이터를 더 빠르게 활용할 수 있게 되었습니다.
오늘날 데이터는 실시간으로 계속 생성됩니다.
온라인 쇼핑몰의 주문 기록, 홈페이지 방문 기록, 카드 결제 내역, 교통량 등 다양한 데이터가 끊임없이 만들어지고 있습니다.
빅데이터 환경에서는 이러한 데이터를 이전보다 빠르게 수집하고 저장하며, 필요한 형태로 가공하여 분석에 활용할 수 있게 되었습니다.
덕분에 기업과 기관은 최신 데이터를 기반으로 상황을 더욱 신속하게 파악하고 의사결정을 내릴 수 있게 되었습니다.
빅데이터를 설명하는 대표적인 개념, 3V와 5V
빅데이터의 특징을 설명할 때 가장 많이 사용되는 개념이 3V입니다.
| 항목 | 의미 |
|---|---|
| Volume(데이터 규모) | 매우 많은 양의 데이터를 다룰 수 있습니다. |
| Velocity(데이터 생성 및 처리 속도) | 데이터를 빠르게 수집하고 가공하여 활용할 수 있습니다. |
| Variety(데이터 다양성) | 다양한 유형의 데이터를 함께 활용할 수 있습니다. |
이후에는 데이터의 품질과 활용 가치까지 중요해지면서 5V라는 개념으로 확장되었습니다.
| 항목 | 의미 |
|---|---|
| Volume(데이터 규모) | 데이터의 양 |
| Velocity(데이터 생성 및 처리 속도) | 데이터를 처리하는 속도 |
| Variety(데이터 다양성) | 데이터 유형의 다양성 |
| Veracity(데이터 신뢰성) | 데이터의 정확성과 품질 |
| Value(데이터 가치) | 데이터를 통해 얻을 수 있는 가치 |
3V가 빅데이터의 기본적인 특징을 설명했다면, 5V는 데이터를 얼마나 신뢰할 수 있고 실제로 어떤 가치를 만들어낼 수 있는지까지 함께 고려한 개념이라고 이해하면 됩니다.
우리 주변에서도 빅데이터는 활용되고 있습니다.
빅데이터는 다양한 분야에서 활용되고 있습니다.
공통점은 모두 방대한 데이터를 수집하고 연결하여 분석에 활용한다는 점입니다.
대표적인 사례는 다음과 같습니다.
- Google Analytics를 활용한 웹사이트 방문 데이터 분석
- 검색어 데이터를 활용한 검색 트렌드 분석
- 카드 소비 데이터를 활용한 소비 패턴 분석
- 교통량 데이터를 활용한 도로 혼잡도 분석
- 기상 데이터를 활용한 날씨 변화 분석
- 공공데이터를 활용한 행정 서비스 개선
활용 분야는 서로 다르지만, 다양한 데이터를 함께 활용하여 새로운 가치를 만들어낸다는 점은 모두 같습니다.
빅데이터는 하나의 기술이 아니라 데이터 활용 환경입니다.
빅데이터를 하나의 프로그램이나 기술 이름으로 생각하는 경우가 있습니다.
하지만 빅데이터는 특정 기술 하나를 의미하는 것이 아닙니다.
데이터를 수집(Collect)하고, 저장(Store)하며, 서로 다른 데이터를 연결하고 통합(Integrate)한 뒤, 필요한 형태로 가공(Process)하고 분석(Analyze)하여 활용(Utilize)할 수 있도록 만드는 데이터 활용 환경을 의미합니다.
즉, 데이터를 많이 저장하는 것만이 빅데이터가 아니라, 데이터를 효과적으로 활용하기 위한 전체 과정을 지원하는 환경이라고 이해하는 것이 더 정확합니다.
마치며
빅데이터는 기존 데이터 분석을 대신하기 위해 등장한 기술이 아닙니다.
기존 분석 역시 지금까지 다양한 분야에서 충분히 의미 있는 결과를 만들어 왔습니다.
다만 빅데이터는 이전에는 함께 활용하기 어려웠던 데이터를 연결하고, 더 많은 데이터를 가공하고 분석하며, 다양한 데이터 유형을 함께 활용할 수 있는 환경을 만들었습니다.
이러한 데이터 활용 환경은 이후 다양한 데이터 플랫폼과 데이터 처리 기술이 발전하는 기반이 되었으며, 오늘날 데이터 중심 사회를 가능하게 하는 중요한 토대가 되었습니다.
DANA NOTES 한 줄 정리
빅데이터는 하나의 기술이 아니라, 데이터를 수집하고 저장하며 연결·통합하고, 가공·분석하여 활용할 수 있도록 만드는 데이터 활용 환경입니다.
