빅데이터(BigData) 의미와 특징

Big Data

1. 의미: 기존의 데이터베이스(DB) 관리 도구의 데이터 수집, 저장, 관리, 분석 역량을 넘어서는 데이터
2. 발생 배경: 디지털 기기 보급과 SNS 부상 등
3. 특징
   앞에서부터 3V가 기본이지만 데이터로부터 가치를 얻어내는 것이 중요해진 후 5V까지, 최근에는 7V까지도 특징으로 언급하곤 함.
   
   • volume = 크기
     일반적으로 수십 TB, PB이상의 범위.
   • variety = 다양성
     데이터 정형화 정도의 다양성(3가지) 
     1. 정형(structured) 데이터
        : 고정된 필드에 저장. 일정한 형식. ex) excel 파일등의 테이블 형태의 데이터
     2. 반정형(semi-structured) 데이터
        : 고정된 필드는 아니지만 메타데이터나 구조정보 (XML or HTML) 등. 일정한 구조는 없으나 구조파악 가능 데이터.
     3. 비정형(unstructured) 데이터
        : 고정된 필드에 저장 안 함. 최근 급증하는 데이트로 사진, 동영상, 메신저, 위치정보 등의 내용.
   • velocity = 속도
     빠른 증가속도와 사용 속도. 실시간 처리의 중요성 증가.
   • veracity = 진실성
     분석할만한 가치를 확인하기 위해 데이터의 신뢰성과 타당성 확인.
   • value = 가치
     데이터로부터 인사이트를 얻어낼 수 있는가.
   • validity = 정확성
     진실성과 비슷한 개념.
   • volatility =  휘발성

 

 

 

참고.

 모두를 위한 R데이터 분석 입문

 전공수업