1차시 (빅데이터의 개념)

[1] 빅데이터란 무엇인가

1. 빅데이터 (Big Data)

 

- 기존의 데이터 처리 응용 소프트웨어가 처리하기에 매우 거대하거나 복잡한 데이터 집합

- 데이터를 취급하기 위한 새로운 방법론의 필요성 대두

- 정보 통신 기술의 주도권이 기술에서 데이터로 이동

- 제타(Zeta) 시대 돌입 → 현존하는 데이터 양 1ZB 초과

- 모바일 시대에서 스마트 시대로 넘어오면서 중요성 증대

- 미래 경쟁력과 가치 창출의 원천

 

2. 빅데이터의 역사

 

PC 시대
→ 데이터베이스 개념 정립, PC통신 시작
→ 데이터 규모 작고 교류 적음

인터넷 시대
→ 초고속 인터넷 도입, 포털 서비스 등장
→ 데이터 규모 및 교류량 증가

모바일 시대
→ 모바일 인터넷 혁명, 소셜 네트워크 확산
→ 빅데이터 개념 정립 및 문제점 대두

스마트 시대
→ 인공지능 AI, 기계학습 ML, 딥러닝 DL, 사물인터넷 IoT
→ 지능을 가지는 시대

 

3-1. 빅데이터의 3가지 특성 (3V)

 

- 규모 Volume → 디지털 정보량 기하급수적 증가, 데이터 처리 수요 확대

- 다양성 Variety → 로그, SNS, 소비 등 데이터 종류 증가, 다양한 처리 방법 필요

- 속도 Velocity → IoT, 스트리밍 등 실시간 정보 증가, 빠른 처리·분석 플랫폼 필요

 

3-2. 빅데이터의 새로운 특성

 

- 정확성 Veracity → 거대 데이터는 신뢰성 부족 가능성, 품질 대응 필요

- 가치 Value → 트렌드, 감정, 개인 취향 등 데이터로부터 가치 창출

- 가변성 Variability → 맥락에 따라 의미 변화, 본래 의미를 찾는 방법론 필요

- 시각화 Visualization → 결과를 이해하기 쉽게 표현

- 휘발성 Volatility → 데이터 수명 짧고 빠르게 소멸, 실시간 분석 활용 강조

 

4. 빅데이터의 종류

 

- 정형 데이터 Structured Data → RDBMS, 스프레드시트 등 고정형 필드 데이터

- 반정형 데이터 Semi-structured Data → XML, HTML 등 메타데이터와 스키마 기반

- 비정형 데이터 Unstructured Data → 텍스트 문서, 멀티미디어 콘텐츠 등
→ 가장 큰 증가를 보이는 데이터 유형

---

[2] 빅데이터 방법론

1. 처리 과정과 기술

 

생성 - 수집 - 저장 - 처리 - 분석 - 표현

생성

- 내부 데이터 → 로컬 환경 DB, 파일 관리 시스템

- 외부 데이터 → 네트워크 교류에서 발생 (텍스트, 멀티미디어, 스트림)

수집

- 로그 Log → 시스템 활동 기록

- 크롤링 Crawling → 인터넷 로봇을 통한 수집

- 센싱 Sensing → 센서를 통한 수집

- ETL → 데이터 추출, 변환, 적재 후 데이터 웨어하우스 구축

저장

- 서버 Server → 데이터 접근 장치

- 스토리지 Storage → 저장 매체

- NoSQL DB → 비정형 데이터 관리 특화

처리

- 맵리듀스 MapReduce → 분산 병렬 컴퓨팅 대용량 데이터 처리

- R, Hadoop, MATLAB 등 다양한 분석 도구

분석

- 통계 분석 → 확률 모델링, 전통 통계 기법

- 기계학습 Machine Learning → 데이터 패턴 자동 발견

- 자연어 처리 NLP → 인간 언어 분석

표현

- 시각화 Visualization → 그래픽, 도표 등으로 이해를 돕는 표현

---

[3] 빅데이터의 전망

1. 활용 분야

 

- 공공 서비스 → 자원 관리, 스마트 그리드, 재난 방재

- 과학 연구 → 데이터 기반 새로운 의미 발견

- 의료 서비스 → 효율적 수집·공유, 진단 및 시술 혁명

- 물류 유통 → 소비자 니즈 파악, 효과적 유통 가능

- 제조 산업 → 불량률 최소화, 생산 효율화

- 정보 통신 → 스마트폰 보급 확대, 개인 맞춤형 서비스

 

2. 활용 사례

 

- 정치 → 유권자 DB, 소셜 미디어 분석, 맞춤형 선거 전략
ex) 2008년 미국 대통령 선거, 대한민국 제19대 총선

- 경제 → 고객 구매·활동 기록 분석, 추천 시스템

- 문화 → 정형·비정형 데이터 분석, 효율적 팀 운영

- 과학 → 유전자 분석, 통계학 발전

 

3. 미래 전망

 

- 데이터 혁명 → 정치, 경제, 사회, 문화, IT 전 분야 적용

- 새로운 가치와 분야 창출 → 미래 데이터에서 의미 발견 및 새로운 산업 창출 기대