빅데이터의 이해

빅데이터

빅데이터 4V : Volume(양) Variety(다양성) Velocity(속도) Value(가치)

 

빅데이터 기대 비유

산업혁명의 석탄, 철 : 혁명적 변화

21세기 원유 : 산업전반에 생산성을 향상과 기존에 없던 새로운 범주의 산업 형성

렌즈 : 현미경이 생물학 발전에 미친 영향만큼이나 데이터가 산업 발전에 영향

플랫폼 : 공동 활용의 목적으로 구축된 유무형 구조물 역할

 

본질적 변화

사전처리 → 사후처리

   ⤷ 필요한 데이터 수집, 불필요한 데이터 제거 → 가능한 많은 데이터를 모으고 다양한 방식으로 조합해 숨은 정보 찾음
표본조사 → 전수조사

  ⤷ 표본 조사를 통한 기본 지식 발견 → 샘플링이 주지 못하는 패턴, 정보를 발견 (데이터 활용방법)
질 → 양 

  ⤷ 데이터의 추가로 인한 양질 정보 오류 → 좋은 결과 산출에 긍정적인 영향을 미침

인과관계 → 상관관계

  ⤷ 인과관계에 의한 미래 예측 압도 → 서로 상관이 있는 관계인지 파악

 

가치 선정이 어려운 이유

데이터 활용방식

  ⤷ 데이터의 재사용, 재조합 등 데이터 개발이 일반화되며 특정 데이터를 언제 어디서 누가 활용할지 알 수 없음

새로운 가치 창출

  ⤷ 기존에 없던 가치를 창출함에 따라 가치 측정 어려움

분석 기술 발전

  ⤷ 현재에는 가치가 없는 데이터라도 추후에 새로운 분석 기법을 통해 가치가 있는 데이터가 될 수 있음에 가치 확정 어려움

 

빅데이터가 미치는 영향

기업 

  ⤷ 혁신, 경쟁력, 생산성 → 소비자의 행동 분석을 통한 시장변동 예측

정부 

  ⤷ 환경, 상황, 미래 대응 → 기상, 인구, 각 통계 데이터 수집 후 사회 변화를 추정하여 관련 정보 추출

개인 

  ⤷ 목적에 따른 → 개인이 인지도 향상에 빅데이터를 활용함

 

빅데이터 활용 사례

구글 : 로그데이터 분석 → 링크 알고리즘 개선

월마트 : 고객 구매 패턴 → 상품 진열 변경

페이스북 : 의사소통 불편 → 실시간 자동 번역 시스템

아마존 : 전자책 관련 데이터 분석 → 독서 패턴 정보 제공

 

빅데이터 기본 테크닉

연관규칙학습

   ⤷ 변인들 간 상관관계 파악 (ex 커피를 구매하는 사람이 탄산음료를 더 많이 살까?)
유형분석

   ⤷ 조직을 그룹으로 or 특성에 따른 분류 (ex 이 사용자는 어떤 특성을 가진 집단에 속할까?)
유전자 알고리즘

   ⤷ 최적화 필요한 모델의 점진적 진화 방법 (ex 최대의 시청률을 얻으려면 어떤 프로그램을 어떤 시간대에 방송할까?) 

기계 학습

   ⤷ 훈련 데이터를 통한 학습으로 예측 (ex 기존의 시청 기록을 바탕으로 시청자가 현재 보유한 영화 중 어떤 것을 가장 보고 싶어 할까?)

회귀분석

   ⤷ 독립변수, 종속변수의 관계 파악에 사용 (ex 구매자의 나이가 구매 차량 타입에 어떤 영향을 끼칠까?)

감정분석

   ⤷ 글 작성자의 감정 분석 (ex 새로운 환불 정책에 대한 고객 평가는 어떨까?)

소셜네트워크분석

   ⤷ 영향력 있는 사람 파악 (ex 고객들 간 관계망은 어떤 구성일까?)

 

위기 요인과 통제 방안

사생활 침해 : SNS를 통한 사생활 침해 가능성 → 제공자의 동의에서 사용자의 책임으로

책임 원칙 훼손 : 범죄를 저지르지 않은 사람을 체포하게 될 경우 문제가 발생 → 결과 기반 책임 원칙 고수

데이터 오용 : 데이터 분석 결과가 다 옳은 것은 아님 → 알고리즘 접근 허용

   ⤷ 알고리즈미스트(부당하게 피해 입은 사람을 구제하는 전문 인력) 필요 

 

빅데이터의 기본 3요소

데이터 : 모든 것의 데이터화

기술 : 진화하는 알고리즘, 인공지능

인력 : 데이터 사이언티스트, 알고리즈미스트

 

데이터 사이언티스트

의미

   ⤷ 데이터에 해당하는 분야의 전문 지식을 정형, 비정형 데이터를 막론한 종합한 학문

   ⤷ 데이터 대상의 분석과 이를 효과적으로 구현하고 전달하는 과정까지 포함됨

역할

   ⤷ 핵심이슈에 답하고 사업의 성과를 견인해 나갈 수 있어야 함 → 소통력이 필요한 이유

영역

   ⤷ 분석적 영역 / 데이터 처리와 관련된 IT영역 / 비즈니스 컨설팅 영역 + 강력한 호기심

Hard Skill

   ⤷ 빅데이터에 대한 이론적 지식

   ⤷ 분석 기술에 대한 숙련

Soft Skill

   ⤷ 통찰력 있는 분석

   ⤷ 설득력 있는 전달

   ⤷ 다분야 간 협력

인문학적 요소

   ⤷ 스토리텔링, 커뮤니케이션, 창의력, 열정, 직관력, 비판적 시각, 대화능력

 

인문학 열풍

컨버전스 → 디버전스 : 단순세계화에서 복잡한 세계화

생산 → 서비스 : 제품 생산에서 서비스 

생산 → 시장창조 : 기술경쟁에서 무형자산의 경쟁