혼자 복습하고 필기하는

[1] 빅데이터 저장소 개요1. CAP 이론 일관성 Consistency → 모든 노드 동일 시점 동일 데이터 출력 보장가용성 Availability → 일부 노드 불가능해도 다른 노드 정상 작동 보장지속성 Partition Tolerance → 데이터 손실 발생해도 시스템 정상 작동 보장→ RDBMS의 한계 존재 2. RDBMS의 대안 하둡 Hadoop → 하둡 분산파일시스템(HDFS), 대용량 데이터 처리NoSQL → 비관계형 데이터 저장소, 데이터 손실 대응레디스 Redis → NoSQL의 일종, 키-값 구조 저장, 인메모리 기반우지 Oozie → 자바 서블릿 컨테이너 기반 작업 엔진, DAG 기반 작업 제어[2] 빅데이터 저장소 설계1. 하둡 분산 파일 시스템 (HDFS) 구성 요소네임노드(Nam..

학습 목표인공지능과 빅데이터를 공부하기 전에 컴퓨터 발전과 4차 산업혁명의 의미 이해학습 내용현대인의 삶에 지대한 영향을 미치는 스마트폰과 SNS 시대의 관계 검토 1. 4차 산업혁명의 개념농경사회 → 전기, 자동차, 비행기 등의 발명 → 2차 산업혁명 시작빠른 컴퓨터 발전과 인터넷 영향 → 3차 산업혁명 도래개인이 컴퓨터를 소지하고, 사진 촬영, 인터넷·문자 교류, 데이터 공유스마트폰 없이는 현대 생활이 어려움젊은 세대 → 폰 사용 의존 심화→ 자기소개서 작성, 소설 번역 등 AI 도구(예: 챗 GPT) 활용→ 초등학생, 대학생도 스마트폰을 통해 학습과 검색 진행Phone Sapience → 스마트폰 없으면 불안, 두통 등 신체적·심리적 반응 발생 2. ICT 기반 소프트웨어 혁신 과정1970년대 후반..

학습 목표인공지능과 빅데이터를 공부하기 전에 컴퓨터 발전 과정과 4차 산업혁명의 의미 이해학습 내용최초 컴퓨터 탄생부터 손안의 스마트폰까지의 흐름개인 데이터와 정보의 가치 이해 1. 컴퓨터 발전에 대하여최초 컴퓨터 → 전산실 대형 컴퓨터→ 데이터를 저장하기 위한 메모리와 운영 프로그램(Operating System)→ 주변 장치: 디스크, 테이프 등 대형 저장 장치컴퓨터 구성 → 하드웨어 + 소프트웨어 + 데이터→ 현재 스마트폰에서 사용하는 운영 프로그램이 소프트웨어에 해당 2. 데이터와 정보의 차이데이터(Data) → 사실이나 결과를 기록한 작은 단위→ 예: 카드 사용 내역, 커피 선호 기록정보(Information) → 데이터를 가공하여 활용→ 예: 카드 사용 기록이 누적되어 고객 관리·혜택 제공Ga..

[1] 빅데이터의 수집 개요1. 빅데이터의 생성 데이터와 정보(Information)데이터 Data → 관찰 및 측정을 통해 얻은 단순한 사실이나 결과, 가공되지 않은 상태정보 Information → 데이터를 가공하여 얻은 결과, 의사결정에 기여데이터의 존재론적 특징에 따른 구분정량적 데이터 Quantitative Data → 수치로 계량 가능한 형태, 정형·비정형 형태정성적 데이터 Qualitative Data → 언어·개념 등 추상적 형태, 비정형 형태데이터의 구성에 따른 구분정형 데이터 Structured Data → 사전 정의된 모델 존재, 최적화된 자료구조 적용 가능ex) 스프레드시트, DBMS반정형 데이터 Semi-structured Data → 정형·비정형의 중간 형태ex) HTML, XM..

[1] 빅데이터란 무엇인가1. 빅데이터 (Big Data) - 기존의 데이터 처리 응용 소프트웨어가 처리하기에 매우 거대하거나 복잡한 데이터 집합- 데이터를 취급하기 위한 새로운 방법론의 필요성 대두- 정보 통신 기술의 주도권이 기술에서 데이터로 이동- 제타(Zeta) 시대 돌입 → 현존하는 데이터 양 1ZB 초과- 모바일 시대에서 스마트 시대로 넘어오면서 중요성 증대- 미래 경쟁력과 가치 창출의 원천 2. 빅데이터의 역사 PC 시대→ 데이터베이스 개념 정립, PC통신 시작→ 데이터 규모 작고 교류 적음인터넷 시대→ 초고속 인터넷 도입, 포털 서비스 등장→ 데이터 규모 및 교류량 증가모바일 시대→ 모바일 인터넷 혁명, 소셜 네트워크 확산→ 빅데이터 개념 정립 및 문제점 대두스마트 시대→ 인공지능 AI, ..

1절 데이터 모델의 이해 모델링(Modeling)이란? ⤷ 다양한 현상을 추상화, 단순화하여 일정한 표기법에 의해 표현 ⤷ 모델이란 현실 세계의 추상화된 반영모델링 특징- 추상화 : 일정한 형식에 맞춰 표현- 단순화 : 제한된 표기법이나 언어로 표현- 명확화(정확화) : 애매모호함을 제거해 이해 쉽게 표현 모델링 목적 ⤷ 단순히 DataBase나 시스템을 구축하기 위한 것이 아닌 업무 설명, 분석, 형상화 목적 ⤷ 분석된 모델로 실제 DataBase 생성하며 개발 및 데이터 관리에도 사용됨모델링 관점- 데이터 관점(What, Data) : 업무와 데이터 및 데이터 사이 관계를 모델링- 프로세스 관점(How, Process) : 업무가 실제로 하고 있는 일과 해야 하는 일 모델링- 데..

안녕하세요, 여러분!오늘은 오랜만에 티스토리를 통해 제 생각을 공유해보려 합니다.이번 2024년을 마무리하며 다가오는 2025년을 준비하기 위해 올 한 해를 되돌아보는 시간을 가지려 합니다.먼저, 올해 저에게 가장 큰 성과는 바로 ADsP(데이터 분석 준전문가) 자격증에 합격한 것입니다.이 목표를 세운 것은 올해 초부터였고, 그 과정은 결코 쉽지 않았습니다.ADsP는 1과목 데이터 이해, 2과목 데이터 분석 기획, 3과목 데이터 분석으로 나뉘어져 있으며한 번 응시할 때 응시료는 50,000원이며, 합격 기준은 매 과목 40점 이상, 전 과목 총 60점 이상입니다.또한 2024년부터 ADsP 검정 방법이 변경되었습니다.기존의 선택형 40문항과 단답형 10문항에서 선택형 50문항으로 단답형 출제가 사라지게 ..

분석 기획실제 분석을 수행하기에 앞서 과제를 정의하고 의도했던 결과를 도출할 수 있도록 적절한 관리 방안을 사전 계획 하는 작업 분석 기획에서의 데이터 사이언스 역량 분석 역량   ⤷ 문제 영역에 대한 전문성과 수학 통계학적 지식기술 역량   ⤷ 균형 잡힌 시각과 데이터, 프로그래밍  분석 대상과 방법방법과 대상을 알면 → 최적화 (Optimization) 방법을 모르면 → 솔루션 (Solution)대상을 모르면 → 통찰 (Insight)둘 다 모르면 → 발견 (Discovery)  분석 기획 방안과제 중심적 접근 : 빠르게 해결   ⤷ Speed & Test   ⤷ Quick & Win   ⤷ 문제 해결장기적 마스터플랜 : 분석 내재화   ⤷ Accuracy & Deploy   ⤷ Long Term V..

빅데이터 빅데이터 4V : Volume(양) Variety(다양성) Velocity(속도) Value(가치) 빅데이터 기대 비유 산업혁명의 석탄, 철 : 혁명적 변화 21세기 원유 : 산업전반에 생산성을 향상과 기존에 없던 새로운 범주의 산업 형성 렌즈 : 현미경이 생물학 발전에 미친 영향만큼이나 데이터가 산업 발전에 영향 플랫폼 : 공동 활용의 목적으로 구축된 유무형 구조물 역할 본질적 변화 사전처리 → 사후처리 ⤷ 필요한 데이터 수집, 불필요한 데이터 제거 → 가능한 많은 데이터를 모으고 다양한 방식으로 조합해 숨은 정보 찾음 표본조사 → 전수조사 ⤷ 표본 조사를 통한 기본 지식 발견 → 샘플링이 주지 못하는 패턴, 정보를 발견 (데이터 활용방법) 질 → 양 ⤷ 데이터의 추가로 인한 양질 정보 오류 ..

데이터의 특성 존재적 특성 : 가공되지 않은 객관적 사실 = 데이터 당위적 특성 : 예측, 추론 추정을 위한 근거 = 정보 데이터의 유형 정성적 데이터 : 언어나 문자로 표현 (ex. 회사 매출이 증가함) ⤷ 언어나 문자로 표현하게 되면 저장, 검색, 분석에 많은 비용이 소모 (설문조사가 수치화가 가능하다면 정량적 데이터가 가능) 정량적 데이터 : 수치나 도형, 기호로 표현 (ex. 나이, 몸무게) ⤷ 간단하게 정형화 되어있어서 비용소모가 적음 정형데이터 : 연산이 가능한 정형화된 구조 (엑셀, 스프레드시트, 관계형 데이터베이스(DBMS)) 반정형데이터 : 데이터는 존재하지만 연산은 불가능한 정형화된 구조 (XML, JSON, HTML) 비정형데이터 : 데이터는 존재하지만 연산은 불가능 정형화된 구조 없..