본문 바로가기
반응형

데이터분석가12

Maslow's Pyramid of Data 개요첫 강의를 "Maslow's Pyramid of Data"로 시작하는 이유는, 우리에게 데이터 엔지니어링에 대해서 너무 성급히 접근하지 말기를 바라는 우려이자 강의자의 조언 같은 것이다. 매슬로우의 심리학적 이론을 데이터 관점에서 풀어낸 섹션이 아닐까 생각했다. 매슬로우의 5단계 이론 (Maslow's Pyramid) 우리는 데이터가 현대 사회에서 얼마나 중요한지 알고 있다. (그래서 지금 나도 강의를 듣고 있지만..) 현대 데이터 엔지니어링 스택에서 DBT가 어떻게 적합한 기술인지 차후에서 살펴볼 수 있을 것이다. 그 단계로 나아가게 이해하기 위해서는 DBT의 독특함을 아는 것이 굉장히 중요하다고 강의자님은 강조하고 있다. 더 쉽게 이해할 수 있도록, 매슬로우 5단계 이론을 바탕으로 전체적인 그림을.. 2024. 8. 5.
Udemy에서 DBT 강의 수강 시작하기 (데이터 분석 엔지니어 기술, Data Build Tool 강좌 소개) 개요 안녕하세요! 루크입니다. 제가 오랜만에 데이터 엔지니어링 관련 강의(The Complete dbt (Data Build Tool) Bootcamp: Zero to Hero)를 듣게 되었습니다. 최근에 Data Analytics Engineer 직무로 일을 하고 있는데, ETL 중에서도 T에 집중이 되어 있다는 Data Build Tool(DBT)를 접하게 되어 큰 관심을 가지게 되었습니다. 유데미를 통해서 강의를 듣게 되었는데, 강의 내용이 영어로 되어 있다 보니까, 언제든지 꺼내서 보기 위해서 블로그 포스트를 남겨두어야겠다는 생각이 들더라고요. 그래서! 오로지(?) 저 위해서 강의 내용을 텍스트로 남겨보려고 합니다. (혹시라도, 저작권 등에 문제가 된다면 수정 조치 하겠습니다.) 데이터 분석의 새.. 2024. 7. 31.
[ADP-8] 분석도구 R의 특징 / R 시작하기(install.packages, library, ?, help) / R의 데이터 구조(벡터 c, 행렬 matrix, 데이터프레임 data.frame) 분석도구 R의 특징 - R은 무료 소프트웨어이면서도 고차원적인 계산이 가능하며 통계 분석과 시각화에 최적화된 환경을 통해 단순한 계산부터 복잡한 통계 기법까지를 폭넓게 다룰 수 있음 1) 그래픽 처리 - 상용 소프트웨어에 버금가는 상당한 수준의 그래프와 그림 - 그림의 용도와 역할에 맞게 적절한 그래프를 언제든지 쉽게 생산할 수 있음 - 매우 세부적인 부분까지 사용자가 직접 지정, 섬세한 작업을 수행할 수 있음 - 출판물로 사용해도 손색이 없을 정도의 고해상도 이미지를 생산함에도 그 처리 시간이 매우 빠름 2) 데이터 처리 및 계산 능력 - 벡터, 행렬, 배열, 데이터프레임, 리스트 등 다양한 형태의 데이터 구조 지원 - 다양한 데이터 형태의 분석이 용이함 - 복잡한 구조 내 개별 데이터에 접근하는 절차.. 2022. 8. 12.
[ADP-6] 분석 프로젝트 영역별 주요 관리 항목 / 분석 마스터 플랜 수립 프레임워크 / ISP / 수행 과제 도출 및 우선순위 평가 / 분석과제 우선순위 선정 매트릭스 / 데이터 분석 수준진단 프레임워.. 분석 프로젝트 영역별 주요 관리 항목 범위 (Scope) - 분석 기획단계의 프로젝트 범위가 분석을 진행하면서 데이터의 형태와 양 또는 적용되는 모델의 알고리즘에 따라 범위가 빈번하게 변경됨 - 분석의 최종 결과물이 분석 보고서 형태인지 시스템인지에 따라서 투입되는 자원 및 범위가 크게 변경되므로 사전에 충분한 고려가 필요함 시간 (Time) - 분석 프로젝트는 초기에 의도했던 결과(모델)가 나오기 쉽지 않기 때문에 지속적으로 반복되어 많은 시간이 소요될 수 있음 - 분석 결과에 대한 품질이 보장된다는 전제로 Time Boxing 기법으로 일정관리를 진행하는 것이 좋음 원가 (Cost) - 외부 데이터를 활용한 데이터 분석인 경우 고가의 비용이 소요될 수 있으므로 사전에 충분한 조사가 필요함 - 오픈 소.. 2022. 8. 8.
[ADP-5] 상향식 접근법 (Bottom Up Approach) / 분석과제 정의 / 분석 과제의 주요 5개 특성 및 속성 상향식 접근법 (Bottom Up Approach) - 절차가 규정된 하향식 문제해결 방식이 아닌, - 경험적인 과거 데이터를 무작정 결합하여 상향식으로 정보 혹은 지식을 얻고자 하는 새로운 분석 패러다임 - 기업에서 보유하고 있는 다양한 원천 데이터로부터 분석을 통하여 통찰력과 지식을 얻는 상향식 접근방법 - 다양한 원천 데이터를 대상으로 분석을 수행하여 가치 있는 문제를 도출하는 일련의 과정 1) 기존의 하향식 접근법의 한계를 극복하기 위한 분석 방법론임 - 기존 접근방법인 논리적인 단계별 접근법은 문제의 구조가 분명하고 문제를 해결하고 해결책을 도출하기 위한 데이터가 분석가 및 의사결정자에게 주어져 있음을 가정하기 때문에 솔루션 도출에는 유효하지만 새로운 문제의 탐색에는 한계 - 스탠포드 대학의 d.. 2022. 8. 5.
[ADP-4] CRISP-DM 분석 방법론 / 분석과제 발굴 / 디자인사고(Design Thinking) / 하향식 접근법 (Top Down Approach) CRISP-DM 분석 방법론 - Cross Industry Standard Process for Data Mining - 1996년 유럽연합의 ESPRIT에서 있었던 프로젝트에서 시작되었고 - DaimlerChryrler, SPSS, NCR 등이 참여 - 1999년 첫 버전 발표 - [구성] 계층적 프로세스 모델로써, 4개 레벨로 구성되어 있음 1) 최상위 레벨은 여러 개의 단계(Phases)로 구성됨 2) 각 단계는 일반화 태스크(Generic Tasks)를 포함 - 일반화 태스크는 DM의 단일 프로세스를 완전 수행하는 단위 3) 세분화 태스크는 일반화 태스크를 구체적으로 수행하는 레벨 ex) 데이터 정제 - 범주형 데이터 정제, 연속형 데이터 정제, ... 4) 프로세스 실행(Process Insta.. 2022. 8. 2.
[ADP-2] ETL / ODS / DW / 스타 스키마 & 스노우 플래이크 스키마 / CDC / EAI / 데이터 연계 및 통합 기법 요약 / 대규모 분산 병렬 처리(하둡) ETL - Extraction, Transformation and Load - 추출, 변형, 적재 - 데이터 이동과 변환 절차와 관련한 업계 표준 용어 - 데이터 웨어하우스(DW), 운영 데이터 스토어(ODS), 데이터마트(DM)에 대한 데이터 적재 작업의 핵심 구성요소로서, 데이터 통합(Data Integration), 데이터 이동(Data Migration), 마스터 데이터 관리(MDM; Master Data Management)에 걸쳐 폭넓게 활용됨 Extraction(추출) 하나 또는 그 이상의 데이터 원천들로부터 데이터 획득 Transformation(변형) 데이터 클렌징, 형식 변환, 표준화, 통합 또는 다수 애플리케이션에 내장된 비즈니스 룰 적용 등 Load(적재) 위 변형 단계 처리가 완료.. 2022. 7. 25.
[ADP-1] 데이터 구분 / 지식경영(암묵지, 형식지) / DIKW / 데이터베이스 / 빅데이터 정의, 특징, 기능 정성/정량 데이터 구분 구 분 형 태 예 시 정성적 데이터 Qualitative Data 언어, 문자 등 회사 매출이 증가함 설문조사의 주관식 응답 트위터나 페이스북, 블로그 등 글 정량적 데이터 Quantative Data 수치, 도형, 기호 등 나이, 몸무게 지역별 온도, 풍속, 강우량 등 지식 경영(LM; Knowledge Management)과 지식 순환 구 분 설 명 예 시 상호작용 암묵지 (Tacit Kkowledge) 학습과 체험을 통해 개인에게 습득되어 있지만 겉으로 드러나지 않는 지식 - 시행착오와 오랜 경험을 통해 개인에게 습득된 무형의 지식 김장김치 담그기 자전거 타기 공통화 = 사회화, 공유화 Socialization - 암묵지 → 암묵지 내면화 Interalization - 형식지.. 2022. 7. 18.
[SQL로 맛보는 데이터 전처리 분석] 자동차 매출 데이터를 이용한 지표 추출(실습) - 3 데이터셋 - MySQL에서 제공하는 샘플 데이터셋을 활용함 - https://www.mysqltutorial.org/mysql-sample-database.aspx MySQL Sample Database This page provides you with a MySQL sample database that helps you to practice with MySQL effectively and quickly. You can download the sample database and load it into your MySQL Server. www.mysqltutorial.org - 지난 포스팅에 이어서 실습 진행함 (아래 링크를 통해 실습 2로 이동할 수 있다) [SQL로 맛보는 데이터 전처리 분석] 자동차 .. 2022. 7. 14.
반응형