본문 바로가기
반응형

Data Science/Data Analytics16

[ADP-5] 상향식 접근법 (Bottom Up Approach) / 분석과제 정의 / 분석 과제의 주요 5개 특성 및 속성 상향식 접근법 (Bottom Up Approach) - 절차가 규정된 하향식 문제해결 방식이 아닌, - 경험적인 과거 데이터를 무작정 결합하여 상향식으로 정보 혹은 지식을 얻고자 하는 새로운 분석 패러다임 - 기업에서 보유하고 있는 다양한 원천 데이터로부터 분석을 통하여 통찰력과 지식을 얻는 상향식 접근방법 - 다양한 원천 데이터를 대상으로 분석을 수행하여 가치 있는 문제를 도출하는 일련의 과정 1) 기존의 하향식 접근법의 한계를 극복하기 위한 분석 방법론임 - 기존 접근방법인 논리적인 단계별 접근법은 문제의 구조가 분명하고 문제를 해결하고 해결책을 도출하기 위한 데이터가 분석가 및 의사결정자에게 주어져 있음을 가정하기 때문에 솔루션 도출에는 유효하지만 새로운 문제의 탐색에는 한계 - 스탠포드 대학의 d.. 2022. 8. 5.
[ADP-4] CRISP-DM 분석 방법론 / 분석과제 발굴 / 디자인사고(Design Thinking) / 하향식 접근법 (Top Down Approach) CRISP-DM 분석 방법론 - Cross Industry Standard Process for Data Mining - 1996년 유럽연합의 ESPRIT에서 있었던 프로젝트에서 시작되었고 - DaimlerChryrler, SPSS, NCR 등이 참여 - 1999년 첫 버전 발표 - [구성] 계층적 프로세스 모델로써, 4개 레벨로 구성되어 있음 1) 최상위 레벨은 여러 개의 단계(Phases)로 구성됨 2) 각 단계는 일반화 태스크(Generic Tasks)를 포함 - 일반화 태스크는 DM의 단일 프로세스를 완전 수행하는 단위 3) 세분화 태스크는 일반화 태스크를 구체적으로 수행하는 레벨 ex) 데이터 정제 - 범주형 데이터 정제, 연속형 데이터 정제, ... 4) 프로세스 실행(Process Insta.. 2022. 8. 2.
[ADP-3] 분석 기획 / 분석 주제 유형 / 분석방법론 / 방법론 모델 / KDD 분석 방법론 분석 기획 - IT 기술 및 분석 기법에 치우치는 경향을 조심해야 함 - 수학/통계학적 지식 및 해킹 기술(IT) 뿐만 아니라 해당 비즈니스에 대한 이해와 전문성을 포함 - 분석을 기획한다는 것은 해당 문제 영역에 대한 전문성 역량 및 수학/통계학적 지식을 활용한 분석 역량과 분석의 도구인 데이터 및 프로그래밍 기술 역량에 대한 균형잡힌 시각을 가지고 방향성 및 계획을 수립해야 한다는 것을 의미 분석 주제 유형 - 분석은 분석의 대상(WHAT), 방법(HOW)에 따라서 4가지로 나뉨 HOW \ WHAT Known Un-Known Known Optimization (최적화) Insight (통찰) Un-Known Solution (솔루션) Discovery (발견) - 문제 및 방법을 인지하고 있는 '개선.. 2022. 7. 29.
[ADP-2] ETL / ODS / DW / 스타 스키마 & 스노우 플래이크 스키마 / CDC / EAI / 데이터 연계 및 통합 기법 요약 / 대규모 분산 병렬 처리(하둡) ETL - Extraction, Transformation and Load - 추출, 변형, 적재 - 데이터 이동과 변환 절차와 관련한 업계 표준 용어 - 데이터 웨어하우스(DW), 운영 데이터 스토어(ODS), 데이터마트(DM)에 대한 데이터 적재 작업의 핵심 구성요소로서, 데이터 통합(Data Integration), 데이터 이동(Data Migration), 마스터 데이터 관리(MDM; Master Data Management)에 걸쳐 폭넓게 활용됨 Extraction(추출) 하나 또는 그 이상의 데이터 원천들로부터 데이터 획득 Transformation(변형) 데이터 클렌징, 형식 변환, 표준화, 통합 또는 다수 애플리케이션에 내장된 비즈니스 룰 적용 등 Load(적재) 위 변형 단계 처리가 완료.. 2022. 7. 25.
[ADP-1] 데이터 구분 / 지식경영(암묵지, 형식지) / DIKW / 데이터베이스 / 빅데이터 정의, 특징, 기능 정성/정량 데이터 구분 구 분 형 태 예 시 정성적 데이터 Qualitative Data 언어, 문자 등 회사 매출이 증가함 설문조사의 주관식 응답 트위터나 페이스북, 블로그 등 글 정량적 데이터 Quantative Data 수치, 도형, 기호 등 나이, 몸무게 지역별 온도, 풍속, 강우량 등 지식 경영(LM; Knowledge Management)과 지식 순환 구 분 설 명 예 시 상호작용 암묵지 (Tacit Kkowledge) 학습과 체험을 통해 개인에게 습득되어 있지만 겉으로 드러나지 않는 지식 - 시행착오와 오랜 경험을 통해 개인에게 습득된 무형의 지식 김장김치 담그기 자전거 타기 공통화 = 사회화, 공유화 Socialization - 암묵지 → 암묵지 내면화 Interalization - 형식지.. 2022. 7. 18.
[ch1. EDA] 변이 추정, 데이터 분포 탐색 본 요약 노트는 데이터 과학을 위한 통계(2판)을 참고하여 작성했습니다. 2022. 1. 10.
[ch1. EDA] 정형 데이터, 테이블 데이터, 위치 추정, 변이 추정 본 요약 노트는 데이터 과학을 위한 통계(2판)을 참고하여 작성했습니다. 2022. 1. 7.
반응형