본문 바로가기
반응형

DW3

느린 변경 차원; Slowly Changing Dimension(SCD) 개요우리 조직에서도 SCD에 대한 논의가 활발하게 이루어졌고, 지금까지도 난항을 겪고 있는 파트. 이게 개념적으로 "느린 변경 차원"이라고 딱 지정되어서 많은 사람들이 논의를 하고 있다는 것을 처음 알았다. 이번에 좀 확실히 개념을 잡고 우리 조직에도 적용할 수 있는 포인트가 있다면, 학습한 내용을 활용해서 적용해보고자 한다.  개념 느린 변경 차원(SCD)은 데이터가 천천히 변할 때, 그 변화를 데이터 웨어하우스에서 어떻게 관리할지를 설명하는 접근 방식이다. 데이터가 원본 데이터베이스에서 변경될 때, 이를 데이터 웨어하우스에서 어떻게 처리하고 저장할지를 결정하는 방법을 4개의 타입으로 정리해서, 조직 특성에 맞게 적용할 수 있도록 한다. 주요 내용:데이터 히스토리 관리:보관 필요성: 일부 데이터는 시간.. 2024. 8. 11.
데이터 웨어하우스 이해하기 (온프레미스 vs 클라우드 DW) 개요유데미 DBT 강의를 계속해서 듣고 있는데, 이 강의 진짜 매력있다. 단순히 DBT! 에 집중하는 강의는 아닌 것 같고, 전체적으로 데이터를 개발하는, 데이터를 구축하는, 데이터를 운영하는 사람이 당연히 알아야 할 것들을 찬찬히 빌드업하면서 우리가 해야하는 일이 무엇인지를 조금씩 조굼씩 인지시켜주는 것 같다. 강사님 성함.. Zoltan C. Toth 죨탄님. 계속 잘 따라가보겠습니다. 감사합니다. 과거의 데이터웨어하우스(DW) 데이터 웨어하우스는 1960년대부터 존재해 온 기술로, 줄여서 BW(비즈니스 웨어하우스) 또는 DW(데이터 웨어하우스)라고 부른다. 데이터 웨어하우스는 궁극적으로는 데이터 분석과 보고를 위한 기술적 도구의 역할을 하는 것으로 볼 수 있다. 쉽게 말해, DW는 고속으로 분석 작.. 2024. 8. 5.
[ADP-2] ETL / ODS / DW / 스타 스키마 & 스노우 플래이크 스키마 / CDC / EAI / 데이터 연계 및 통합 기법 요약 / 대규모 분산 병렬 처리(하둡) ETL - Extraction, Transformation and Load - 추출, 변형, 적재 - 데이터 이동과 변환 절차와 관련한 업계 표준 용어 - 데이터 웨어하우스(DW), 운영 데이터 스토어(ODS), 데이터마트(DM)에 대한 데이터 적재 작업의 핵심 구성요소로서, 데이터 통합(Data Integration), 데이터 이동(Data Migration), 마스터 데이터 관리(MDM; Master Data Management)에 걸쳐 폭넓게 활용됨 Extraction(추출) 하나 또는 그 이상의 데이터 원천들로부터 데이터 획득 Transformation(변형) 데이터 클렌징, 형식 변환, 표준화, 통합 또는 다수 애플리케이션에 내장된 비즈니스 룰 적용 등 Load(적재) 위 변형 단계 처리가 완료.. 2022. 7. 25.
반응형

티스토리툴바