본문 바로가기
반응형

DBT4

현대 데이터 스택 (과거와 현재, DBT 툴의 중요성) 개요이번 강의는 과거에서 현대까지의 데이터 스택(Stack)의 발전 과정을 설명해주셨다. 과거의 기술적 한계와 현대 데이터 엔지니어링의 방향성을 안내하면서, 과거의 발전이 오늘날의 데이터 기술에 어떻게 영향을 미쳤는지 스토리텔링해주셨다. 왠지 DBT가 얼마나 중요한지, 왜 배워야 하는지를 강조하고 싶으셔서 이 파트를 넣으신 것 같은 느낌적인 느낌. 과거의 데이터 스택 이전에도 설명해주셨지만, 1967년 그 쯤에는 MB당 보관비용(Storage Cost)가 1백만 달러로 매우 높은 가격을 지불해야 했다. 당시 데이터 통합(Data Integration) 과정이 발전하면서 ETL(Extract, Transform, Load) 방식이 공식적으로 도입되었었고, 비용적인 문제 때문에 데이터 변환이 데이터 로딩 이.. 2024. 8. 11.
ETL vs ELT, 왜 지금은 ELT를 선호하는가. 개요강사님이 어느 정도 ETL과 ELT가 익숙한 사람을 대상으로 강의를 해서 그런지, 자세한 설명은 이번에 건너 뛰신 것 같다. 추가적으로 ETL과 ELT를 구글링해보고 그 내용도 함께 실어봤다. (그냥 들어도 이해는 충분히 가는 내용이었지만, 이왕 공부하는거 좀 자세하게 알아보고 가면 좋을 것 같아서.) ETL vs ELTETL (Extract, Transform, Load)과 ELT (Extract, Load, Transform)는 데이터 통합의 두 가지 주요 방법이다. 각각의 접근 방식은 데이터의 이동과 변환을 다르게 처리하며, 비즈니스 상황이나 자원에 따라 다르게 쓰인다고 한다.1. ETL (Extract, Transform, Load)데이터 추출 → 변환 → 로드데이터를 별도의 처리 서버에서 변.. 2024. 8. 5.
Maslow's Pyramid of Data 개요첫 강의를 "Maslow's Pyramid of Data"로 시작하는 이유는, 우리에게 데이터 엔지니어링에 대해서 너무 성급히 접근하지 말기를 바라는 우려이자 강의자의 조언 같은 것이다. 매슬로우의 심리학적 이론을 데이터 관점에서 풀어낸 섹션이 아닐까 생각했다. 매슬로우의 5단계 이론 (Maslow's Pyramid) 우리는 데이터가 현대 사회에서 얼마나 중요한지 알고 있다. (그래서 지금 나도 강의를 듣고 있지만..) 현대 데이터 엔지니어링 스택에서 DBT가 어떻게 적합한 기술인지 차후에서 살펴볼 수 있을 것이다. 그 단계로 나아가게 이해하기 위해서는 DBT의 독특함을 아는 것이 굉장히 중요하다고 강의자님은 강조하고 있다. 더 쉽게 이해할 수 있도록, 매슬로우 5단계 이론을 바탕으로 전체적인 그림을.. 2024. 8. 5.
Udemy에서 DBT 강의 수강 시작하기 (데이터 분석 엔지니어 기술, Data Build Tool 강좌 소개) 개요 안녕하세요! 루크입니다. 제가 오랜만에 데이터 엔지니어링 관련 강의(The Complete dbt (Data Build Tool) Bootcamp: Zero to Hero)를 듣게 되었습니다. 최근에 Data Analytics Engineer 직무로 일을 하고 있는데, ETL 중에서도 T에 집중이 되어 있다는 Data Build Tool(DBT)를 접하게 되어 큰 관심을 가지게 되었습니다. 유데미를 통해서 강의를 듣게 되었는데, 강의 내용이 영어로 되어 있다 보니까, 언제든지 꺼내서 보기 위해서 블로그 포스트를 남겨두어야겠다는 생각이 들더라고요. 그래서! 오로지(?) 저 위해서 강의 내용을 텍스트로 남겨보려고 합니다. (혹시라도, 저작권 등에 문제가 된다면 수정 조치 하겠습니다.) 데이터 분석의 새.. 2024. 7. 31.
반응형