반응형 데이터분석엔지니어3 현대 데이터 스택 (과거와 현재, DBT 툴의 중요성) 개요이번 강의는 과거에서 현대까지의 데이터 스택(Stack)의 발전 과정을 설명해주셨다. 과거의 기술적 한계와 현대 데이터 엔지니어링의 방향성을 안내하면서, 과거의 발전이 오늘날의 데이터 기술에 어떻게 영향을 미쳤는지 스토리텔링해주셨다. 왠지 DBT가 얼마나 중요한지, 왜 배워야 하는지를 강조하고 싶으셔서 이 파트를 넣으신 것 같은 느낌적인 느낌. 과거의 데이터 스택 이전에도 설명해주셨지만, 1967년 그 쯤에는 MB당 보관비용(Storage Cost)가 1백만 달러로 매우 높은 가격을 지불해야 했다. 당시 데이터 통합(Data Integration) 과정이 발전하면서 ETL(Extract, Transform, Load) 방식이 공식적으로 도입되었었고, 비용적인 문제 때문에 데이터 변환이 데이터 로딩 이.. 2024. 8. 11. 데이터레이크(Data Lake)와 데이터레이크하우스(Data Lakehouse) 개요데이터웨어하우스(DW)는 지금 내 조직에서도 활발하게 사용 중이라서 익숙한데, 레이크와 레이크하우스는 익숙하지 않은 개념인 것 같다. 사실 있다고 한들, 과연 내가 처리할 수 있는 스택을 갖추고 있는가 하는 생각이 드는 수준. 강의를 들으면서 생각한 것은 LAKE는 현실적으로 운영하는 것이 무의미한 것 같고, 최소한 레이크하우스 정도는 되어야 될 것 같다는 생각. 뒷부분에서 이 처리 부분을 강의로 이어주실 지는 의문이 든다. 차근차근 따라가보기. 데이터 웨어하우스의 한계와 해결 방법 보통 사기업 조직에서는 온프레미스 데이터웨어하우스를 구축해서 운영하고 있다. (메이비 보안적인 측면이겠지) 온프레미스와 클라우드 DW 모두 장점과 단점이 모두 존재하는데, 선택에 따라 여러 가지 문제에 직면할 수 있는.. 2024. 8. 11. Udemy에서 DBT 강의 수강 시작하기 (데이터 분석 엔지니어 기술, Data Build Tool 강좌 소개) 개요 안녕하세요! 루크입니다. 제가 오랜만에 데이터 엔지니어링 관련 강의(The Complete dbt (Data Build Tool) Bootcamp: Zero to Hero)를 듣게 되었습니다. 최근에 Data Analytics Engineer 직무로 일을 하고 있는데, ETL 중에서도 T에 집중이 되어 있다는 Data Build Tool(DBT)를 접하게 되어 큰 관심을 가지게 되었습니다. 유데미를 통해서 강의를 듣게 되었는데, 강의 내용이 영어로 되어 있다 보니까, 언제든지 꺼내서 보기 위해서 블로그 포스트를 남겨두어야겠다는 생각이 들더라고요. 그래서! 오로지(?) 저 위해서 강의 내용을 텍스트로 남겨보려고 합니다. (혹시라도, 저작권 등에 문제가 된다면 수정 조치 하겠습니다.) 데이터 분석의 새.. 2024. 7. 31. 이전 1 다음 반응형
