“데이터 엔지니어요? 데이터 분석하는 사람 아닌가요?” 데이터 엔지니어 하는 일을 주변에 설명할 때 가장 많이 받는 반응입니다. 사실 데이터 엔지니어는 데이터를 ‘분석’하는 사람이 아니라, 분석이 가능하도록 ‘길을 닦는’ 사람입니다. 데이터가 원유라면, 데이터 엔지니어는 유전에서 정유 공장까지 파이프라인을 설계하고 유지하는 엔지니어입니다. 이 글에서는 데이터 엔지니어가 현장에서 실제로 무슨 일을 하는지, 다른 데이터 직군과 어떻게 다른지, 그리고 […]
“우리 DB에 데이터가 다 있는데, 굳이 데이터 웨어하우스가 따로 필요한가요?” 데이터 분석 인프라를 처음 구축하는 팀이라면 반드시 한 번쯤 하는 질문입니다. 데이터 웨어하우스 필요한 이유는 단순히 “더 많은 데이터를 저장하기 위해서”가 아닙니다. 운영 데이터베이스와 분석 시스템은 태생적으로 목적이 다르게 설계되어 있으며, 이 둘을 혼용하는 순간 서비스 성능 저하와 분석 품질 하락이 동시에 찾아옵니다. 이 글에서는 […]
ETL ELT 차이점은 데이터 엔지니어링 면접과 실무 아키텍처 설계에서 가장 빈번하게 등장하는 주제 중 하나입니다. 두 단어는 알파벳 세 개를 공유하지만, Transform(변환)이 어디서 일어나는가라는 단 하나의 차이가 전체 시스템 아키텍처·비용·성능·유연성에 결정적 영향을 미칩니다. 일 수백만 건의 주문 데이터, 수십억 개의 로그, 실시간 센서 스트림을 다루는 현대 데이터 플랫폼에서 이 선택은 단순한 기술 취향이 아니라 비즈니스 […]