데이터 엔지니어 하는 일: 파이프라인 설계부터 실전 기술 스택까지
“데이터 엔지니어요? 데이터 분석하는 사람 아닌가요?” 데이터 엔지니어 하는 일을 주변에 설명할 때 가장 많이 받는 반응입니다. 사실 데이터 엔지니어는 데이터를 ‘분석’하는 사람이 아니라, 분석이 가능하도록 ‘길을 닦는’ 사람입니다. 데이터가 원유라면, 데이터 엔지니어는 유전에서 정유 공장까지 파이프라인을 설계하고 유지하는 엔지니어입니다. 이 글에서는 데이터 엔지니어가 현장에서 실제로 무슨 일을 하는지, 다른 데이터 직군과 어떻게 다른지, 그리고 […]