데이터 엔지니어 현실ㅣ채용공고 분석, 평균 연봉, 필수 스킬셋

데이터 분야가 빠른 속도로 발전하면서 데이터 사이언스, 데이터 엔지니어링 관련 직무에 대한 관심도 늘고 있습니다. 그 중 하나가 바로 데이터 엔지니어인데요. 데이터 사이언스, 데이터 엔지니어링 분야의 경계가 모호하지만 데이터 엔지니어는 데이터 사이언티스트, 데이터 분석가보다는 개발자에 가까운 직무에요.

기업마다 데이터 직무를 구분하는 기준이 조금씩 다르지만, 일반적으로 데이터 엔지니어는 데이터 분석가, 데이터 사이언티스트와 밀접하게 협업하면서 기업에 필요한 데이터 파이프라인을 설계하고 구축하는 일을 합니다.

데이터 직군에 대한 차이는 기획자, 개발자, 연구자의 성향을 대입하여 생각해보면 이해가 쉬우실 거예요.

– 데이터 분석가 : 데이터를 기반으로 인사이트를 도출하고 비즈니스 의사결정에 영향을 주는 기획자 성향 직무
– 데이터 사이언티스트 : 문제를 해결하기 위한 데이터 분석 모델(딥러닝/머신러닝)을 만드는 연구자 성향 직무
– 데이터 엔지니어 : 데이터를 처리하고 분석을 위한 데이터 파이프 라인을 구축하는 개발자 성향 직무

지난 데이터 분석가, 데이터 과학자 직무에 이어 오늘은 데이터 엔지니어의 모든 것을 정리했습니다. 데이터 엔지니어가 어떤 일을 하는지, 채용 공고엔 어떤 내용이 포함되어 있는지, 평균 연봉은 어떤지 같이 살펴볼게요.

---

데이터 엔지니어가 하는 일

데이터 엔지니어는 데이터 분석에 필요한 데이터를 사용하기 좋도록 인프라를 구축하고 관리하는 업무를 합니다. 데이터를 수집, 저장, 가공할 수 있는 데이터 파이프라인을 구축하는 것인데요. 더 쉽게 말하자면, 앞서 설명한 데이터 분석가나 데이터 과학자를 비롯한 조직 구성원들이 기업 외부, 내부의 방대한 데이터를 쉽고 빠르게 사용할 수 있도록 잘 정제하고 정리하는 역할이에요. 분석 서비스 플랫폼을 개발하거나 운영하기도 합니다.

이처럼 데이터 엔지니어는 기업이 비즈니스 의사결정을 더 잘할 수 있도록 하는 데이터 분석가, 데이터 과학자에게 필요한 데이터 플랫폼을 개발하는 사람이라고 볼 수 있습니다.

데이터 엔지니어 채용공고 살펴보기

아래는 현재 2023년 2월 현재 기준 원티드에 올라와있는 넷마블과 야놀자Tech 데이터 엔지니어 JD인데요. 해당 데이터 엔지니어 채용공고 JD를 보시면, 데이터 분석가, 데이터 사이언티스트와 다르게 데이터 환경을 설계하는 업무들이 주를 이루고 있는 것을 확인할 수 있습니다.

🟣 넷마블 데이터 엔지니어 채용공고

[주요 업무]

1) ELT 개발 및 운영

2) 대용량 트래픽 처리 인프라 구축

3) 데이터 마이그레이션

4) 데이터 검증 및 개선 업무

5) REST API 개발

6) 데이터 파이프라인 설계 및 개발 운영 자동화

🟣 야놀자Tech 데이터 엔지니어 채용공고

[주요 업무]

1) 빅데이터 인프라 구축 및 운영

- 팀 내부 주사용 AWS 인프라 운영 및 모니터링
- Zeppelin, re:dash 등 데이터 탐색 도구 운영

2) 데이터 입수 파이프라인 개발 및 운영

- DB, 로그. 배치 및 실시간 입수

3) ETL 개발 및 운영

4) 데이터 품질 및 카탈로그 관리 체계 구축 및 관련 어플리케이션 개발 및 운영

- 수집된 수천개의 로그 컬렉션, 수백개의 DB 데이터 컬렉션을 데이터 소비자들이 쉽게 탐색할 수있도록 메타데이터 정비 및 관리

5) 데이터 활용 가이드

- 만들어진 데이터 프로덕트를 사내외 데이터 소비자들이 잘 사용할 수 있도록 가이드와 주기적인 싱크업

_{(출처 : 원티드 채용공고)}

데이터 엔지니어 채용공고,
공통으로 등장하는 ETL

앞서 살펴본 데이터 엔지니어 채용공고에는 ETL이라는 단어가 공통으로 등장하는데요.

ETL은 데이터를 수집(Extract), 가공(Transform), 적재(Load)하는 업무를 뜻합니다. 즉, 데이터 엔지니어는 ETL을 할 수 있는 데이터 파이프라인을 설계하고 구축하는 사람이죠.

_{(*참고 : ELT : 데이터를 먼저 저장하고 이후에 변형하는 방식)}

ETL 파이프라인이란?

E : Extract

• 데이터를 추출(수집)하는 과정
• 기본적인 데이터 형태 (Excel, CSV, JSON) 등을 직접 받아오거나,
• 웹(Web), 앱(Applicaiton)의 로그(log)를 추출 ** 로그란 온라인 상에서 발생하는 모든 상황(클릭시간, 접속 정보, 접속한 콘텐츠 등)에 대한 기록

T : Transform

• 데이터를 분석하기 쉬운 데이터로 변환하는 과정
• Extract의 과정에서 다양한 형태(JSON, CSV 등)의 데이터들이 수집되는데, 이러한 데이터들을 그냥 저장하거나 분석하기에는 적합한 형태가 아니기 때문에 row와 column의 형태로 변환하여 SQL 등으로 활용할 수 있도록 하는 과정

L : Load

• 데이터를 저장 또는 불러오는 과정.
• 변환한 데이터를 데이터 레이크(Data Lake) 또는 웨어하우스(Warehouse)에 저장함

추가로 이러한 데이터 파이프라인을 운영하고 모니터링하는 업무도 데이터 엔지니어의 주요 업무 중 하나입니다.데이터 엔지니어가 하는 일에 대해 더 자세히 알아보고 싶다면? 해당 포스팅을 참고해보세요!

데이터 엔지니어 평균 연봉은?

다음은 데이터 엔지니어 평균 연봉을 알려드릴게요. 아래 수치는 예상 연봉 데이터이며, 기업이 속한 도메인의 성격, 조직의 규모나 산업에 따라 업무의 범위가 다르고, 아래 평균 연봉 또한 편차가 존재한다는 점 참고해주세요!

💸 데이터 엔지니어 신입, 5년 차, 10년 차 평균 연봉

[원티드 채용 정보 기준]

신입 - 3,530 만원~
5년차 - 5,258 만원~
10년차 - 8,305 만원~

_{(출처 : 채용 플랫폼 ‘원티드’ 채용 정보를 바탕으로 추정한 예상 연봉 데이터입니다.)}

데이터 엔지니어 취업,
필요한 필수 스킬셋은?

데이터 엔지니어는 다양한 직군이 원하는 핵심 자동화 엔진을 개발해야 하며, 이들이 주로 사용하는 언어를 고려하여 프로그래밍을 진행해야 합니다.

기업의 핵심 엔진을 구축하며, 구성원이 필요한 기능들을 직접 개발하기 위해서는 프로그래밍 언어에 대한 풍부한 지식이 요구됩니다.

데이터 엔지니어 전공 필수!
파이썬(Python)

파이썬은 인간이 사용하는 언어에 가까운 프로그래밍 언어이며, 사용 및 숙달이 어렵지 않다는 특징을 갖고 있습니다. 그리고 짧고 간결한 프로그래밍이 가능하며 단계별 프로그래밍이 가능하기에, 다양한 개발 보조 툴들이 개발되었습니다. 이러한 특징들로 인해 다양한 업무 영역을 지원할 수 있게 되었습니다.

파이썬은 직군을 가리지 않고 모두에게 필요한 핵심 개발역량이며, 데이터 엔지니어 커리어를 꿈꾼다면 특히 더 필수로 요구되는 스킬셋입니다.

따라서 데이터 사이언스 분야로 취업을 희망한다면 데이터 분석을 위한 라이브러리, 그 중에서도 아래 질문에 긍정적인 답변을 해줄 수 있는 기술인 파이토치를 필수로 알아두는 것이 좋습니다.

DE 커리어 시작하고 싶다면?
코드스테이츠 AI 부트캠프에서

코드스테이츠 인공지능(AI) 부트캠프는 데이터 취업에 특화되어 있는 과정으로 데이터 전문가에 필요한 지식부터 기술, 소프트 스킬을 짧은 시간 안에 익힐 수 있어요. 카카오 스타일부터 현대카드, KT, NC까지. 지금까지 많은 코드스테이츠 AI 부트캠프 수료생이 데이터 직군으로 취업에 성공했죠. 게다가 수료생 3명 중 2명은 비전공자 출신으로 많은 분들이 데이터 분석가, 데이터 과학자, 데이터 엔지니어, 머신러닝 엔지니어 등 원하는 데이터 직무로 커리어 전환에 성공했어요.

AI 개발자 커리어에 대해 알아가고 싶다면 지금 인공지능(AI) 부트캠프에 탑승해보세요!

_{글 전상언 Learning Architect, 이석진 Growth Manager (AI 부트캠프)
편집 조주연 Content Manager}

---