초급 데이터 엔지니어 직무: 스탠퍼드의 19% 격차 대 BLS의 35% 성장률

올가을 몇 주 간격으로 내 피드에 두 개의 숫자가 나타났는데, 이들은 서로 다른 산업에 속한 것처럼 보입니다.

하나는 AI 관련 직무에서 젊은 근로자들이 뒤처지고 있다고 말합니다. 다른 하나는 데이터 과학 분야의 고용이 10년 동안 약 35% 성장할 것이라고 합니다. 만약 지금 초급 데이터 엔지니어 직무를 구하려고 노력하고 있다면, 아마도 이 두 헤드라인을 모두 보았고 혼란스러움을 느꼈을 것입니다.

제가 인정하기 싫은 것보다 더 많은 인터뷰 과정을 거친 후의 제 견해는 다음과 같습니다. 양쪽 수치 모두 대체로 맞으며, 서로 다른 것을 측정합니다. 함께 읽어보면 이 분야가 성장하고 있지만, 그 문턱이 좁아졌고, 그 문을 통과하는 사람들은 특정 역량을 갖추어야 한다는 것을 알 수 있습니다. 본문의 나머지는 그것이 무엇인지 다룹니다.

스탠퍼드의 19% 격차와 초급 데이터 엔지니어링

스탠퍼드 디지털 경제 연구소(Stanford's Digital Economy Lab)는 지난 8월에 AI 관련 직무에서 22세에서 25세 사이 근로자의 고용이, 상대적으로 AI 노출도가 낮은 직무의 같은 연령대 근로자들과 비교했을 때 약 19% 낮다고 보고했습니다. 2025년 7월 데이터 기준으로는 그 격차가 15%였습니다. 경력직 근로자는 이와 비슷한 격차를 보이지 않았습니다.

이것은 무서운 수치입니다. 패닉에 빠지기 전에, 이것이 무엇을 측정하는지 살펴보세요.

• 이는 반사실적 격차(counterfactual gap)입니다. 19%라는 수치는 노출도가 높은 젊은 근로자들을, 상대적으로 노출도가 낮은 동료들로부터 구축된 기준점과 비교한 것입니다. 이 수치에는 일자리 손실분은 포함되어 있지 않습니다. 원 수준에서 볼 때, 가장 많이 노출된 상위 2 분위수(quintiles)에 속하는 22세에서 25세 사이의 근로자 고용률은 2022년 11월부터 2026년 6월까지 약 11% 감소한 반면, 노출도가 가장 낮은 하위 3 분위수는 약 10% 증가했습니다.
• 이 데이터는 25,000개 기업을 포함하는 균형 패널(balanced panel)인 ADP 급여 데이터를 기반으로 합니다. 스탠퍼드 대학은 이 표본이 미국 노동 시장 전체나 ADP를 사용하는 모든 회사를 대표하지 않는다고 밝히고 있습니다.
• 저자들은 이를 인과적이라고 부르지 않을 것입니다. 그들의 말에 따르면, "이것들은 AI의 영향에 대한 인과적 추정치가 아니라 서술적인 패턴입니다."
• 이 수치는 변동해 왔습니다. 원래 2025년 논문에서는 13%라고 했습니다. 2026년 2월 보고서에는 고정 효과 추정치(fixed-effects estimates)가 약 16%였습니다. 현재는 19%입니다. 이 중 일부는 새로운 데이터 때문이며, 저자들이 인정하듯이 일부는 추정치가 "명세 선택(specification choices)"에 더 민감해졌기 때문이기도 합니다.

저는 마지막 고백을 존중합니다. 저는 파이프라인 디버깅에 충분한 시간을 보냈기에, 헤드라인 숫자가 누군가 방법론을 건드릴 때마다 바뀌는 것을 본 사람이라면, 그것을 측정치라기보다는 방향성으로 취급한다는 것을 압니다.

하지만 그 방향성은 여전히 중요합니다. 발표 자료에 따르면 이 조정은 해고 증가를 통해서가 아니라 젊은 근로자들의 채용 감소를 통해 주로 발생한다고 합니다. 댈러스 연준(Dallas Fed)과 행정 데이터를 사용한 센서스국(Census Bureau)의 연구 논문 역시 동일한 패턴을 발견했습니다. 즉, 사람들이 들어오는 것은 적지만, 사람들을 밀어내는 해고 물결은 없다는 것입니다.

따라서 주니어들은 이미 가지고 있는 일자리를 잃는 것이 아닙니다. 그들은 입구에서 더 적은 자리를 두고 경쟁하고 있으며, 이는 우리가 대비해야 할 것이 채용 과정 자체라는 것을 의미합니다.

스탠퍼드 측 발표 자료에서 나온 두 가지 추가적인 주의사항이 있습니다. 교육 수준을 통제하면 격차가 줄어듭니다. 또한 기술 기업과 컴퓨터 직업군을 완전히 제외해도 이 격차는 지속됩니다. 후자의 점은 "단지 빅테크의 해고 때문"이라는 설명을 무력화시킵니다. 무슨 일이 일어나고 있는지는 2021년에 몇몇 회사가 과도하게 채용했기보다 훨씬 광범위한 문제입니다.

19%라는 수치는 주니어급 인력이 AI 관련 역할에 채용되는 비율이 줄어든다고 말할 뿐, 해당 직무가 사라진다는 의미는 아닙니다. 방이 계속 커지고 있는 상황에서 입구만 좁아질 것을 대비해야 합니다.

BLS는 데이터 과학자 직군은 35% 성장을 예측하고 데이터 엔지니어는 언급조차 하지 않는다

이제 낙관적인 수치를 살펴보겠습니다. 노동통계국(Bureau of Labor Statistics, BLS)은 데이터 과학자 고용이 2025년부터 2035년까지 35% 성장하여 275,600개 직무에서 371,000개로 늘어날 것으로 예측했습니다. 2025년 5월 기준 중간 임금은 $120,230였습니다. 그들은 매년 약 24,800개의 공석이 생길 것이라고 예측합니다.

참고로, BLS는 같은 기간 동안 미국 전체 고용이 3.5% 성장할 것으로 예측했습니다. 컴퓨터 및 수학 직업군 전체는 7.3% 성장합니다. 데이터 과학자는 이 두 수치를 모두 크게 앞지릅니다.

BLS의 데이터 과학자 페이지에는 설명이나 '유사 직무' 목록(계리사, 조사 연구원 등이 포함되지만, 데이터 과학자가 쿼리하는 테이블을 만드는 사람들은 어떻게 빠졌는지 알 수 없습니다) 어디에서도 데이터 엔지니어에 대한 언급이 전혀 없습니다. 직업 전망 핸드북(Occupational Outlook Handbook)의 관점에서 볼 때, DE 역할은 '데이터 과학자'와 '소프트웨어 개발자' 사이에 어딘가에 위치하며, 독자가 추측해야 합니다.

저는 경력 전체를 정부의 주요 경력 가이드에서 빠진 직무명으로 일해왔습니다. 데이터 엔지니어링에 오신 것을 환영합니다.

공석 수치도 계산해보세요. 10년 동안 순증하는 신규 일자리는 약 95,400개로, 연평균 약 9,500개입니다. 나머지 24,800개의 연간 공석 중 약 15,000개는 대체(replacement)에서 나옵니다. 즉, 은퇴하거나, 경력을 바꾸거나, 승진하여 떠나는 경우입니다. 순성장률은 연간 공석의 약 38%만을 설명합니다.

이것은 헤드라인을 어떻게 읽어야 하는지를 바꿉니다. 기회의 큰 부분은 기존 시스템을 2주 만에 인계받을 수 있는 사람을 찾는 '백필(backfill)' 채용이며, 백필 채용 관리자들은 이런 사람들을 원합니다. 경험 많은 사람들이 주니어급보다 이 싸움에서 더 자주 승리합니다.

BLS의 예측 역시 스탠퍼드 격차를 확증하거나 반박할 수 없습니다. 왜냐하면 이는 연령별 세분화 없이 모든 경력 수준을 아우르는 종합적인 수치이기 때문입니다. 어떤 분야가 전반적으로 35% 성장하더라도, 23세 청년 채용은 적을 수 있습니다. 만약 성장이 그들보다 3년 이상 경력이 있는 사람들에게 집중된다면 이 두 가지는 쉽게 공존할 수 있습니다.

솔직히 말해 저는 바로 이런 상황을 예상했습니다. 저는 오랫동안 데이터 엔지니어링이 초급 직무가 아니라고 주장해 왔습니다. 이는 비즈니스 맥락, 분석(analytics), 인프라, 소프트웨어 엔지니어링, 그리고 SRE 업무를 결합하는 분야입니다. 기업들은 이미 주니어를 채용하는 것을 꺼려왔고, AI는 그들에게 2명의 주니어 대신 1명의 시니어만 고용할 수 있다는 그럴듯한 구실을 제공했을 뿐이어서 이러한 망설임을 더욱 커지게 만들었습니다.

Stack Overflow의 SQL 점수와 AI 지원 주니어가 가진 디버깅 격차

제가 가장 유용하다고 생각하는 자료는 2026년 Stack Overflow Developer Survey입니다. 이 설문조사에서 SQL은 JavaScript(62.0%)에 이어 58.4%로 모든 언어 중 두 번째를 차지했으며, HTML/CSS는 그 뒤를 이었습니다. 응답자 중 경력이 16년 이상인 사람들에게는 SQL이 63.0%로 1위를 기록했습니다.

개발자의 경력이 높을수록 SQL을 사용할 가능성이 더 높습니다. 사람들이 지난 15년간 '레거시'라고 불렀던 언어가 베테랑들이 가장 많이 사용하는 것입니다.

제 추론(설문조사에는 나와 있지 않지만): SQL 수요가 주니어를 압박하는 요인은 아닙니다. 오히려 SQL의 위상은 데이터를 이해하고, 디버깅하며, 설명하기 위해 이를 사용하는 숙련된 사람들로부터 나옵니다. 이것이 바로 기술 격차입니다. 주니어는 보통 쿼리를 작성할 수는 있지만, 그 쿼리가 반환한 결과가 무엇을 의미하는지, 그리고 왜 잘못되었는지 추론하는 것이 어려운 부분입니다.

같은 설문조사에서는 AI 사용이 어디에나 있다는 것을 보여줍니다. AI 코딩 도구를 사용하는 개발자의 73%가 이를 매일 사용한다고 답했습니다. 하지만 신뢰는 조건적입니다. Stack Overflow의 5월 설문 조사에서 응답자의 60%는 에이전트(agents)가 승인되지 않은 시스템 변경을 하는 것을 차단한다고 말했습니다. 개발자들은 AI에게 익숙한 영역에서 코드를 작성하게 하되, 운영 환경(production) 근처에서는 짧은 고삐를 유지하고 있습니다.

여기에 제가 계속 생각하는 한 연구 결과가 결합됩니다. Anthropic은 주로 주니어 엔지니어를 대상으로, 생소한 Python 라이브러리를 학습하게 하는 무작위 임상시험을 진행했습니다 Anthropic의 AI 지원 코딩 스킬 관련 연구. AI가 지원된 그룹은 이해력 퀴즈에서 평균 50%를 기록한 반면, 수동으로 코딩한 그룹은 67%를 기록했습니다. 가장 큰 격차는 디버깅 질문에서 나타났습니다. AI의 속도적 이점은 대략 2분이었지만 통계적으로 유의미하지는 않았습니다.

AI 그룹 내에서는 사람들이 그것을 어떻게 사용했는지가 가장 중요했습니다. 코드 생성을 AI에 위임한 참가자들은 40% 미만을 기록한 반면, 개념적인 질문을 하는 데 사용하는 참가자들은 65% 이상을 기록했습니다.

이 연구는 라이브러리 학습을 측정한 것이지 인터뷰 성과를 측정한 것은 아니므로, 이를 채용에 적용하는 것은 저의 해석입니다. 하지만 제가 인터뷰에서 보는 것과 불편할 정도로 잘 들어맞습니다. 자신들의 join 함수가 예상 행 수보다 3배로 분산된 이유를 설명하지 못하는 후보자는 예전에는 드물었습니다. 그런데 지금은 매주 그런 사람들을 봅니다.

실제 업무는 'DAG(Directed Acyclic Graph) 작성'이라기보다는 '지난 화요일에 이 파이프라인이 왜 조용히 2백만 행을 누락했는지 알아내는 것'에 가깝습니다. AI가 DAG를 생성할 수는 있습니다. 하지만 상위 팀에서 타임스탬프를 UTC에서 현지 시간으로 변경했고, 그 때문에 여러분의 증분 로드가 매일 밤마다 특정 기간(window)을 건너뛰게 되었다고 알려주는 것은 훨씬 어렵습니다. 그러기 위해서는 데이터와 그 세부 사항, 그리고 비즈니스를 이해하는 사람이 필요합니다.

따라서 채용 관리자가 자리가 하나 있고 AI가 기본적인 코딩 작업(boilerplate)을 처리할 수 있다면, 그들은 AI가 취약한 부분에 능숙한 사람을 원합니다. 디버깅하고 설명할 수 있음을 증명하는 주니어들이 채용됩니다. 단순히 코드만 생산할 수 있는 주니어들은 무료로 코드를 생산하는 도구와 경쟁하고 있습니다.

면접 측도 같은 문제를 안고 있습니다. 저는 AI가 기존의 코딩 인터뷰를 기술 평가에 거의 쓸모없게 만든다고 주장해 왔습니다. 모델이 필요할 때 미디엄 난이도의 문제(medium problem)를 해결할 수 있다면, 그것을 제 앞에서 푸는 것은 저에게 별로 알려주지 못합니다. 일부 회사들은 적응하고 있습니다. Meta가 2025년에 AI 기반 코딩 인터뷰를 테스트하는 것으로 보도되었습니다. 대부분은 아직 적응하지 않았기 때문에, 여전히 LeetCode 스타일의 라운드를 경험하게 될 것이며 이에 대비해야 합니다. 하지만 최종 결정에서는 SQL과 디버깅(debugging) 라운드가 더 큰 비중을 차지할 것으로 예상하세요. 왜냐하면 그 라운드들에서 면접관이 모델이 위조할 수 없는 무언가를 여전히 배울 수 있기 때문입니다.

주니어는 SQL과 디버깅에 시간을 먼저 투자하세요

저는 한 번의 구직 과정에서 약 20번 정도의 인터뷰 루프를 거쳤습니다. 현장 면접(onsite) 절반을 보고 난 후 탈락했습니다. 한 회사에서 8라운드를 치렀고, 합격했다고 들었지만 나중에 인원수가 사라졌습니다. 제가 이 이야기를 하는 이유는 다음 내용을 믿게 해드리기 위해서입니다. 제가 놓친 루프들은 도구를 모른다는 이유 때문이 아니었습니다. 압박감 속에서 제 추론 과정을 명확하게 설명하지 못했기 때문이었습니다.

만약 커리어가 초반이고 그 19%의 격차를 바라보고 있다면, 저는 시간을 여기에 투자할 것을 권합니다.

문법(syntax)을 넘어선 SQL을 학습하세요. 윈도우 함수(Window functions), 조인에서의 NULL 처리, 깨끗한 키가 없을 때의 중복 제거(deduplication), 그레인 불일치(grain mismatches), 지연 도착 데이터(late-arriving data) 등을 다루세요. 제가 만났던 모든 면접관들은 결국

AI를 사용하되, 그것이 무엇을 만드는 데 도움이 되었는지 설명할 수 있어야 합니다. 모두가 AI를 사용하고 있으니, 그렇지 않은 척하는 것은 어리석습니다. Anthropic 연구에서 고득점을 받은 사람들이 했던 것처럼 사용하는 것이 좋습니다. 개념적인 질문을 던지고, 코드는 직접 작성하며 자신이 소유해야 합니다. 이력서에 있는 프로젝트의 모든 줄을 설명할 수 없다면, 면접관은 당신이 설명할 수 없는 그 줄을 찾아낼 것입니다.

도구들을 검색하기 전에 데이터 모델링부터 배우세요. 어떤 오케스트레이터(orchestrator)를 선택하는지는 사실 테이블(fact tables)을 어느 단위(grain)로 유지하는지, 왜 넓고 비정규화된(wide and denormalized) 구조가 필요한지 이해하고, 차원(dimension)이 변경될 때 무슨 일이 일어나는지를 아는 것보다 훨씬 덜 중요합니다. 왜냐하면 그 지식은 어떤 회사, 어떤 스택에서도 통용되기 때문입니다.

DS&A 라운드에서는 미디엄 난이도 문제를 풀고 멈추세요. 약 50개 정도면 충분할 것입니다. 왜냐하면 꾸준히 하드(hard) 난이도의 문제를 내는 회사가 거의 없기 때문입니다. 남은 시간은 위에서 언급한 SQL, 디버깅 및 모델링 작업에 투자하세요.

그리고 마인드셋에 대해 한마디 하겠습니다. 데이터가 당신의 정신을 혼란스럽게 할 수 있기 때문입니다. 스탠퍼드의 격차는 채용 규모(hiring volume)에 관한 것입니다. 이는 당신이 일단 들어온 후의 잠재력(ceiling)에 대해서는 아무것도 말해주지 않습니다. 경력직들은 비교할 만한 격차가 없다는 것이, 문을 통과하여 2~3년간 실제 프로덕션 경험을 쌓은 사람들은 잘하고 있다는 것을 의미합니다. 이 분야는 여전히 성장 중이며, 좁은 부분은 입구입니다.

준비 과정을 직장 생활처럼 대하세요. 저는 제가 아는 엔지니어들 중에서 가장 똑똑한 사람은 아닙니다. 단지 6번째 거절 이후 포기하고 싶었던 과거의 저 자신보다 더 열심히 일했을 뿐입니다. 헤드라인 때문에 기분이 나쁜 시간을 갖도록 스스로에게 일주일을 주고, 그 후에 다시 공부에 집중하세요.

이 과정에서 잘 살아남는 주니어들은 새벽 2시에 고장 난 쿼리를 열고 '왜 이게 고장 났는지' 설명할 수 있는 사람들일 것입니다. 이 기술은 AI가 등장하기 전에도 높은 가치를 인정받았으며, 지금도 더 큰 가치를 할 것이라고 예상합니다.

그러니 현재 채용을 진행하고 계신 분들께 질문이 있습니다. 올해 주니어 DE 후보자를 탈락시켰다면, 그것이 코딩 능력 때문이었나요, SQL 능력 때문이었나요, 아니면 자신이 무엇을 만들었는지 설명하지 못하는 능력 때문이었나요?