이 기사의 요점

• AI 인재는 「AI를 만드는 사람 (Builder)」과 「AI로 만드는 사람 (User)」의 2개 층으로 수렴하고 있다
• 일본의 많은 엔지니어가 향해야 할 곳은 후자이지만, 후자 안에서도 「고부가가치층」과 「대체 가능층」의 차이가 생기고 있다
• 2025~2026년 시점에서 커리어를 지키고 성장시키기 위해서는 「AI와 도메인 지식 (Domain Knowledge)의 곱셈」이 가장 중요한 스킬이 된다

2026년 현재, 이직 서비스나 기술 커뮤니티에서 「AI 인재」라는 말이 넘쳐나고 있습니다. 하지만 그 실태를 관찰하면, 같은 「AI 인재」라도 전혀 다른 스킬셋 (Skill set)과 시장 가치를 가진 두 개의 층으로 명확하게 나뉘고 있습니다. 이 기사에서는 AI 엔지니어의 두 가지 타입을 정리하고, 일본의 엔지니어로서 지금 어느 쪽을 지향해야 하는지를 구체적인 스킬맵 (Skill map)과 커리어 패스 (Career path)와 함께 해설합니다.

먼저 결론부터 말씀드리면, AI 인재는 다음의 두 종류로 대별할 수 있습니다.

전자는 Google이나 Anthropic, OpenAI와 같은 기반 모델 (Foundation Model)을 연구 · 개발하는 측의 인재입니다. 후자는 GPT-4o나 Claude Sonnet, Gemini와 같은 기존의 강력한 모델을 API나 도구로서 활용하여, 실제 프로덕트나 업무에 가치를 심는 인재입니다.

「어느 쪽이 위인가」가 아니라, "자신이 어느 쪽에 적합한가" "시장이 어느 쪽을 원하는가"를 정확하게 파악하는 것이 지금의 커리어 판단에서 가장 중요합니다.

• 심층 학습 이론 (Transformer · 확산 모델의 구조를 수식 레벨에서 이해할 수 있음)
• 대규모 분산 학습 설계 (FSDP, Megatron-LM 등을 다룰 수 있음)
• CUDA · Triton 등을 사용한 커널 최적화
• 논문 구현 능력 (arXiv의 최신 논문을 읽고 재현할 수 있음)

솔직히 말하면, Foundation Builder 포지션은 일본 국내에서는 거의 존재하지 않는 것이 현상황입니다. CyberAgent나 NTT, Fujitsu와 같은 일본 대기업들이 독자적인 LLM 개발을 진행하고는 있지만 (예: CyberAgent의 CyberAgentLM, NTT의 tsuzumi), 채용 규모는 수십 명 ~ 수백 명 규모입니다. 경쟁 배율은 매우 높으며, 박사 학위 보유자나 국제 논문 실적이 실질적인 요건이 됩니다.

말하자면 「프로 야구 선수」에 가까운 세계입니다. 명확한 소질 · 실적이 있는 사람은 전력으로 목표로 할 가치가 있지만, 그렇지 않은 경우에는 다른 전략을 취해야 할 것입니다.

ChatGPT나 Claude, Gemini를 범용적으로 사용할 수 있게 된 지금, AI를 "호출하는" 것 자체는 커모디티화 (Commodity化) 되어 있습니다. Python으로 anthropic.Anthropic().messages.create()를 호출하는 것만이라면 누구나 몇 시간 만에 습득할 수 있습니다.

import anthropic
client = anthropic.Anthropic()
response = client.messages.create(
...

문제는 「API를 호출할 수 있는」 사람만 넘쳐난 결과, Application Builder 안에서도 고부가가치층과 대체 가능층의 격차가 생기고 있다는 점입니다.

• ChatGPT의 래퍼 (Wrapper)를 만드는 것만으로 「AI 앱 개발자」를 자처하고 있다
• 프롬프트 (Prompt)를 궁리하는 것이 주요 업무가 되어 있다
• 도메인 지식 (Domain Knowledge, 업계 · 업무 · 유저의 맥락)을 거의 가지고 있지 않다
• RAG나 에이전트 (Agent)의 카피 구현은 할 수 있지만, 왜 그것으로 해결되는지를 설명하지 못한다

실제로 제가 주변 엔지니어를 관찰한 감각으로도, 2024년 하반기부터 「AI 엔지니어로 이직할 수 있었다」는 사례가 급증한 한편, 1년 이내에 「기대했던 만큼의 가치를 내지 못했다」고 느끼는 케이스도 적지 않은 듯합니다.

2025~2026년에 걸쳐 특히 현저한 것은, **AI 스킬 × 도메인 지식 (Domain Knowledge)**의 조합을 가진 인재에 대한 수요 급증입니다.

예를 들어:

• 의료 × AI: 전자 의무 기록의 서머리 자동 생성, 진단 지원 도구 개발 -
• 법무 × AI: 계약서 리뷰, 규제 대응 문서 검색 -
• 제조 × AI: 설비 점검의 이상 탐지, 공정 최적화 시뮬레이션

이러한 영역에서는 순수한 AI 엔지니어만으로도, 혹은 순수한 업계 전문가만으로도 해결할 수 없습니다. 양쪽을 연결할 수 있는 인재가 현시점에서 가장 시장 가치가 높은 계층이 되고 있습니다.

채용 에이전트의 정보(채용 공고 기반 관찰)에 따르면, 「업무용 AI 엔지니어」, 「AI 프로덕트 엔지니어」와 같은 직종의 구인 공고가 2024년 대비 대폭 증가하고 있는 것으로 보입니다 (구체적인 수치는 TBD이지만, 체감상으로는 명확한 증가 추세입니다).

Phase 1 (지금 바로 ~ 3개월): AI의 기초를 "사용할 수 있는" 수준으로

• Anthropic API 또는 OpenAI API로 심플한 RAG를 구현한다
• LangChain이나 LlamaIndex 등의 프레임워크를 하나 골라 생(raw) API와 비교하며 학습한다
• MCP (Model Context Protocol)의 개념을 이해하고, 간단한 MCP 서버를 구축한다

Phase 2 (3~6개월): 평가와 본방 운용을 배운다

• LLM의 출력을 어떻게 평가할지 설계한다 (정확도 · 비용 · 레이턴시)
• Promptfoo 등의 평가 도구를 능숙하게 다룬다
• 실제 서비스 도입 사례 (실패 사례 포함)를 심도 있게 학습한다

Phase 3 (6개월 ~): 도메인과의 곱셈을 의식한다

• 자신의 지금까지의 업무 경험(업계 · 직종)에서 AI로 해결할 수 있을 법한 과제를 정의한다
• 그 과제에 대해 프로토타입을 만들고, LT · 블로그 · OSS를 통해 외부로 발신한다
• 특정 도메인에 특화된 포지션(업계 특화 스타트업이나 부서)을 의식하여 이직 또는 사내 이동을 검토한다

Foundation Builder와 Application Builder라는 이분법은 우열의 문제가 아닙니다. 다만, 일본 엔지니어 시장의 현실을 보면 대다수 사람에게 현실적인 커리어 패스는 Application Builder입니다.

그 안에서 살아남으려면 「AI를 사용할 줄 안다」는 것만으로는 불충분하며, AI와 도메인 지식을 조합하여 업무 및 제품의 문제를 해결할 수 있는 사람이 될 것이 요구됩니다.

먼저 자신의 강점이 될 업계 · 업무 영역을 하나 명확히 한다. 그 위에 AI 구현 스킬을 쌓아 올린다. 이 순서로 움직이는 것이 지금 시대에 가장 합리적인 커리어 전략이라고 생각합니다.

Q. 수학을 잘하지 못하면 AI 엔지니어가 될 수 없나요?

Application Builder로서의 커리어라면 깊은 수학 지식이 없어도 충분히 활약할 수 있습니다. Transformer의 수식을 이해할 필요는 없으며, 「어떤 입력을 넣으면 어떤 일이 일어나는가」, 「왜 실패하는가」를 경험적으로 이해할 수 있는 엔지니어링 역량이 실무에서는 더 중시됩니다. Foundation Builder를 목표로 한다면 선형대수 · 확률 통계 · 최적화 지식이 필수적입니다.

Q. 지금부터 LLM · 생성형 AI를 배우기에는 늦었나요?

늦지 않았습니다. 다만 「API를 호출할 수 있게 된다」는 것만으로는 차별화가 되지 않습니다. 2026년 시점에서의 시작이라면, 기초적인 API 활용 학습에 너무 많은 시간을 쓰기보다 자신의 도메인 지식과 결합하여 어떤 문제를 해결할 수 있는지를 즉시 시도해 보는 것이 커리어상의 성과를 내기에 더 유리합니다.

Q. AI 엔지니어와 ML 엔지니어의 차이는 무엇인가요?

ML 엔지니어 (Machine Learning Engineer)는 전통적으로 「특징량 엔지니어링 (Feature Engineering) · 모델 트레이닝 · 파이프라인 구축」을 의미했습니다. AI 엔지니어는 더 넓은 의미로, LLM API를 활용한 애플리케이션 개발을 포함합니다. 최근 채용 시장에서는 양자의 경계가 모호해지고 있으므로, 직종명보다는 JD (Job Description)의 구체적인 업무 내용을 확인하는 것을 추천합니다.