2022년에 ML 엔지니어를 채용할 때 중요했던 신호들은 2026년에 안정적인 AI 시스템을 출시할 사람을 거의 예측하지 못합니다. 'Kaggle에서 모델을 학습시켰다'거나 'PyTorch를 안다'는 것은 누군가가 에이전트를 실제 사용자 앞에 배치하여 토큰 예산을 불태우지 않을 수 있을지에 대해서는 거의 알려주지 않습니다.

200개 이상의 프로젝트 경험을 바탕으로, 저희가 실제로 사용하는 평가 프레임워크를 소개합니다.

먼저, 어떤 등급의 인력을 채용할지 파악해야 합니다

사람들이 'AI 엔지니어'라는 이름으로 묶어 놓는 세 가지 명확히 다른 역할이 있으며, 이들을 혼합하는 것이 최고의 채용 실수입니다:

• ML/Research engineers: 모델을 학습시키고 미세 조정(fine-tune)합니다. 모델 자체가 제품인 경우에만 필요합니다.
• AI application engineers: 파운데이션 모델(foundation models)을 제품에 연결합니다 — RAG, 에이전트(agents), 툴 사용(tool use), 평가(evals). 이 역할은 2026년에 대부분의 기업들이 실제로 필요로 하는 인력입니다.
• AI-first product engineers: AI를 루프 안에 두고 전체 제품을 구축하며, AI를 활용하여 더 빠르게 빌드합니다. 가장 희귀하고 영향력이 큰 역할입니다.

대부분의 팀은 리서치 엔지니어 직무 설명을 올린 후, 왜 지원자가 서포트 에이전트를 출시하지 못하는지 의아해합니다. 업무에 맞는 등급의 인재를 채용해야 합니다.

7가지 평가 프레임워크

1. 프로덕션 배포 이력. 실제 사용자들이 접한 시스템을 출하했던 경험과 새벽 2시에 무엇이 고장 났는지 물어보세요. 데모는 한 번의 행복한 경로(happy path)만 증명하지만, 프로덕션은 비용 상한선 아래에서 발생하는 만 가지의 이상 입력값입니다. 누구나 데모를 만들 수 있습니다.

2. 비용 인식.

4. 아키텍처 의사결정 (Architecture decision-making). 언제 파인튜닝(fine-tune)을 할지, RAG를 사용할지, 프롬프트 엔지니어링(prompt)으로 충분할지, pgvector-on-Postgres로 충분한지 아니면 전용 벡터 DB가 필요한지를 판단하는 능력. 뛰어난 엔지니어는 지루하고 저렴한 옵션을 먼저 고려합니다.

5. 에이전트 시스템 경험 (Agent system experience). 제한된 액션 공간(bounded action space), 최대 호출 횟수 제한(max-call limits), 그리고 회로 차단기(circuit breakers)를 가진 시스템을 구축해 본 적이 있는가? 제약 없는 에이전트 루프는 $40짜리 데모를 $4,000짜리 청구서로 만들 수 있습니다.

6. 보안 및 안전 인식 (Security and safety awareness). 프롬프트 인젝션(Prompt injection), 컨텍스트를 통한 데이터 유출(data leakage through context), 출력 검증(output validation)에 대한 이해가 필요합니다. 사용자가 이전 지침을 무시하라와 같은 내용을 붙여넣는 것에 대해 생각해 본 적이 없다면, 그것은 부족한 부분입니다.

7. AI 우선 방법론 (AI-first methodology). AI를 사용하여 구축하는 능력(코드 생성(codegen), 리뷰, 테스트 생성)을 갖추고 있는가? 2026년에 기대되는 10~20배의 속도 차이는 대부분 원시적인 기술(raw skill)보다는 워크플로우에 달려 있습니다.

실제로 효과적인 인터뷰 방법

LeetCode는 건너뛰세요. 범위가 정해지고 현실적인 문제 — 예를 들어,