AI 엔지니어 면접을 준비하는 과정은 보통 이렇습니다. Glassdoor 탭 열두 개, 2023년자 Reddit 스레드 하나, YouTube 영상 세 개, 반쯤 읽은 논문 한 편, 그리고 _이 특정 회사_가 실제로 무엇을 물어볼지 전혀 모르는 상태입니다.
그래서 저는 270개의 공개된 인터뷰 보고서를 살펴보았습니다. 후보자들이 회사 이름과 질문을 언급한 작성 문서 및 영상들을 수집하여 회사별로 정리했습니다. 가장 먼저 눈에 띄는 것은 다음과 같습니다: 모든 주요 연구소(top lab)가 고유의 개성을 가지고 있습니다. 일반적인 'AI 인터뷰'를 준비한다고 해서 어느 곳에도 대비할 수는 없습니다.
각 회사가 무엇을 물어보는지, 실제 질문과 함께 알려드립니다.
LLM Dojo: interview questions by company, 58 companies
OpenAI: 실제 제약 조건에 맞춰 설계하기
보고된 질문 9개 · 시니어 6개, 미드 레벨 3개
OpenAI의 목록은 대부분 지연 시간(latency), 비용(cost), 권한(permissions), 테넌트(tenants)와 같은 엄격한 제약 조건이 붙은 시스템 설계 문제입니다.
- "여러 테넌트를 서비스하면서 엄격한 지연 시간 및 비용 목표를 충족해야 하는 RAG 시스템을 설계해 보세요."
- "권한을 존중하고, 출처를 인용하며, 해야 할 때 주저하는(abstains) 내부 문서 검색 에이전트를 설계하세요." (Google과 Lyft에서도 보고됨)
- "도구 사용 에이전트(tool-using agent)를 안전하게 실행하기 위한 하네스(harness)와 그 위에 구축할 평가 플랫폼을 설계해 보세요."
- "여기에 버그가 몇 개 있는 작은 트랜스포머 모델이 있습니다. 이들을 수정하고, 디코딩을 위해 KV 캐시를 추가하세요."
무엇을 테스트하는가: 데모에서만 작동하는 것이 아니라 실제 운영 환경(production)에서도 견딜 수 있는 것을 만들 수 있는지입니다. "해야 할 때 주저한다"와 "위에 평가 플랫폼을 구축한다"는 핵심적인 단서들입니다. 그들은 처음부터 가드레일(guardrails)과 측정 시스템을 설계하기를 원합니다.
Anthropic: 수학적 계산을 소리 내어 설명하기
보고된 질문 10개 · 시니어 7개, 미드 레벨 3개
Anthropic의 목록은 마치 인프라 시험지 같습니다. 즉석에서 대략적인 추정치(back-of-envelope estimates)를 예상해야 합니다.
• "공유된 10 Gbps 링크를 통해 500 GB의 가중치(weights)를 1,000개의 GPU 워커에게 복사해야 합니다. 시간의 하한선은 얼마이며, 무엇을 구축하시겠습니까?"
• "FFN 레이어의 FLOPs, 파라미터 및 활성화 바이트, 그리고 이를 샤딩(sharding)할 때 발생하는 통신량을 추정해 보세요. 어떤 제한이 병목 현상을 일으키나요: 컴퓨팅(compute), HBM 또는 네트워크입니까?"
• "GRPO 학습 루프를 디버깅해야 합니다. 확률 비율(probability ratio)은 무엇이며, 여기서 무엇이 잘못될 수 있습니까?"
• "LLM을 log-probs와 log-sum-exp를 사용하여 이진 분류기(binary classifier)로 변환하는 방법을 설명하세요."
첫 번째 질문에 대한 강력한 답변의 예시는 다음과 같습니다:
Model answer: copying 500 GB of weights to 1,000 GPUs
각 워커는 자체 10 Gbps 링크를 통해 500 GB를 수신해야 하므로, 최소 시간은 400초입니다. 하나의 머신에서 모두에게 서비스를 제공하려면 약 4.6일이 걸립니다. 핵심은 모든 수신자가 업로드하는 역할을 수행하도록 만드는 것입니다: 가중치를 청크(chunk)로 나누어 트리를 따라 파이프라인으로 전송하거나, BitTorrent 스타일로 스웜(swarm)하여 전송하면 400초에 근접하게 만들 수 있습니다. 이후 토폴로지(랙 업링크당 한 개의 복사본), 체크섬(checksums), 그리고 장애 발생 후 재개하는 방법을 다룹니다.
이들이 테스트하려는 것: 상자나 화살표가 아닌, 바이트, 대역폭, 병목 현상으로 생각할 수 있는지를 확인하는 것입니다.
Mistral AI: 처음부터 구축하기 (build it from scratch)
16개의 질문 보고됨, 모든 실험실 중 가장 많음 · 미드 레벨 10개, 시니어 5개, 주니어 1개
Mistral은 모델 내부 구조에 대해 깊이 파고듭니다. 코드를 작성해야 합니다.
• "가상의 언어 모델(toy language model)에서 나온 로짓(logits)을 사용하여 NumPy로 그리디(greedy), top-k, 그리고 top-p 디코딩을 구현하세요."
• "인과 마스크(causal mask)를 사용한 배치형 멀티헤드 셀프 어텐션(multi-head self-attention)을 구현하세요."
• "RMSNorm은 LayerNorm과 어떻게 다르며, 최근 모델들이 이를 사용하는 이유는 무엇인가요?"
• "FSDP와 ZeRO 스테이지 1, 2, 3에 대해 설명해 보세요. 컴퓨팅과 통신을 어떻게 오버랩(overlap)할 수 있습니까?"
• "RAG 챗봇이 계속 잘못된 답변을 내놓습니다. 왜 그런지 알아내고 고치는 방법은 무엇인가요?"
그들이 테스트하는 것: 모델의 내부(정규화 값(norms), KV 캐시(KV cache), 옵티마이저(optimiser)에 이르기까지)를 얼마나 잘 아는지 여부입니다. 만약 API 호출만 해본 경험이라면, 이 부분에서 그 차이가 드러납니다.
9개 보고된 질문 · 시니어 7개, 미디엄 2개
Meta의 시니어 레벨 질문들은 크고 개방적인 설계 문제들이며, 주로 에이전트(agents)와 코딩 어시스턴트(coding assistants)에 관한 것입니다.
- "LLM 오케스트레이션과 결정론적 도구(deterministic tools)를 결합하는 코드 리뷰 에이전트를 설계해 보세요."
- "코딩 에이전트가 학습 과정과 추론 시간 모두에서 개인 코드를 유출하지 않도록 하려면 어떻게 해야 하나요?"
- "엔드투엔드로 LLM 코딩 어시스턴트를 설계하세요: 데이터, 모델 및 평가까지 포함하여."
- "셀프 어텐션(self-attention)을 구현하고, 시간 복잡도와 메모리 복잡도를 제시하며, 효율적인 변형들을 설명해 보세요."
그들이 테스트하는 것: 대규모 시스템의 범위를 설정할 수 있는지, LLM이 끝나는 지점과 결정론적 코드가 시작되는 지점을 알며, 보안을 설계의 일부로 다룰 수 있는지를 여부입니다.
Google: 사후 학습(Post-training) 및 안전한 에이전트
11개 보고된 질문 · 시니어 6개, 미디엄 4개, 주니어 1개
- "LLM 사후 학습 과정에서 보상 해킹(reward hacking)을 어떻게 감지하고 방지할 수 있나요?"
- "프롬프트 주입(prompt injection)에 견디고 개인 정보를 유출하지 않는 이커머스 리뷰 요약 LLM을 설계하세요."
- "AI 에이전트가 작업을 계획하고 승인된 도구를 호출하며, 결정론적 제어 장치를 절대 우회하지 않는 확장 가능한 서비스를 설계하세요."
모든 곳에서 준비해야 할 단 하나의 질문
“인과 마스크(causal mask)를 사용한 배치형 다중 헤드 셀프 어텐션(batched multi-head self-attention)을 구현해 보세요.”
이 질문은 Mistral AI, ByteDance, Meta, Apple, Uber 등 다른 어떤 질문보다 많은 회사에서 보고되었습니다. 여기에 OpenAI, Netflix, Mistral에서 나오는 KV 캐시 변형들을 추가하고, 빈 파일로부터 어텐션을 작성하는 것은 여러분이 할 수 있는 가장 높은 투자 대비 효과(high-return)의 준비 시간입니다.
LLM Dojo에서 준비 세션 진행 방식
저는 이 모든 것을 **LLM Dojo**에 정리했습니다. 따라서 특정 회사에 대비하는 것이 20개의 탭이 아니라 하나의 탭으로 가능합니다. 세션은 다음과 같은 방식으로 진행됩니다:
1. 회사 페이지를 열어보세요. 지원자들이 보고한 모든 질문들이 레벨별로 나뉘어 있으며, 각 원본 리포트 링크가 제공됩니다.
2. 질문을 읽고 소리 내어 답변해 보세요. 실제처럼 1~2분 동안 말하는 것이 중요합니다. 입으로 말할 때 부족한 부분이 드러납니다.
3. 모델 답변을 열어 비교해 보세요. 모든 답변은 인터뷰에서 말하기에 충분히 짧고, 출처(논문, 책, 측정값 등)를 명시하고 있습니다.
4. 클릭하지 않았나요? 레슨을 열어보세요. 모든 주제는 인터랙티브 랩이 있는 강의로 연결되어 있어, 암기하는 대신 아이디어가 작동하는 것을 직접 볼 수 있습니다: 디코딩 대비 프리필 레이스(race prefill against decode), 슬라이더를 이용한 KV 캐시 크기 조정, BPE 단계별 진행(step through BPE), 브라우저에서 GPT-2 토큰 단위 실행.
5. 다시 돌아오게 하세요. 무료로 로그인하면 놓친 점검 사항들이 1일 후, 그다음 3일 후, 그리고 7일 후에 순차적으로 나타나 결국 익숙해질 때까지 반복됩니다.
모든 것을 한 곳에서
- 492개의 인터뷰 질문을 주니어부터 시니어 레벨까지, 각 질문마다 모범 답안이 제공됩니다.
- 이 중 262개의 질문은 응시자들이 보고한 회사에 태그되어 있으며, OpenAI, Anthropic, Mistral, Meta, Google, Microsoft, Amazon, Apple, NVIDIA, Cohere, Scale AI, Databricks, Perplexity 등 58개 회사에 걸쳐 있습니다.
- 모델 내부 구조(model internals), 추론(inference), 프롬프팅(prompting), 평가(evals), RAG, 에이전트 및 프로덕션 환경까지 질문들이 테스트하는 모든 것을 다루는 7개의 모듈과 41개의 강의로 구성되어 있습니다.
- **70개 이상의 인터랙티브 실습실(labs)**과 신경망 플레이그라운드(neural network playground)가 제공됩니다.
- 간격 반복 복습(Spaced review) 시스템을 통해 이번 주에 배운 내용이 인터뷰 당일에도 기억할 수 있도록 도와줍니다.
- 무료입니다. 이 인터뷰 허브를 이용하기 위해 계정이 필요하지 않습니다.
👉 llmdojo.dev/interview
만약 다루지 않은 회사에서 면접을 보게 되거나, 은행에 없는 질문을 받았다면 댓글로 알려주세요. 제가 모범 답안과 함께 추가해 드리겠습니다.
