AI 추론 엔지니어 면접 준비: 24시간 만에 마스터할 핵심 질문 목록

원문 발행 2026. 10. 24. 12:10원문 언어 영어AI 한국어 번역X 토픽: Benchmark 원문 보기

요약

본 자료는 AI 추론(Inference) 엔지니어 면접을 대비한 심화 기술 질문 목록입니다. KV cache 계산, PagedAttention, 연속 배치 처리 등 LLM의 성능 병목 지점을 분석하고 최적화하는 시스템 설계 능력을 중점적으로 다룹니다.

핵심 포인트

KV cache 크기 계산 및 PagedAttention 원리 이해가 필수적입니다.
연속 배치(Continuous Batching)를 통한 처리량 극대화 방안을 알아야 합니다.
TTFT 개선을 위한 청크 기반 프리필 전략 설계 능력이 중요합니다.
양자화, Speculative decoding 등 다양한 최적화 기법 지식이 요구됩니다.
vLLM, TensorRT-LLM 등 실제 서빙 프레임워크 비교 분석이 필요합니다.

AI 추론(inference) 엔지니어는 현재 엄청난 수요가 있습니다. 만약 제가 AI 추론 엔지니어링 면접을 위해 24시간을 준비할 시간이 주어진다면, 순서대로 연습할 필수 문제들입니다.

요청이 도착하는 시점부터 첫 번째 토큰이 나갈 때까지 발생하는 과정을 설명하시오.
SSE(Server-Sent Events)를 통해 토큰 스트리밍을 처리하고, 연결 끊김 및 진행 중인 생성 취소 처리를 수행하는 방법을 설명하시오.
32K 컨텍스트와 100명의 사용자를 가진 Llama 스타일의 70B 모델에 대한 KV cache 크기를 계산하시오. GQA(Grouped-Query Attention)와 정밀도(precision)를 고려해야 합니다.
PagedAttention을 설명하고, 이것이 해결하는 문제를 설명하시오.
수학적 연산 자체가 동일할 때 왜 FlashAttention이 더 빠른지 설명하시오.
지연 시간 마감 기한 내에서 연속 배치 처리(continuous batching)를 설계하고, 이것이 정적 배치 처리(static batching)보다 우월한 이유를 설명하시오.
100K 토큰 프롬프트는 짧은 채팅을 방해합니다. 청크 기반 프리필(chunked prefill)과 스케줄링을 통해 TTFT(Time To First Token)를 개선하는 방법을 설계하시오.
GPU 복제본(replicas)에 걸쳐 프리픽스 캐싱(prefix caching) 및 캐시 인식 라우팅(cache-aware routing)을 설계하시오.
처리량(throughput)을 떨어뜨리지 않으면서 토큰 간 지연 시간(inter-token latency)을 줄이는 방법을 설명하시오.
Speculative decoding: 이것이 도움이 되는 경우와 해가 되는 경우를 설명하시오.
양자화(Quantization): FP8 vs INT8 vs INT4 vs NVFP4. 이 중 하나를 선택하여 손실률을 측정해 보시오.
워크로드를 위해 GPU를 선택하시오: H100 vs H200 vs B200 vs L40S.
Nsight를 사용하여 느린 모델을 프로파일링 하십시오: 컴퓨트(compute), 메모리 대역폭(memory bandwidth), 아니면 커널 실행 오버헤드(kernel launch overhead) 중 어느 것이 원인입니까?
로드 상태에서 GPU 활용률이 30%에 머물러 있습니다. 디버깅하시오.
CUDA/Triton으로 결합된 RMSNorm 커널을 작성하고 PyTorch와 비교하여 벤치마킹 하시오.
관찰 가능성(observability)을 설계하시오: TTFT, TPOT(Time Per Output Token), 큐 깊이(queue depth), KV cache 활용률, 프리픽스 캐시 적중률(prefix-cache hit rate), 요청당 비용 등을 포함해야 합니다.
p99 지연 시간이 p50보다 10배 높습니다. 진단하시오.
vLLM vs TensorRT-LLM vs SGLang: 현실적인 워크로드를 기반으로 벤치마킹하고 하나를 선택하시오.
모델이나 양자화를 안전하게 배포하고, 롤백(rollback) 기능을 포함하여 구현하는 방법을 설계하시오.
느린 콜드 스타트(cold starts)가 있는 GPU에 대한 자동 스케일링을 설계하시오.
공정한 스케줄링, 입장 제어(admission control), 우선순위 큐를 갖춘 멀티 테넌트 서빙(multi-tenant serving)을 설계하시오.
프리필과 디코드를 분리하는 이유, KV cache를 전송하는 방법, 그리고 그 비용은 무엇인지 설명하시오.
대규모 MoE(Mixture of Experts) 모델을 서비스하는 방법을 설계하시오: 텐서 병렬화(tensor parallelism), 파이프라인 병렬화(pipeline parallelism), 전문가 병렬화(expert parallelism)의 조합을 선택하고, all-to-all 오버헤드에 대해 설명하시오.
품질 저하 없이 백만 토큰당 비용을 70% 절감하는 방법은 무엇인가?
일일 활성 사용자(DAU) 100만 명을 위한 ChatGPT 스타일 추론 시스템을 설계하라. 최대 초당 질의 수(QPS), GPU 용량 및 비용을 추정하시오.

그리고 단순히 답만 암기하지 마세요. 개념을 이해하고, 실제 숫자를 가지고 작업하며, 트레이드오프(trade-offs)에 집중하세요.

📌 이 내용을 북마크하고 AI 인터뷰를 준비하는 사람에게 보내주세요.

AI 자동 생성 콘텐츠

원문 바로가기

AI 추론 엔지니어 면접 준비: 24시간 만에 마스터할 핵심 질문 목록

요약

핵심 포인트

댓글