서론

불과 몇 년 전만 해도 AI 애플리케이션을 구축하는 것은 비교적 간단했습니다. 모델을 학습시키고, 배포하고, 예측(predictions)을 제공하면 되었습니다.

오늘날 그것은 업무의 아주 작은 부분일 뿐입니다.

진정한 도전 과제는 LLM이 질문에 답하게 만드는 것이 아니라, 사람들이 프로덕션(production) 환경에서 신뢰할 수 있는 AI 시스템을 구축하는 것입니다.

지난 몇 주 동안 저는 프로덕션 시스템을 구축하고 있는 엔지니어, 창업자, 그리고 AI 실무자들과 대화를 나누었습니다. 서로 다른 회사에서 일하고 있음에도 불구하고, 그들은 모두 동일한 트렌드를 지적했습니다:

• 업계는 더 이상 모델을 구축할 수 있는 사람을 필요로 하지 않습니다. 견고한 AI 시스템을 구축할 수 있는 엔지니어를 필요로 합니다.

• 머신러닝 (Machine Learning), 딥러닝 (Deep Learning), 그리고 트랜스포머 (Transformers)에 대한 지식이 필수적이고 때로는 근본적일지라도, AI 엔지니어링의 미래는 그 너머에 있습니다.

실제 엔지니어링이 일어나는 곳은 예측 이후의 단계(post-prediction phase)입니다.

새로운 도전 과제들

AI 시스템이 실패하는 이유는 모델이 충분히 강력하지 않기 때문이 아닙니다.
그것은 모델을 둘러싼 생태계가 프로덕션(production)을 위해 구축되지 않았기 때문입니다.
현재 기업들이 답을 구하고 있는 질문들은 다음과 같습니다:

• 어떻게 우리 AI가 비즈니스 인텔리전스 (business intelligence)에 접근할 수 있도록 할 것인가?

• 어떻게 환각 (hallucinations) 현상을 방지할 것인가?

• 어떻게 AI가 사용자를 기억하게 할 것인가?

• 어떻게 각 에이전트 (agent)의 결정을 추적할 것인가?

• 어떻게 배포하기 전에 응답을 검증할 것인가?

• 어떻게 기업 데이터를 보호할 것인가?

• 어떻게 여러 LLM을 사용하면서 비용을 통제할 것인가?

이것은 프롬프트 엔지니어링 (prompt engineering) 그 이상입니다.

AI 시스템 엔지니어링의 부상

이로 인해 LLM을 위한 새로운 엔지니어링 스택 (stack)의 개발이 이루어졌습니다.

단순히 모델에만 집중하는 것과 비교하여, 조직들은 다음과 같은 기술들도 살펴보고 있습니다:

• 신뢰할 수 있는 지식 검색을 위한 RAG (Retrieval-Augmented Generation)

• 복잡한 AI 워크플로우 (workflows) 오케스트레이션을 위한 LangGraph

• 개인화된 경험을 위한 메모리 시스템 (Memory systems)

• 안전 및 정책 준수를 위한 가드레일 (Guardrails)

• AI 동작의 추적 및 디버깅을 위한 관측 가능성 (Observability)

• 라우팅, 폴백 (fallback), 비용 최적화를 위한 LLM 게이트웨이 (LLM Gateways)

• 품질 측정을 위한 RAGAS 및 DeepEval과 같은 평가 프레임워크 (Evaluation frameworks)

• 빠른 검색 및 캐싱을 위한 Redis 및 벡터 데이터베이스 (Vector Databases)

• 배포 전 취약점 식별을 위한 레드팀 (Red Teaming)

이러한 구성 요소 하나하나가 데모에서 프로덕션 (production) 단계로 확장할 때 발생하는 문제들을 해결합니다.

더 큰 그림 (The Bigger Picture)

전체적으로 살펴보았을 때, 이러한 도구들은 엔드 투 엔드 (end-to-end) 프로덕션 AI 스택을 나타냅니다.
높은 수준의 관점에서 볼 때, 모든 현대적인 AI 시스템은 다음과 같이 구성됩니다:

이 아키텍처를 보면 한 가지 사실이 분명해집니다. 언어 모델은 더 이상 애플리케이션의 중심이 아닙니다. 언어 모델은 검색 (retrieval), 오케스트레이션 (orchestration), 메모리 (memory), 평가 (evaluation), 모니터링 (monitoring), 보안 (security), 그리고 배포 (deployment)를 포함하는 훨씬 더 큰 생태계의 한 구성 요소일 뿐입니다.

LLM은 퍼즐의 한 조각에 불과합니다.

나머지 요소들이 당신의 시스템이 신뢰할 수 있는지, 확장 가능한지, 그리고 안전한지를 결정합니다.

AI 엔지니어링이 향하는 방향

이는 소프트웨어 엔지니어링의 변화와 평행을 이루는 또 다른 사례입니다.

소프트웨어 개발이 단순히 독립형 애플리케이션을 만드는 것에서 클라우드 기반 시스템을 만드는 것으로 발전해 온 것처럼, AI 개발은 단순히 AI 모델을 만드는 것에서 전체 시스템을 만드는 것으로 나아가고 있습니다.

내일의 AI 엔지니어는 그들이 사용하는 모델만으로 평가받지 않을 것입니다.

그들은 자신들이 구축한 시스템이 신뢰할 수 있고 (reliable), 관찰 가능하며 (observable), 안전하고 (secure), 확장 가능하며 (scalable), 실제 비즈니스 문제를 해결할 수 있는지에 따라 평가받을 것입니다.

마치며 (Final Thoughts)

AI 모델은 빠르게 강력해지고 있으며 접근성 또한 높아지고 있습니다.

진정한 경쟁 우위는 더 이상 모델 단독에 있지 않고, 모델을 둘러싼 아키텍처 (architecture)에 있습니다.

이 모든 요소가 어떻게 결합되는지 이해하는 것은 AI 엔지니어가 가질 수 있는 가장 가치 있는 기술 중 하나로 빠르게 자리 잡고 있습니다.

AI 모델은 점점 더 접근하기 쉬워지고 있습니다. 모델을 사용하여 무언가를 만드는 것은 더 이상 차별화 요소가 아닙니다.

진정한 이점은 모델을 중심으로 지능형 시스템 (intelligent systems)을 설계하는 데 있습니다.

차세대 AI 엔지니어는 최고의 모델을 선택하는 것으로 알려지는 것이 아니라, 최고의 시스템을 구축하는 것으로 알려질 것입니다.