AI 시스템 개발: LLM → RAG → AI Workflow → AI Agent

LLM, RAG, 그리고 AI Agent 때문에 혼란스러우신가요? 우리는 익숙한 이력서 스크리닝(resume-screening) 사례를 통해 각 단계에서 발생하는 능력(및 복잡성)의 도약을 보여주며 AI 시스템 설계의 스펙트럼을 분석합니다.

KA Nguyen avatar

AI Agent가 뜨거운 주제이긴 하지만, 모든 AI 시스템이 반드시 Agent일 필요는 없습니다.

Agent는 자율성과 의사결정 능력을 약속하지만, 더 단순하고 비용을 절감할 수 있는 솔루션이 많은 실제 사용 사례에 더 적합할 수 있습니다. 핵심은 당면한 문제에 적합한 아키텍처(architecture)를 선택하는 데 있습니다.

이 포스트에서는 거대 언어 모델(Large Language Models, LLMs)의 최근 발전 사항을 살펴보고 AI 시스템의 핵심 개념을 논의할 것입니다.

우리는 제로샷 프롬프팅(zero-shot prompting)부터 사고의 사슬(chain-of-thought) 추론, RAG 기반 아키텍처부터 정교한 워크플로(workflows) 및 자율 에이전트(autonomous agents)에 이르기까지 다양한 복잡성을 가진 프로젝트에서 LLM을 다뤄왔습니다.

이 분야는 용어가 계속 진화하고 있는 신흥 분야입니다. 서로 다른 개념 간의 경계는 여전히 정의되고 있으며, 분류 방식 또한 유동적입니다. 분야가 발전함에 따라 더 신뢰할 수 있는 AI 시스템을 구축하기 위한 새로운 프레임워크(frameworks)와 관행들이 등장하고 있습니다.

이러한 다양한 시스템을 입증하기 위해, 우리는 익숙한 사용 사례인 이력서 스크리닝 애플리케이션을 통해 각 단계에서 발생하는 예상치 못한 능력(및 복잡성)의 도약을 살펴볼 것입니다.

순수 LLM (Pure LLM)

순수 LLM은 본질적으로 인터넷의 손실 압축(lossy compression)이며, 학습 데이터로부터 얻은 지식의 스냅샷입니다. 이는 저장된 지식을 활용하는 작업에 탁월합니다. 예를 들어 소설 요약, 지구 온난화에 관한 에세이 작성, 5살 아이에게 상대성 이론 설명하기, 또는 하이쿠 작문 등이 있습니다.

하지만 추가적인 기능 없이는 LLM이 뉴욕의 현재 기온과 같은 실시간 정보를 제공할 수 없습니다. 이는 핵심 LLM에 실시간 검색 및 추가 도구를 결합하여 기능을 강화한 ChatGPT와 같은 채팅 애플리케이션과 순수 LLM을 구분 짓는 지점입니다.

그렇긴 하지만, 모든 기능 강화가 외부 컨텍스트 (External Context)를 필요로 하는 것은 아닙니다. 컨텍스트 검색 (Context Retrieval) 없이도 LLM이 특정 문제를 해결할 수 있도록 돕는 인컨텍스트 학습 (In-context Learning) 및 퓨샷 학습 (Few-shot Learning)을 포함한 여러 프롬프팅 기법 (Prompting Techniques)이 존재합니다.

예시:

• 이력서가 직무 기술서 (Job Description)에 적합한지 확인하기 위해, 원샷 프롬프팅 (One-shot Prompting)과 인컨텍스트 학습 (In-context Learning)을 적용한 LLM을 활용하여 이를 합격 (Passed) 또는 불합격 (Failed)으로 분류할 수 있습니다.

AI System Development - Workflow-04.png

RAG (Retrieval Augmented Generation, 검색 증강 생성)

검색 (Retrieval) 방식은 관련 컨텍스트를 제공함으로써 LLM을 강화하며, 이를 통해 모델을 더 최신의 상태로 유지하고, 정밀하며, 실용적으로 만듭니다. LLM에 내부 데이터에 대한 접근 권한을 부여하여 이를 처리하고 조작할 수 있게 할 수 있습니다. 이러한 컨텍스트를 통해 LLM은 정보를 추출하고, 요약을 생성하며, 응답을 만들어낼 수 있습니다. RAG는 또한 최신 데이터 검색을 통해 실시간 정보를 통합할 수 있습니다.

예시:

• 이력서 스크리닝 애플리케이션은 엔지니어링 플레이북 (Engineering Playbooks), 정책, 과거 이력서와 같은 내부 기업 데이터를 검색하여 컨텍스트를 풍부하게 함으로써 더 나은 분류 결정을 내리도록 개선될 수 있습니다.
• 검색은 일반적으로 벡터화 (Vectorization), 벡터 데이터베이스 (Vector Databases), 시맨틱 검색 (Semantic Search)과 같은 도구를 사용합니다.

AI System Development - Workflow-03.png

도구 사용 (Tool Use) 및 AI 워크플로우 (AI Workflow)

LLM은 잘 정의된 경로를 따름으로써 비즈니스 프로세스를 자동화할 수 있습니다. LLM은 일관되고 잘 구조화된 작업에 가장 효과적입니다.

도구 사용 (Tool Use)은 워크플로우 자동화를 가능하게 합니다. 계산기, 캘린더, 이메일 서비스 또는 검색 엔진과 같은 API에 연결함으로써, LLM은 자신의 내부적이고 비결정론적인 (Non-deterministic) 능력에 의존하는 대신 신뢰할 수 있는 외부 유틸리티를 활용할 수 있습니다.

예시:

• AI 워크플로우는 채용 포털에 연결하여 이력서와 직무 기술서를 가져오기 → 경력, 학력 및 기술을 기반으로 자격 요건 평가하기 → 적절한 이메일 응답(거절 또는 인터뷰 초대) 보내기 단계를 수행할 수 있습니다.
• 이 이력서 스캐닝 워크플로우를 위해 LLM은 데이터베이스, 이메일 API 및 캘린더 API에 대한 접근 권한이 필요합니다. LLM은 프로세스를 프로그래밍 방식으로 자동화하기 위해 미리 정의된 단계를 따릅니다.

AI System Development - Workflow-02.png

AI Agent (AI 에이전트)

AI Agent (AI 에이전트)는 독립적으로 추론하고 의사결정을 내리는 시스템입니다. 이들은 작업을 단계별로 세분화하고, 필요에 따라 외부 도구 (External tools)를 사용하며, 결과를 평가한 뒤 다음 행동을 결정합니다. 즉, 결과를 저장할지, 인간의 입력을 요청할지, 아니면 다음 단계로 진행할지를 결정합니다.

이는 도구 사용 (Tool use) 및 AI 워크플로 (AI workflow) 상위에 존재하는 또 다른 추상화 계층을 나타내며, 계획 수립 (Planning)과 의사결정 (Decision-making)을 모두 자동화합니다.

AI 워크플로 (AI workflows)가 명시적인 사용자 트리거 (예: 버튼 클릭)를 필요로 하고 프로그래밍 방식으로 정의된 경로를 따르는 반면, AI Agent (AI 에이전트)는 독립적으로 워크플로를 시작할 수 있으며 그 순서와 조합을 동적으로 결정할 수 있습니다.

예시:

• AI Agent (AI 에이전트)는 이력서 파싱 (Parsing), 채팅 또는 이메일을 통한 일정 조율, 인터뷰 예약, 일정 변경 처리 등을 포함한 채용 프로세스 전체를 관리할 수 있습니다.
• 이러한 포괄적인 작업은 LLM (대규모 언어 모델)이 데이터베이스, 이메일 및 캘린더 API (Application Programming Interface), 그리고 채팅 및 알림 시스템에 접근할 것을 요구합니다.

AI System Development - Workflow-01.png

핵심 요약 (Key takeaway)

1. 모든 시스템에 AI 에이전트가 필요한 것은 아닙니다

단순하고 조합 가능한 패턴으로 시작하여 필요에 따라 복잡성을 추가하십시오. 어떤 시스템에는 검색 (Retrieval)만으로도 충분합니다. 이력서 스크리닝 예시의 경우, 기준과 행동이 명확할 때는 단순한 워크플로 (Workflow)만으로도 잘 작동합니다. 인간의 개입을 줄이기 위해 더 높은 자율성이 필요한 경우에만 에이전트 (Agent) 접근 방식을 고려하십시오.

2. 능력보다 신뢰성에 집중하십시오

LLM (대규모 언어 모델)의 비결정론적 (Non-deterministic) 특성 때문에 신뢰할 수 있는 시스템을 구축하는 것은 어렵습니다. 개념 증명 (Proof of concept)을 만드는 것은 빠르지만, 프로덕션 (Production) 환경으로 확장할 때는 종종 복잡한 문제들이 드러납니다. 샌드박스 (Sandbox) 환경에서 시작하여, 일관된 테스트 방법을 구현하고, 신뢰성을 위한 가드레일 (Guardrails)을 구축하십시오.

Co-founder & CTO

KA Nguyen

공동 창업자 및 CTO (Co-founder & CTO)

CodeLink의 CTO로서, KA는 호기심 중심의 리더십 (curiosity-driven leadership)을 통해 혁신과 개인의 성장을 촉진합니다. 그는 엔지니어링 팀을 구축하고 이끄는 데 탁월하며, 지속적인 학습과 발전을 장려합니다. 현재 KA는 실질적인 과제들을 해결하기 위한 머신러닝 (machine learning) 모델을 개발하고 있으며, 사회에 영향력을 미치는 솔루션을 만드는 것을 목표로 하고 있습니다. 그의 리더십은 존중과 협업을 특징으로 하는 긍정적인 팀 환경을 조성합니다.