Mistral을 사용하여 Java에서 첫 번째 AI 에이전트를 무료로 실행하기

제가 찾는 모든 "AI 에이전트 구축" 튜토리얼은 두 가지를 전제로 합니다. 바로 Python을 작성해야 한다는 것과 유료 OpenAI 키를 보유해야 한다는 것입니다. 저는 Java를 작성하며, 단순히 실험하기 위해 비용을 지불하고 싶지 않았습니다.

그래서 아무도 쓰지 않는 버전을 준비했습니다. Mistral'의 무료 티어와 Spring AI 기반의 오픈 소스 오케스트레이션 런타임(orchestration runtime)인 AgentFlow4J를 사용하여, JVM 위에서 무료로 실행되는 실제 LLM 기반 에이전트를 만드는 방법입니다. 시작부터 끝까지 약 10분 정도 소요됩니다.

1단계 — Mistral 계정 생성

console.mistral.ai로 이동하여 가입하세요 (이메일, Google 또는 GitHub). 그러면 개발자 콘솔인 _La Plateforme_에 접속하게 됩니다.

2단계 — 무료 API 키 가져오기

API Keys를 열고 Create new key를 클릭한 뒤, 이름을 지정하고 복사하세요 (한 번만 확인할 수 있습니다).

셸(shell)에서 이를 내보내기(export) 하세요 — 절대 커밋하지 마세요:

export MISTRAL_API_KEY="sk-...your-key..."

mistral-small 모델은 무료 티어에 포함되어 있으며, 구축 및 테스트를 수행하기에 충분합니다.

3단계 — 의존성(dependencies) 추가

AgentFlow4J는 JitPack을 통해 제공됩니다. AgentFlow4J와 Spring AI의 Mistral starter를 추가하세요:

<repositories>
    <repository>
        <id>jitpack.io</id>
...

4단계 — Spring AI를 Mistral로 지정하기

# application.yml
spring:
  ai:
...

5단계 — 에이전트 작성 및 실행

@Bean
CommandLineRunner demo(ChatClient.Builder chatClientBuilder) {
    Agent assistant = ExecutorAgent.builder()
...

MISTRAL_API_KEY를 설정하고 실행하면 Mistral로부터 실제 답변을 받을 수 있습니다. 이것이 바로 여러분의 첫 번째 Java 기반 무료 LLM 에이전트입니다.

왜 단순한 ChatClient가 아닌 런타임(runtime)인가?

단일 호출은 쉽습니다. 하지만 실제 시스템은 에이전트를 체이닝(chaining)하고, 상태(state)를 전달하며, 재시도(retry)를 수행하고, 가드레일(guardrails)이 필요합니다. 이것이 AgentFlow4J가 Spring AI 위에 추가하는 기능들입니다: 그래프 오케스트레이션(graph orchestration), 타입화된 상태(typed state), 체크포인트/재개(checkpoint/resume), 그리고 거버넌스 게이트(governance gates: 예산 제한, 도구/상태 정책, 인간의 승인) — 이 모든 것이 Python이나 사이드카(sidecar) 없이 관용적인(idiomatic) Java로 구현됩니다.

더 나아가고 싶다면, 이 cookbook에는 다섯 가지 실행 가능한 레시피(RAG, 티켓 분류(ticket triage), 웹 조사(web research), Slack 봇, 배치 처리(batch processing))가 포함되어 있습니다.

이 프로젝트는 오픈 소스(Apache 2.0)입니다. 만약 JVM을 벗어나지 않고 에이전트를 구축하고 싶으셨다면, 여러분의 피드백을 진심으로 기다리겠습니다: github.com/datallmhub/agentflow4j