LangChain4J-CDI 베스트 프랙티스

LangChain4J-CDI는 개발자가 CDI 덕분에 AI 서비스를 엔터프라이즈 Java 애플리케이션에 쉽게 통합할 수 있도록 해주는 핵심 구성 요소입니다.

숙련된 개발자이든 기존 Java 애플리케이션에 AI를 통합하기 시작한 입문자이든, AI 솔루션을 쉽게 구축할 수 있도록 보장하는 다음의 베스트 프랙티스들을 소개합니다.

1. AI 서비스 또는 AI 에이전트에 CDI 스코프(scope) 적용하기

AI 서비스(AI Service)를 만들든 AI 에이전트(AI agent)를 만들든, 다음과 같은 방식으로 CDI 스코프를 적용하고 싶은 유혹을 느낄 것입니다:

@RegisterAIService
@ApplicationScoped //<-- 이렇게 하지 마세요. 작동하지 않으며, 아무런 부수 효과도 없습니다.
public interface ChatAiService {
...

인터페이스는 CDI에 의해 관리되지 않으므로 이 방식은 작동하지 않습니다. 기술적으로 더 깊이 들어가자면, CDI 스코프는 프록시(proxy)로 전파될 수 없습니다.

대신, 각 LangChain4J-CDI 스테레오타입(stereotype) 어노테이션에는 CDI 스코프를 할당할 수 있는 scope() 파라미터가 포함되어 있습니다.

예시:

@RegisterAIService(scope = ApplicationScoped.class) // 더 나은 접근 방식이며, 정상적으로 작동합니다.
public interface ChatAiService {

...

이는 다음의 모든 어노테이션에 적용됩니다:

//AI Service를 위한 것
@RegisterAIService,

...

2. MicroProfile Fault Tolerance Retry 사용하기

MicroProfile의 @Retry 어노테이션을 사용하여 AI 서비스 또는 AI 에이전트에 재시도(retry) 정책을 적용하려면, 먼저 LangChain4J의 내부 재시도 정책(기본적으로 3회 재시도로 설정됨)을 비활성화해야 합니다.

이를 수행하는 방법은 여러 가지가 있습니다. MicroProfile 설정을 사용하여 maxRetries = 0으로 설정하십시오.

예시:

dev.langchain4j.cdi.plugin.<bean-model-name>.config.max-retries=0

또는, LangChain4J 제공자의 ChatModelBuilder를 사용하는 경우, builder.maxRetries(0);를 설정함으로써 동일한 값을 간단히 적용할 수 있습니다.

LangChain4J의 내부 재시도 정책 (retry policy)을 비활성화하지 않으면, 애플리케이션 서버는 O(n*m)의 전체 복잡도로 재시도를 호출하게 됩니다. 여기서 n은 MicroProfile에 의한 최대 재시도 횟수이고, m은 LangChain4J에 의한 최대 재시도 횟수입니다.

모든 LangChain4J AI 제공업체(providers)가 ChatModel에 maxRetries를 제공하는 것은 아니라는 점에 유의하십시오. 만약 해당 속성이 없는 빈(bean)에 대해 MicroProfile Config를 사용하여 maxRetries를 선언적으로 설정한다면, 해당 설정 속성은 무시됩니다.

3. 마지막으로

이것들은 저희가 식별하였고, 여러분이 AI 탐색 과정에서 고통받지 않도록 공유할 가치가 있다고 생각한 몇 가지 주의 사항들입니다.
즐거운 코딩 되세요! ☕👩🏾‍💻