협업 에이전트 추론 엔지니어링 (CARE): 전문가, 개발자, 헬퍼 에이전트를 활용한 과학적 도메인의 AI 에이전트 체계적 설계 방법론
요약
본 논문은 과학적 도메인에 특화된 대규모 언어 모델(LLM) 에이전트를 체계적으로 설계하기 위한 방법론, '협업 에이전트 추론 엔지니어링(CARE)'을 제시합니다. CARE는 전문가(SME), 개발자, 헬퍼 에이전트가 참여하는 3당사자 워크플로우를 통해 행동 정의, 근거화, 도구 오케스트레이션 및 검증 과정을 명시적으로 관리합니다. 이 방법론은 LLM 성능의 불균형 문제를 해결하고, 아티팩트 기반 접근을 통해 에이전트 시스템의 테스트 가능성, 명시성, 유지보수성을 크게 향상시키는 것을 목표로 합니다.
핵심 포인트
- CARE는 과학적 도메인 AI 에이전트를 위한 체계적인 설계 방법론으로, 임의적 접근법을 대체합니다.
- 3당사자 워크플로우(SME, 개발자, 헬퍼 에이전트)를 사용하여 복잡한 의도를 구조화하고 검증 가능한 사양으로 변환합니다.
- 단계별 게이트(stage-gated)와 아티팩트 생성을 통해 에이전트의 행동을 명시적이고 테스트 가능하게 만듭니다.
- LLM 성능 불균형 문제를 해결하여, 초보자와 전문가 간의 도메인 지식 격차를 메우는 데 기여합니다.
우리는 과학적 도메인에서 대규모 언어 모델 (LLM) 에이전트를 엔지니어링하기 위한 엄격하고 체계적인 방법론인 협업 에이전트 추론 엔지니어링 (Collaborative Agent Reasoning Engineering, CARE) 을 제시합니다. CARE 는 임의적이고 시행착오에 의존하는 접근법과 달리, 재사용 가능한 아티팩트와 체계적인 단계별 게이트 (stage-gated) 단계를 통해 행동, 근거화 (grounding), 도구 오케스트레이션, 그리고 검증 과정을 명시합니다. 이 방법론은 주제의 전문가 (Subject-Matter Experts, SMEs), 개발자, 그리고 LLM 기반의 헬퍼 에이전트를 포함하는 3 당사자 워크플로우를 사용합니다. 이러한 헬퍼 에이전트들은 촉진 인프라 역할을 수행하여, 비공식적인 도메인 의도를 구조화되고 검토 가능한 사양으로 변환하며, 이를 정의된 게이트에서 인간의 승인을 받도록 합니다. CARE 는 LLM 성능의 불균형으로 특징지어지는 '불규칙한 기술적 전선 (jagged technological frontier)' 문제를 해결하기 위해, 초보자와 전문가 분석가 간의 도메인 제약 조건 및 검증 관행에 대한 격차를 연결합니다. 상호작용 요구사항, 추론 정책, 평가 기준을 포함한 구체적인 아티팩트를 생성함으로써 CARE 는 에이전트의 행동이 명시 가능하고, 테스트 가능하며, 유지보수 가능하도록 보장합니다. 과학적 사용 사례에서 얻은 평가 결과는 이 단계별 게이트 및 아티팩트 기반 방법론이 개발 효율성과 복잡한 쿼리 성능 측면에서 측정 가능한 향상을 가져온다는 것을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기