FinAutoRubric: 금융 리서치 에이전트 평가를 위한 전문가 가이드 기반 자동 루브릭 생성

금융 리서치 에이전트는 기관별 표준을 반영하고 정보 차단 시점(information cutoff)의 고정된 값을 갖는 평가 프레임워크가 필요합니다. 수작업으로 작성된 고정 벤치마크는 확장하는 데 비용이 많이 들고, 독점적인 평가 기준을 인코딩할 수 없습니다. FinAutoRubric은 전문가가 재사용 가능한 가이드를 한 번만 작성하면, 이를 코드 기반 검증(code-enforced validation)을 갖춘 다중 에이전트 루프를 통해 쿼리별 루브릭을 자동으로 생성함으로써 이 문제를 해결합니다.

평가 문제점 (The Evaluation Problem)

금융 리서치 에이전트를 배포할 때, 그 답변이 기관의 표준을 충족하는지 알아야 합니다. 일반적인 벤치마크는 다음과 같은 이유로 도움이 되지 않습니다:

• 기관별 표준: 귀사의 위험 임계값(risk thresholds), 데이터 소스, 규정 준수 요구 사항은 공개 벤치마크와 다릅니다.
• 정보 차단 시점: 금융 데이터는 변합니다. 3월 15일에 정확했던 답변이 3월 16일에는 틀릴 수 있습니다. 루브릭은 특정 날짜를 기준으로 기대값을 고정해야 합니다.
• 수동 루브릭의 비용: 모든 쿼리에 대해 상세한 루브릭을 작성하는 것은 확장성이 없습니다. 전문가 시간이 병목 현상입니다.

기존의 전문가 검토 금융 벤치마크는 고정된, 항목별(per-item) 루브릭에 의존합니다. 각 루브릭은 특정 쿼리를 위해 한 번 작성되며 재사용할 수 없습니다. 벤치마크를 확장하려면 처음부터 새로운 루브릭을 작성해야 합니다.

아키텍처: 전문가 가이드 + 에이전트 루프 (Architecture: Expert Guidance + Agent Loop)

FinAutoRubric은 재사용 가능한 전문가 가이드와 쿼리별 루브릭 생성을 분리합니다. 이 아키텍처는 세 가지 계층으로 구성되어 있습니다:

1. 전문가 가이드 계층 (Expert guidance layer): 분석가들이 평가 기준을 프롬프트 및 코드 기반 규칙(code-enforced rules)으로 한 번 작성합니다. 이 가이드는 모든 에이전트를 지배합니다.
2. 태스크 뱅크 (Task Bank): 작업 전반에 걸쳐 전문가 표준을 전달하는 재사용 가능한 평가 기준 라이브러리입니다.
3. 다중 에이전트 생성 루프 (Multi-agent generation loop): 작성자 에이전트(writer agent)가 기대값을 리서치하고, 검토자 에이전트(reviewer agent)가 이를 검증하며, 실패는 인간에게 에스컬레이션됩니다.

생성 흐름 (Generation Flow)

# 간소화된 루브릭 생성 루프
def generate_rubric(query, expert_guidance, task_bank):
    """
... 

작성자 에이전트(writer agent)는 금융 데이터 소스에 질의하고, 예상 값을 계산하며, 루브릭 기준을 초안 작성합니다. 검토자 에이전트(reviewer agent)는 예상 값이 소스와 일치하는지, 그리고 루브릭이 전문가 가이드라인을 따르는지를 확인합니다. 만약 검토자의 신뢰도가 임계값(threshold)보다 낮으면, 시스템은 인간 분석가에게 문제를 상향 전달(escalates)합니다.

기관별 표준 인코딩 (Encoding Institution-Specific Standards)

전문가 가이드 레이어는 독점적인 표준을 모델 학습 데이터에 유출하지 않으면서 이를 인코딩하는 문제를 해결합니다. 분석가들은 다음을 작성합니다:

• 프롬프트(Prompts): 평가 우선순위를 설명하는 자연어 지침(예:

핵심 과제는 자동 생성된 루브릭이 전문가의 판단과 일치하는지 확인하되, 전문가가 모든 루브릭을 검토할 필요가 없도록 하는 것입니다. FinAutoRubric은 세 가지 메커니즘을 사용합니다:

1. 검토자 에이전트(Reviewer agent): 두 번째 LLM이 해당 루브릭이 전문가 지침을 따르는지, 그리고 예상 값이 출처와 일치하는지를 검증합니다.
2. 코드 기반 규칙(Code-enforced rules): 결정론적 확인(예: “모든 기준은 출처를 인용해야 한다”)이 검토자 에이전트가 실행되기 전에 작동합니다.
3. 신뢰도 임계값(Confidence threshold): 검토자의 신뢰 점수가 임계값보다 낮으면, 해당 루브릭은 사람에게 이관됩니다.

논문에서는 세 가지 전문가 작성 금융 벤치마크에서 FinAutoRubric의 루브릭이 평가된 가장 강력한 생성기와 거의 유사하게 전문가 채점 추적을 수행한다고 보고합니다. 사내 분석가들은 블라인드 검토에서 자동 생성된 루브릭을 선호했습니다.

실패 모드(Failure Modes)

이관 메커니즘은 매우 중요합니다. 만약 검토자 에이전트의 신뢰도가 임계값보다 낮으면, 사람이 해당 루브릭을 사용하기 전에 검토하게 됩니다. 이는 피드백 루프를 생성합니다: 분석가들은 어떤 루브릭이 실패하는지 확인하고 전문가 지침이나 Task Bank를 그에 맞춰 업데이트할 수 있습니다.

배포 구조(Deployment Shape)

프로덕션 환경의 배포에는 다음이 필요합니다:

• 전문가 지침 저장소 (Expert guidance repository): 분석가들이 업데이트할 수 있는 버전 관리된 프롬프트 및 규칙.
• 태스크 뱅크 데이터베이스 (Task Bank database): 질의 유형 및 자산 클래스별로 검색 가능한 재사용 가능한 기준들의 인덱싱 라이브러리.
• 루브릭 생성 서비스 (Rubric generation service): 질의를 받아 루브릭을 반환하는 API이며, 반복되는 질의에 대한 캐싱 기능 포함.
• 이관 대기열 (Escalation queue): 신뢰도가 낮은 루브릭을 검토하기 위한 인간 개입형(Human-in-the-loop) 인터페이스.
• 감사 로그 (Audit log): 생성된 모든 루브릭, 출처 및 신뢰 점수의 불변 기록.

해당 논문에서 공개된 FinAutoRubric 벤치마크는 78개의 태스크와 8개 자산군에 걸쳐 100개의 쿼리를 포함합니다. 이전 모델 세대에서 생성된 루브릭도 후속 모델에게 여전히 개선할 여지를 남기고 있어, 이 프레임워크가 모델이 향상됨에 따라 확장 가능하다는 것을 시사합니다.

관측 가능성 (Observability)

다음 항목들을 모니터링해야 합니다:

• 에스컬레이션율 (Escalation rate): 인간 검토가 필요한 루브릭의 비율. 높은 비율은 전문가 가이드가 부족하거나 모델이 약하다는 것을 나타냅니다.
• 검토자 신뢰도 분포 (Reviewer confidence distribution): 시간이 지남에 따른 신뢰 점수를 추적합니다. 낮은 신뢰도로 이동하는 것은 데이터 품질 문제의 신호일 수 있습니다.
• 출처 최신성 (Source freshness): 정보 차단 시점과 출처 타임스탬프 사이의 지연 시간을 측정합니다. 큰 지연 시간은 오래된 데이터를 나타냅니다.
• 루브릭 재사용률 (Rubric reuse rate): Task Bank의 기준이 얼마나 자주 재사용되는지 측정합니다. 낮은 재사용률은 Task Bank에 더 많은 템플릿이 필요함을 시사합니다.

모든 루브릭 생성 과정을 완전한 출처(provenance)와 함께 기록해야 합니다: 쿼리, 전문가 가이드 버전, Task Bank 버전, 작성자 에이전트 출력, 검토자 에이전트 출력, 그리고 최종 루브릭. 이 감사 추적(audit trail)은 규정 준수 및 디버깅에 필수적입니다.

기술적 판단 (Technical Verdict)

FinAutoRubric를 사용해야 할 때:

• 기관별 표준에 맞춰 금융 리서치 에이전트를 평가해야 할 때.
• 재사용 가능한 가이드를 작성할 수 있는 전문가 분석가는 있지만, 모든 쿼리를 수동으로 검토할 시간이 없을 때.
• 시간적 드리프트(temporal drift)를 방지하기 위해 정보 차단 시점 기준으로 기대값을 고정해야 할 때.
• 쿼리별 루브릭을 처음부터 작성하지 않고도 평가 벤치마크를 확장하고 싶을 때.

사용을 피해야 할 때:

• 평가 기준이 단순하여 고정된 벤치마크로 충분할 때.
• 초기 가이드와 Task Bank를 작성해 줄 전문가 분석가가 없을 때.
• 쿼리가 시간적 일관성(temporal consistency)을 요구하지 않을 때 (예: 정적인 지식 질문).
• 다중 에이전트 생성 루프의 지연 시간(일반적으로 루브릭당 몇 초)을 감수할 수 없을 때.

이 프레임워크는 생성 지연 시간(generation latency)을 확장성(extensibility)과 교환합니다. 초당 수천 개의 쿼리를 평가해야 한다면, 루브릭을 오프라인으로 미리 생성하여 캐싱하세요. 실시간 평가가 필요하다면, 이 접근 방식은 작성자 에이전트(writer agent)와 검토자 에이전트(reviewer agent)에서 병목 현상(bottleneck)이 발생할 것입니다.

출처 링크 (Source Links)

• FinAutoRubric 논문 (arXiv:2609.35744v1)
• PDF