StructureClaw: 추적 가능한 LLM 에이전트와 구조 공학 워크플로우를 위한 실행 가능 벤치마크
요약
본 글은 구조 공학 워크플로우의 복잡성을 다루기 위해 아티팩트 중심의 새로운 LLM 에이전트 워크벤치인 StructureClaw를 제안합니다. 이는 타입 지정 도구와 공유 아티팩트 상태를 활용하여, 단순한 답변 생성이 아닌 완전한 증거 사슬을 요구합니다. 또한 150개의 통제된 시나리오로 구성된 StructureClaw-Bench를 통해 에이전트의 실제 워크플로우 성능을 평가했습니다.
핵심 포인트
- StructureClaw는 아티팩트 중심의 LLM 에이전트 워크벤치입니다.
- 단순 답변 대신, 상호 의존적인 증거 사슬(아티팩트 체인)을 요구합니다.
- StructureClaw-Bench는 150개 시나리오로 구성된 실행 가능한 벤치마크를 제공합니다.
- 자동 워크플로우 적용 시 에이전트 성공률이 크게 향상됨을 입증했습니다.
구조 공학 요청을 처리하려면 단일 답변 이상의 것이 필요합니다. 해석된 요구사항, 계산 가능한 모델, 검증 기록, 솔버 출력, 코드 검사 기록, 그리고 최종 보고서에 이르는 상호 의존적인 아티팩트의 체인이 필요합니다. 질문 응답이나 스크립트 생성에 초점을 맞춘 평가는 이러한 완전한 증거 사슬을 거의 검증하지 못하며, 따라서 근본적인 공학 워크플로우가 불완전하거나, 내부적으로 일관성이 없거나, 실행 불가능할 때에도 유창한 출력을 보상할 수 있습니다. 이러한 한계를 해결하기 위해, 우리는 StructureClaw를 제시합니다. 이는 LLM 에이전트가 통제된 공학 스킬(governed engineering skills), 타입 지정 도구(typed tools), 공유 아티팩트 상태(shared artifact state), 그리고 로컬 분석 백엔드를 통해 작동하는 아티팩트 중심의 워크벤치입니다. 또한, 우리는 표준 워크플로우 실행, 대화형 견고성(interactive robustness), 다중 모드 구조 모델 재구성을 포괄하는 150개의 통제된 시나리오로 구성된 실행 가능 벤치마크인 StructureClaw-Bench를 소개합니다. 시나리오는 단일 실행에서 모든 필수 아티팩트 및 실행 수준의 단언(assertions)이 통과할 때만 성공합니다. 열 가지 에이전트-모델 구성을 대상으로 동일한 50개 표준 케이스로 평가했을 때, 평균 성공률은 일반 스킬 기준선(generic-skill baseline)에서 56.8%에서 전체 자동 워크플로우를 적용했을 때는 88.6%까지 상승합니다. 대화형 및 다중 모드 평가는 두 가지 주요 남은 과제를 식별했습니다: 유효하지 않은 수치 입력의 안전한 처리와 구조 모델의 피처 일관성 재구성입니다. 이러한 발견들은 아티팩트 중심 평가가 최종 응답만으로는 파악하기 어려운 워크플로우 수준의 실패를 노출시킬 수 있으며, 이는 구조 공학 에이전트를 평가하고 개선하는 보다 엄격한 기반을 제공함을 보여줍니다. 코드와 벤치마크는 https://github.com/structureclaw/structureclaw에서 이용 가능합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기