StructureClaw: 추적 가능한 LLM 에이전트와 구조 공학 워크플로우를 위한 실행 가능 벤치마크

요약

본 글은 구조 공학 워크플로우의 복잡성을 다루기 위해 아티팩트 중심의 새로운 LLM 에이전트 워크벤치인 StructureClaw를 제안합니다. 이는 타입 지정 도구와 공유 아티팩트 상태를 활용하여, 단순한 답변 생성이 아닌 완전한 증거 사슬을 요구합니다. 또한 150개의 통제된 시나리오로 구성된 StructureClaw-Bench를 통해 에이전트의 실제 워크플로우 성능을 평가했습니다.

핵심 포인트

• StructureClaw는 아티팩트 중심의 LLM 에이전트 워크벤치입니다.
• 단순 답변 대신, 상호 의존적인 증거 사슬(아티팩트 체인)을 요구합니다.
• StructureClaw-Bench는 150개 시나리오로 구성된 실행 가능한 벤치마크를 제공합니다.
• 자동 워크플로우 적용 시 에이전트 성공률이 크게 향상됨을 입증했습니다.