TraceView: 에이전트 기반 프로그램 수정 궤적의 인터랙티브 시각화

LLM 기반 자동 프로그램 수정 (Automated Program Repair, APR) 에이전트는 최소한의 인간 개입으로 소프트웨어 버그를 수정하기 위한 패치 (patch)를 생성합니다. 이러한 에이전트들은 후보 패치를 생성하기 위해 추론 (reasoning), 도구 사용 (tool use), 피드백 (feedback)의 긴 궤적 (trajectories)을 생성하는 경우가 많습니다. 최종 패치 결과는 수정 시도가 성공했는지 실패했는지는 보여주지만, 에이전트가 어떻게 그 결과에 도달했는지, 또는 프로세스의 어느 지점에서 반복적이거나 작업과 어긋나는 현상이 발생했는지는 보여주지 않습니다. 이로 인해 에이전트 기반 수정 실패를 진단하고, 재현하며, 방지하는 것이 어렵습니다. 개발자들이 이러한 문제를 해결할 수 있도록 돕기 위해, 우리는 APR 시스템의 수정 궤적을 라벨링하고 시각화하는 인터랙티브 도구인 TraceView를 제시합니다. TraceView는 Thought (생각), Action (행동), Result (결과) 구성 요소와 함께 가공되지 않은 데이터 및 사전 라벨링된 에이전트 실행 기록을 정리하여 의미론적 관계 라벨링 (semantic relation labeling) 및 진단을 지원하며, 결과적인 궤적을 그래프 뷰 (graph views)로 렌더링합니다. 또한, TraceView는 관계 필터 (relation filters), 패치 결과 요약, 메트릭 (metrics), 그리고 노드 수준의 증거 패널 (node-level evidence panels)을 제공하여 사용자가 에이전트 기반 수정 시도의 다양한 단계에 걸쳐 추론, 행동, 피드백이 어떻게 연결되는지 검사할 수 있도록 돕습니다. 우리는 설문 기반 사용자 연구를 통해 5명의 연구자를 대상으로 TraceView를 평가했습니다. 참가자들은 TraceView가 궤적을 더 쉽게 훑어볼 수 있게 해주었으며, '개요에서 세부 사항으로 (overview-to-detail)' 이어지는 워크플로우가 수정 동작을 더 잘 이해하는 데 도움이 되었다고 보고했습니다. TraceView의 소스 코드는 https://github.com/SOAR-Lab/agent-traj-visualization 에서 확인할 수 있습니다. TraceView의 스크린캐스트는 https://youtu.be/9ZCh7Ifj2AQ 에서 볼 수 있습니다.