판단자 그 이상: 크라우드소싱 테스트 평가에서의 에이전트-인간 상호작용에 관한 실증적 연구

에이전트형 AI (Agentic AI)가 소프트웨어 엔지니어링 워크플로우에 점점 더 통합되고 있습니다. 그러나 크라우드소싱 테스트 (Crowdsourced testing)에서는 제출된 보고서의 방대한 양과 불균일한 품질로 인해 개발자에게 여전히 상당한 검토 부담을 주고 있습니다. 이전 연구에서 우리는 LLM-as-a-Judge 패러다임을 기반으로 한 멀티 에이전트 평가 백본 (multi-agent assessment backbone)을 개발하고 검증했습니다. 해당 백본은 텍스트성 (textuality), 적절성 (adequacy), 경쟁력 (competitiveness)의 세 가지 차원을 따라 보고서를 평가하며, 평가 노력을 실질적으로 줄이면서도 인간의 합의 (human consensus)와 잘 일치함을 보여주었습니다. 하지만 신뢰할 수 있는 자동화된 판단 (automated judging) 그 자체만으로는, 에이전트의 출력이 워크플로우에 포함되었을 때 인간의 작업을 개선할 수 있는지 여부를 보여주지 못합니다. 본 논문은 크라우드소싱 테스트 맥락에서 이러한 누락된 질문을 연구합니다. 우리는 평가에서 도출된 실행 가능한 피드백 (actionable feedback)이 테스터가 보고서를 수정하는 방식, 이후 작업의 수행 능력, 그리고 애플리케이션 전반에 걸친 보고 관행의 전이 (transfer)를 개선할 수 있는지 조사합니다. 이를 위해 우리는 세 개의 실제 애플리케이션에 걸쳐 20명의 테스터를 대상으로 통제된 4단계 피험자 연구 (human-subject study)를 수행했습니다. 결과에 따르면, 에이전트가 생성한 피드백은 수정된 보고서의 즉각적인 개선, 이전 피드백 노출 이후 새로운 작업에서의 더 나은 첫 제출, 그리고 이후 애플리케이션으로의 부분적이지만 의미 있는 전이의 증거를 지원함을 보여줍니다. 17명의 참가자가 작성한 작업 후 설문지는 이러한 결과물 기반의 발견을 보완하며, 피드백이 일반적으로 이해 가능했고, 수정 시 반영되었으며, 이후 작업으로 이어졌음을 시사하는 동시에, 구체성 및 실행 측면에서 남아있는 마찰을 드러냈습니다. 전반적으로, 이 연구는 연구된 크라우드소싱 테스트 환경에서 평가 에이전트가 사후 판단자 (post-hoc judges)로서뿐만 아니라, 상류(upstream)의 보고 품질 개선을 지원하는 워크플로우 통합 피드백 제공자로서 기능할 수 있다는 실증적 증거를 제공합니다.