AI 에이전트를 구축하여 버그를 재현하는 방법

버그 보고서를 재현하는 것은 오픈 소스 프로젝트를 유지 관리하는 데 가장 시간이 많이 걸리는 작업 중 하나입니다. 저희는 이 작업을 돕기 위해 Repro-Bot이라는 AI 에이전트를 만들었습니다. 본 게시물에서는 저희가 이를 어떻게 구축했는지 공유하고, 여러분이 직접 구축할 수 있는 방법을 보여드리겠습니다. 바로 코드를 확인하고 싶다면, Repro-Bot 레포지토리를 살펴보세요!

사람인 여러분이 버그 보고서를 재현하는 과정을 생각해 보세요:

이 과정은 판단(예:

저희는 GitHub를 사용하여 보고된 버그들을 수집하고, Linear를 사용하여 개발 작업을 관리합니다. Repro-Bot을 실행하려면, 사람이 GitHub의 버그에 .Run Repro-Bot 태그를 지정하면 됩니다. 이 태그가 위에서 설명한 워크플로우를 실행하는 GitHub 액션을 트리거합니다.

봇을 실행하는 것은 설계상 자동화된 작업이 아닙니다. 주입 공격(injection attacks)을 방지하기 위해 인간의 개입(human in the loop)이 필수적입니다. 대부분의 문제는 저희 공개 GitHub 이슈에서 나오기 때문에, 누군가 컨텍스트를 오염시키는 것이 매우 쉬울 수 있습니다. 이에 대비하여, 저희는 에이전트를 샌드박스(sandbox)하고 권한을 제한합니다. 또한, 이슈에 아무것도 의심스러운 것이 없는지 확인하기 위해 사람이 직접 검토하도록 요구합니다.

저희는 의도적으로 Repro-Bot에게 이슈를 수정하도록 요청하지 않았습니다. 원래 저희는 모든 것을 할 수 있는 더 엔드투엔드(end-to-end) 봇을 만들고 싶었지만, 그 더 넓은 범위가 봇이 잘못된 경로로 빠질 수 있는 여러 가지 경우의 수를 열어주었습니다. 에이전트의 범위를 제한하는 것은 출력을 관리하기 쉽게 유지해주며, 저희는 언제든지 다운스트림(downstream)에 더 많은 자동화를 도입할 수 있습니다.

저희는 Repro-Bot이 코드 생성 자체에 관한 것이 아니라, LLM과 AI 툴링을 소프트웨어 개발에 사용하는 흥미로운 접근 방식이라고 생각합니다. 저희의 Repro-Bot 레포지토리는 저희 설정에 매우 특화되어 있지만, 코드를 시작점으로 삼고 위의 설명을 참고하면 여러분도 자신만의 것을 구축할 수 있습니다.

Repro-Bot은 이제 저희 일상적인 개발 작업의 일부가 되었으며, 계속해서 시간을 절약해주고 있습니다. 이것이 다른 분들이 유사한 도구를 직접 만들고 (그리고 공유!) 하도록 영감을 주기를 바랍니다.