버그 분류를 위한 멀티태스크 LLM: 보조 디코딩 헤드(Auxiliary Decoding Heads)를 활용한 효율적인 추론

요약

본 연구는 기존 에이전트 기반 버그 위치 식별 방식의 높은 비용과 낮은 정밀도 문제를 해결하기 위해 경량 멀티태스크 LLM(MLC)을 제안합니다. 토큰 정렬 알고리즘과 최적화된 학습 레시피를 통해 라인 수준의 정밀한 버그 분류를 달성하며, 추론 지연 시간을 획기적으로 단축했습니다.

핵심 포인트

• 토큰 정렬 알고리즘을 통한 토큰화 문제 해결
• 경량 멀티태스크 LLM(MLC) 기반의 라인 수준 버그 분류
• 에이전트 방식 대비 추론 지연 시간 수십 배 단축
• Defects4J 및 PypiBugs 벤치마크에서 SOTA 성능 달성
• 높은 일반화 성능 및 오픈 소스 공개 예정