TeleSWEBench: 통신 분야에서의 LLM 기반 소프트웨어 엔지니어링 평가를 위한 커밋 기반 벤치마크

요약

통신 도메인의 복잡한 소프트웨어 엔지니어링 능력을 평가하기 위한 최초의 커밋 기반 벤치마크인 TeleSWEBench를 제안합니다. srsRAN 5G 저장소의 실제 커밋을 활용하며, LLM 기반 평가 프레임워크인 TeleJudge를 통해 에이전트의 성능을 다각도로 측정합니다.

핵심 포인트

• 통신 특화 소프트웨어 엔지니어링 평가를 위한 TeleSWEBench 공개
• srsRAN 5G 기반 734개의 난이도별 테스트 케이스 구성
• LLM as a Judge 방식인 TeleJudge 평가 프레임워크 제안
• 최신 에이전트 도구들의 통신 도메인 내 낮은 성능 확인