LM2Alloy: 프로덕션 소프트웨어의 자동 테스트 유도를 위한 LLM 생성 Alloy 형식 명세 조사

요약

LLM을 활용하여 요구사항 문서와 소스 코드로부터 Alloy 형식 명세를 생성하고 자동 테스트를 유도하는 LM2Alloy 연구를 소개합니다. 실험 결과, 형식적 중간 표현을 도입하는 방식이 단순 테스트 생성 방식보다 제약 조건 위반 버그를 찾는 데 더 효과적임을 입증했습니다.

핵심 포인트

• LLM을 통해 Alloy 형식 명세 및 실행 가능한 테스트 케이스 자동 생성 가능
• 형식적 중간 표현 도입 시 단순 LLM 베이스라인보다 높은 결함 발견 능력 확인
• Flipper 라이브러리에서 기존 테스트가 놓친 중복 플래그 버그 발견
• 코드 기반 명세가 문서 기반 명세보다 테스트 생성의 일관성이 높음