서문: Jacobian 렌즈를 사용한 LLM 테스트 실패의 사전 예측 및 특성화

요약

본 논문은 LLM 테스트의 높은 비용 문제를 해결하기 위해 Foreword라는 새로운 프레임워크를 제안합니다. Foreword는 성공 및 실패한 참조 모두에서 학습하고, Jacobian 렌즈(J-lens) 기법을 사용하여 입력의 실패 위험도를 해석 가능하게 표현합니다. 이 방법은 기존 최고 수준의 테스트 도구보다 우수한 성능으로 실패 예측과 테스트 우선순위 지정 능력을 입증했습니다.

핵심 포인트

• Foreword는 성공 및 실패 사례 모두를 학습하여 모델링 범위를 확장했습니다.
• Jacobian 렌즈(J-lens)를 통해 입력의 실패 위험도를 해석 가능하게 표현합니다.
• 실패 예측 및 테스트 우선순위 지정에서 기존 방법 대비 높은 성능 개선을 보였습니다.
• 단일 프레임워크로 실패 예측, 우선순위 지정, 의미론적 특성화를 모두 지원합니다.