UML 클래스 다이어그램 생성을 위한 LLM 추론 과정의 환각 추적: 경험적 분류 체계 및 완화 연구

요약

본 연구는 자연어 요구사항 기반 UML 다이어그램 생성 시 발생하는 LLM의 환각 문제를 분석합니다. 기존 평가 방식과 달리, 추론 과정(intermediate traces)을 검토하는 3차원적 분류 체계(프롬프트/코드 충실도 등)를 개발했습니다. 이를 통해 모델별 실패 패턴을 국소화하고, 프롬프트 제약 조건 추가가 성능 향상에 기여함을 입증합니다.

핵심 포인트

• 환각 분석을 위해 프롬프트 충실도, 코드 충실도 등 3차원적 분류 체계를 개발함.
• 모델별로 실패 패턴이 다름: DeepSeek-R1은 코드 충실도가, DeepSeek-V4-Pro는 프롬프트 충실도가 취약함.
• 요구사항 복잡성은 프롬프트 충실도 오류와 음의 상관관계를 보임.
• 프롬프트에 제약 조건을 추가했을 때 통합 평균 F1 점수가 4.0%p 상승함.