요구 공학 기반의 LLM 목표 추출 평가: 프롬프팅 전략과 그 한계

요약

본 논문은 소프트웨어 문서에서 기능적 목표를 추출하는 요구 지향적 요구 공학(GORE) 프로세스를 자동화하기 위한 접근법을 제시합니다. 이를 위해 엔지니어링된 프롬프트로 구성된 LLM 연쇄 체인과 생성-비판(generation-critic) 피드백 루프 메커니즘을 제안했습니다. 실험 결과, 이 방법은 저수준 목표 식별에서 61%의 정확도를 보였으며, 수동 추출을 가속화하는 도구로 가장 적합함을 시사합니다.

핵심 포인트

• 요구 공학(RE) 산출물 처리를 위해 LLM 연쇄 체인과 생성-비판 피드백 루프를 활용하여 GORE 프로세스 자동화를 시도함.
• Zero-shot 기반의 피드백 루프 메커니즘이 Few-shot 독립 실행형 방식보다 성능이 우수함을 입증함.
• 최종 시스템의 정확도는 61%로, 완전한 대체재라기보다는 수동 추출을 보조하고 가속화하는 도구로서의 역할에 한계가 있음.
• 향후 연구 방향으로 RAG(Retrieval-Augmented Generation)와 CoT(Chain-of-Thought) 프롬프팅 통합이 제안됨.