요구 공학 기반의 LLM 목표 추출 평가: 프롬프팅 전략과 그 한계

많은 요구 공학 (RE) 산출물은 텍스트 기반이고 반복적인 성격을 띠고 있어, 대규모 언어 모델 (LLM) 이 이를 자동 생성 및 처리하는 데 유용하게 입증되었습니다. 본 논문에서는 소프트웨어 문서로부터 기능적 목표를 추출하는 세 단계 (행동자 식별, 고수준 목표 추출, 저수준 목표 추출) 를 통해 요구 지향적 요구 공학 (GORE) 프로세스를 자동화할 수 있는 가능한 접근법을 논의합니다. 이러한 기능을 구현하기 위해 엔지니어링된 프롬프트로 공급되는 LLM 연쇄 체인을 제안합니다. 우리는 컨텍스트 학습의 다양한 변형을 실험하고, 입력 데이터와 컨텍스트 예시 간의 유사성을 측정하여 그 영향력을 더 잘 조사했습니다. 또 다른 핵심 요소는 두 개의 LLM 을 포함하는 피드백 루프 형태로 구현된 생성-비판 (generation-critic) 메커니즘입니다. 파이프라인은 저수준 목표 식별에서 61% 의 정확도를 달성했지만, 최종 단계의 결과들은 이 접근법이 완전한 대체재라기보다 수동 추출을 가속화하는 도구로 가장 적합함을 시사합니다. Zero-shot 을 활용한 피드백 루프 메커니즘이 Few-shot 기반 독립 실행형 방식보다 우수한데, 애블레이션 연구는 피드백 사이클 없이 성능이 약간 저하됨을 보여줍니다. 그러나 우리는 피드백 메커니즘과 Few-shot 의 결합은 어떤 이점도 제공하지 않는다고 보고했는데, 이는 아마도 주요 성능 한계가 '비판' LLM 에 적용된 프롬프팅 전략에 있을 가능성을 시사합니다. Shot 예시의 양과 질을 모두 개선하는 것과 함께, 향후 연구는 Retrieval-Augmented Generation (RAG) 과 Chain-of-Thought (CoT) 프롬프팅을 통합하여 정확도를 높일 것입니다.