비기능적 요구사항(NFR) 평가를 위한 멀티턴 LLM 대화의 정확도 및 만족도

LLM(Large Language Model) 기반 대화형 어시스턴트는 소프트웨어 개발자들에게 주류 도구가 되었으나, 현재의 평가 벤치마크는 기능적 정확성(functional correctness)에만 독점적으로 집중하고 있습니다. 이는 비기능적 요구사항(Non-Functional Requirements, NFRs)을 처리할 때 이러한 대화의 품질과 정확성을 평가하는 데 있어 중대한 공백을 남깁니다. NFR은 본질적으로 모호하고, 문맥 의존적이며, 프로그램의 많은 부분을 포함합니다. 이러한 시스템이 NFR에 대한 협업적 추론(collaborative reasoning)을 얼마나 잘 지원하는지 평가하려면, 시스템 출력의 정확성과 멀티턴(multi-turn) 상호작용의 품질을 모두 포착하기 위해 단일 턴 정확도를 넘어서는 방법론이 필요합니다. 본 논문에서 우리는 HIPAA(Health Insurance Portability and Accountability Act) 규제 준수 도메인에서 개발자와 LLM 기반 에이전트 간의 멀티턴 대화의 정확도와 품질을 조사합니다. 우리는 49명의 프로그래머를 고용하여 HIPAA 규정을 준수하도록 설계된 시스템인 iTrust 코드베이스를 대상으로 148개의 HIPAA 유래 NFR을 GitHub Copilot과 상호작용하며 평가하도록 하였으며, 이를 요구사항 만족도(requirement satisfaction level), 추론(reasoning), 코드 로컬라이제이션(code localization)의 세 가지 차원에서 분석했습니다. 연구 결과, 개발자들은 LLM의 평가에 동의하는 경향이 있지만, 전문가의 정답(ground truth)에 대한 정확도는 낮다는 것을 발견했습니다. 우리는 사용자 만족도를 모델링하였으며, 시스템의 응답이 길어지고 정보를 제공하는 턴이 많아질수록 사용자 만족도에 부정적인 영향을 미치는 반면, 주도적인(proactive) 상호작용은 만족도에 긍정적인 영향을 미친다는 것을 확인했습니다. 우리의 연구 결과는 NFR 평가를 지원하는 LLM 기반 대화 시스템을 설계하는 데 통찰력을 제공합니다.