CQ가 잘못될 때: OE-Assist를 활용한 CQ 검증의 과제

역량 질문 (Competency Questions, CQs)은 CQ 검증 (CQ-verification)의 핵심 구성 요소입니다. CQ 검증은 온톨로지 (ontology)의 의도된 목적이 적절하게 모델링되었는지 판단하기 위해, 일련의 자연어 질문 세트를 바탕으로 온톨로지를 평가하는 확립된 프로세스입니다. 그러나 CQ 검증은 언어적 뉘앙스에 대한 세심한 해석과 공식적인 온톨로지 구조 (formal ontology constructs)와의 정밀한 정렬을 요구하기 때문에, 종종 시간이 많이 소요되고 오류가 발생하기 쉽습니다. CQ의 모호성과 복잡성은 이 과정을 더욱 어렵게 만들어, 일관되지 않은 모델링 결정과 검증 결과로 이어질 수 있습니다. 본 논문에서는 무엇이 CQ를 어렵게 만드는지 조사하고, CQ 검증 프로세스에서 사용자의 성능을 향상시키기 위한 가능한 해결책을 탐구합니다. 우리는 온톨로지 평가를 지원하기 위해 LLM 어시스턴트를 사용하여 20개의 태스크에 대해 CQ 검증을 수행한 19명 참가자의 데이터를 바탕으로 실험을 진행했습니다. 결과는 온톨로지 공학 (ontology engineering) 프로세스의 후기 단계에서 모호성이나 과도한 복잡성을 피하기 위해, CQ를 게시하기 전에 이를 정제할 수 있는 도구의 필요성을 보여줍니다.