U-Define: LLM 기반 계획에서 하드/소프트 제약 조건을 위한 사용자 워크플로우 설계

LLM 은 점차 최종 사용자 작업 계획에 사용되고 있지만, 그 블랙박스 특성은 사용자의 신뢰성 보장 및 제어 능력을 제한합니다. 최근 시스템이 검증 기술을 통합했음에도 불구하고, 사용자가 이러한 경직된 제약을 적용하여 의도를 표현하거나 실제 세계의 변동성에 적응하는 방법을 효과적으로 적용할 수 있는지 명확하지 않습니다. 예를 들어, 기존 연구는 하드만 제약 조건이 너무 경직적이며 수치적 유연성 가중치가 사용자를 혼란스럽게 한다고 발견했습니다. 우리는 LLM 생성 계획을 안내하기 위해 제약을 적용하는 데 사용자의 상호작용 워크플로우가 어떻게 더 잘 지원할 수 있는지 조사하고, 엄격한 강도를 고수준 유형 (즉, 하드와 소프트) 으로 추상화하고 다른 검증 메커니즘과 함께 하는 것이 사용자가 의도를 더 신뢰성 있게 표현하고 정렬하는 데 도움이 되는지 여부를 살펴보았습니다. 우리는 사용자가 자연어로 제약을 정의하고 이를 위반해서는 안 되는 하드 규칙 또는 유연성을 허용하는 소프트 선호도로 분류할 수 있도록 U-Define 라는 시스템을 제시했습니다. U-Define 는 하드 제약 조건을 위한 형식 모델 확인과 소프트 제약 조건을 위한 LLM-as-judge 평가를 통해 이러한 유형을 검증합니다. 일반 및 전문가 참여자를 대상으로 한 기술 평가와 사용자 연구를 통해, 사용자가 정의한 제약 유형은 사용성 유지하면서 인식된 유용성, 성능 및 만족도를 개선한다는 것을 발견했습니다. 이러한 발견은 유연하면서도 신뢰할 수 있는 제약 기반 워크플로우 설계를 위한 통찰력을 제공합니다.