U-Define: LLM 기반 계획에서 하드/소프트 제약 조건을 위한 사용자 워크플로우 설계

요약

본 기술 기사는 LLM이 생성하는 작업 계획에 사용자가 효과적으로 개입하고 의도를 표현할 수 있도록 돕는 새로운 시스템 U-Define를 소개합니다. 기존 연구의 한계점인 하드 제약 조건의 경직성과 복잡한 가중치 문제를 해결하기 위해, U-Define는 제약을 '하드(Hard)'와 '소프트(Soft)'라는 두 가지 고수준 유형으로 추상화했습니다. 이 시스템은 사용자가 자연어로 제약을 정의하고, 이를 형식 모델 확인(하드) 또는 LLM 기반 평가(소프트)를 통해 검증함으로써, 사용자 경험을 유지하면서도 계획의 신뢰성과 유연성을 동시에 확보할 수 있게 합니다.

핵심 포인트

• LLM 기반 작업 계획은 블랙박스 특성으로 인해 사용자의 제어 및 신뢰성 보장에 어려움이 있다.
• 기존의 하드 제약 조건 방식은 너무 경직적이거나 복잡하여 사용자에게 혼란을 줄 수 있다.
• U-Define 시스템은 제약을 '하드(Hard)'와 '소프트(Soft)'라는 두 가지 고수준 유형으로 분류하여 사용자가 의도를 명확하게 표현하도록 돕는다.
• 하드 제약 조건은 형식 모델 확인(Formal Model Checking)으로, 소프트 제약 조건은 LLM-as-judge 평가로 검증된다.
• 사용자 연구 결과, 정의된 제약 유형을 활용하는 것이 시스템의 유용성, 성능 및 만족도를 모두 개선한다.