언어 모델 (LMs)은 도메인 특화 언어 (DSLs)로 작성된 프로그램을 통해 외부 서비스와 상호작용하는 데 점점 더 많이 사용되고 있습니다. 불행히도, DSLs는 종종 저자원(low-resource)이며 난해하기 때문에, LMs는 이러한 언어들에서 구문론적으로 유효하지 않은 프로그램을 빈번하게 생성합니다. 문법 제약 디코딩 (Grammar-constrained decoding)은 이러한 실패를 제거할 수 있지만, 구문론적 제약이 필요합니다. 이러한 제약은 대개 대상 언어에 대한 문맥 자유 문법 (Context-free grammar) 형태인데, 이는 제3자 DSL의 경우 확보하기 어려운 산물입니다. 본 연구에서는 문서와 실행 데이터를 통해 문맥 자유 문법을 자동으로 학습하는 Autogrammar라고 불리는 에이전트를 정의합니다. Autogrammar는 비결정론적 선택이 언어 모델에 의해 해결되는 Kripke 구조로 공식화되며, 이를 통해 선형 시제 논리 (Linear temporal logic) 제약을 사용하여 에이전트 행동의 선언적 제어를 가능하게 합니다. 우리는 세 가지 DSL (즉, Amazon CloudWatch Logs Insights, Dynatrace Query Language, Datadog Search Syntax)에 대해 네 가지 버전의 Autogrammar를 평가하였으며, 다음과 같은 사실을 발견했습니다: Autogrammar가 학습되지 않은 데이터에 대해 거의 완벽한 정밀도 (Precision)를 달성하는 문법을 생성한다는 점, 시간적 제약이 정밀도의 통계적으로 유의미한 손실 없이 실행 시간을 3.8배 단축시킨다는 점, 실행 데이터는 필수적이지만 문서는 없어도 된다는 점, 그리고 Autogrammar가 생성한 문법을 사용한 문법 제약 디코딩이 10개의 실제 작업 중 8개에서 엔드 투 엔드 (End-to-end) LM 성능을 크게 향상시켜 전문적으로 관리되는 문법의 성능과 일치하거나 이를 능가한다는 점입니다. 이와 대조적으로, 기존 LM 베이스라인 및 최첨단 형식 기법 (Formal technique)에 의해 생성된 문맥 자유 문법은 동일한 평가에서 현저히 낮은 성능을 보였습니다.