PPDL: 확률적 프로그램으로서의 LLM 기반 플로우 (Flows)
요약
LLM 기반 애플리케이션의 불확실성을 관리하기 위해 확률적 언어인 PPDL을 제안합니다. 이를 통해 개발자는 추가 코드 없이 불확실성을 정량화하고 다양한 추론 스케일링 기술을 실험할 수 있습니다.
핵심 포인트
- LLM 출력의 불확실성을 정량화하고 전파하는 확률적 언어 PPDL 소개
- 추가 로직 없이 다양한 추론 스케일링 기술 실험 가능
- Rocq 정리 증명기를 위한 정리 증명 에이전트 사례 연구 제시
대규모 언어 모델 (LLMs)을 활용하는 신뢰할 수 있는 애플리케이션을 구축하는 것은 여전히 중요한 과제로 남아 있습니다. LLMs는 다양한 작업에 걸쳐 인상적인 능력을 제공하지만, 그 출력물은 종종 정확성이 부족하고 명확한 신뢰도 측정치를 제공하지 못합니다. 이러한 불확실성은 LLMs 및 기타 도구에 대한 여러 번의 호출이 이어지는 플로우 (Flows) 내에서 가중되어, 개발자와 최종 사용자가 결과를 신뢰하기 어렵게 만듭니다. 본 논문은 LLM 기반 플로우를 프로그래밍하기 위한 확률적 언어 (Probabilistic language)를 소개합니다. 이를 통해 개발자는 애플리케이션의 플로우 전반에 걸쳐 불확실성을 정량화하고 전파할 수 있으며, 플로우의 로직 외에 단 한 줄의 코드도 추가하지 않고 다양한 추론 스케일링 (Inference scaling) 기술을 실험할 수 있습니다. 우리는 이러한 능력을 입증하기 위한 실험적 연구와, Rocq 정리 증명기 (Theorem prover)를 위한 정리 증명 에이전트를 구축하는 사례 연구를 제시합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.PL (Programming Languages)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기