프롬프트 최적화 (Prompt optimization)는 모델 파라미터를 업데이트하지 않고 대규모 언어 모델 (LLMs)을 적응시키지만, 많은 자동 프롬프트 최적화 도구들은 여전히 후보 지시문들에 대한 휴리스틱 탐색 절차로 남아 있습니다. 본 논문은 프롬프트 최적화를 이산 프롬프트 토큰 (discrete prompt tokens)에 대한 베이지안 사후 샘플링 (Bayesian posterior sampling)으로 연구합니다. 우리는 입력-출력 예시를 설명하는 프롬프트에 보상을 주는 작업 가능도 (task likelihood) 항과, 유창한 지시문을 선호하는 언어 모델 사전 확률 (language-model prior) 항을 결합하여 사후 분포를 정의합니다. 이는 프롬프트 최적화를 에너지 기반 사후 샘플링 문제로 변환하며, 이를 위해 경사도 (gradients)를 사용하여 어휘 토큰 (vocabulary tokens)에 대한 이산 마르코프 연쇄 몬테카를로 (MCMC) 제안을 유도할 수 있습니다. 우리는 이 프레임워크를 Bayesian Prompt Optimization의 약자인 BayesPO라고 부릅니다. 본 논문에서 BayesPO는 마르코프 연쇄 몬테카를로 (MCMC)로 구체화됩니다. 즉, Metropolis-Hastings로 보정된 Langevin 기반 Gibbs (GwL) 제안을 사용하며, 험난한 LLM 유도 에너지 지형 (energy landscapes)의 전역적 탐색을 위해 병렬 템퍼링 (parallel tempering)을 통합합니다. 구체적인 샘플러는 가중치 공유가 되지 않는 (non-weight-tied) LLM 임베딩의 실질적인 제약 조건에 맞춰 GwL 샘플러를 추가로 적응시킵니다. Qwen2.5 모델을 이용한 실험 결과, 이 샘플러가 진단 작업에서 의미론적으로 유의미한 프롬프트를 발견하며, 병렬 템퍼링이 시 쓰기 완성 작업에서 지역 최적점 (local optimum)을 벗어나는 데 도움을 주고, 24개의 지시문 유도 (instruction-induction) 하위 작업에서 APE 프롬프트를 사후 최적화했을 때 평균 정확도가 60.04%에서 63.23%로 향상됨을 보여줍니다. 또한 본 연구는 두 가지 주요 한계점을 밝혀냈습니다: 에너지 최소화가 작은 최적화 세트에 과적합 (overfit)될 수 있다는 점과, 현재의 샘플러가 여전히 계산 비용이 많이 든다는 점입니다. 이러한 발견은 베이지안 프롬프트 샘플링을 원칙적인 사후 최적화 도구로 자리매김하게 하며, 확률적 프롬프트 최적화 (probabilistic prompt optimization)를 위한 유망한 방향을 제시합니다.