iPOE: 설명을 통한 해석 가능한 프롬프트 최적화 (Interpretable Prompt Optimization via
요약
iPOE는 LLM의 프롬프트 최적화 과정에서 투명성과 해석 가능성을 높이기 위해 제안된 새로운 전략입니다. 어노테이션 결정에 대한 설명을 바탕으로 자동 생성된 가이드라인을 최적화하여, 성능 향상과 동시에 프롬프트가 왜 그렇게 구성되었는지에 대한 논리적 근거를 제공합니다.
핵심 포인트
- 프롬프트 최적화를 단순한 이산 탐색이 아닌, 설명 기반의 가이드라인 생성 과정으로 재정의함
- 가이드라인 세트를 제거, 추가, 셔플링, 병합 연산을 통해 지속적으로 최적화함
- 기존 방식 대비 최대 31%의 성능 향상을 입증하였으며, LLM의 설명이 인간의 설명을 대체할 수 있음을 보여줌
- 최적화된 프롬프트에 가이드라인을 포함하여 LLM의 결정 과정에 대한 투명성을 확보함
프롬프트 최적화 (Prompt optimization)는 종종 LLM (Large Language Model)을 위한 고성능 및 견고한 지침을 찾기 위한 이산 탐색 문제 (discrete search problem)로 프레임화되어 왔습니다. 그러나 탐색 결과는 왜, 그리고 어디에서 특정 프롬프트 변경이 성능 향상으로 이어졌는지에 대해 투명하게 보여주지 못할 수 있습니다. 이는 인간이 어노테이션 작업 (annotation tasks)을 위해 지침을 받는 방식과는 대조적입니다. 이 경우, 연구자들은 어노테이션 가이드라인 (annotation guidelines)을 신중하게 설계하여 어노테이션 일관성 (annotation consistency)을 향상시킵니다. 본 논문은 이 두 가지 접근 방식을 결합하는 것을 목표로 하며, 설명을 통해 해석 가능한 새로운 프롬프트 최적화 전략인 iPOE를 소개합니다. 우리는 어노테이션 결정에 대한 설명(자동 생성되었거나 인간으로부터 제공된 것)으로부터 자동으로 생성된 가이드라인을 통해 프롬프트 최적화 과정을 안내합니다. 이 가이드라인 세트는 제거, 추가, 셔플링 (shuffling), 병합을 포함한 일련의 연산을 통해 더욱 최적화됩니다. 결과물인 프롬프트는 어노테이션을 지시하는 가이드라인을 포함하여, LLM의 결정 과정과 최적화 과정을 투명하게 만듭니다. 따라서 이는 프롬프트 최적화 분야의 비전문가, 특히 전문 지식이 필요한 까다로운 도메인에서도 도움을 줄 수 있습니다. 4개의 데이터셋에 대한 실험에서, 우리는 iPOE가 가이드라인이 없는 프롬프트보다 최대 31%, 무작위로 선택된 가이드라인이 있는 프롬프트보다 최대 35% 성능을 향상시킬 수 있음을 확인했습니다. 또한, 제안된 방법론에서 LLM의 설명이 인간의 설명을 대체할 수 있음을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기