API에서 답변 시작 부분을 제어하는 'prefill' 기술과 형식 잠금(format locking) 방법

요약

AI가 불필요한 잡담을 하는 문제를 해결하기 위해 '형식 잠금(format locking)' 기법이 소개됩니다. 이 방법은 모델에게 빈칸만 채우도록 엄격한 템플릿 구조를 제공하여 출력을 제한하는 것입니다. API 측면에서는 이를 'prefill' 기술로 구현할 수 있으며, Claude의 API가 답변 시작 부분을 직접 작성하도록 지원한다고 설명합니다.

핵심 포인트

• AI에게 형식에 대해 협상하기보다 틀(cage)을 제공해야 합니다.
• 형식 잠금은 구조화된 빈칸 템플릿을 활용하여 출력을 제한하는 기법입니다.
• API 측면에서 답변 시작 부분을 제어하는 기술의 공식 명칭은 'prefill'입니다.
• Claude API는 사용자가 어시스턴트 답변의 시작 부분을 직접 작성할 수 있게 합니다.