Chain-of-Verification: LLM이 스스로 사실 관계를 확인하게 만드는 방법

LLM(Large Language Models)은 틀린 사실을 매우 자신 있게 말하곤 합니다. Chain-of-Verification (CoVe)는 모델이 초안을 작성하고, 각 주장을 독립적으로 사실 확인한 뒤, 이를 수정함으로써 스스로 실수를 잡아내도록 만드는 프롬프팅 패턴 (prompting pattern)입니다. 다음은 실제 작동 과정입니다.

🔬 틀린 사실을 잡아내는 과정 보기: https://dev48v.infy.uk/prompt/day15-chain-of-verification.html

4단계

1. 초안 작성 (Draft) — 모델이 평소처럼 답변합니다 (예: "뉴욕에서 태어난 정치인 5명"). 이 중 하나의 항목은 미묘하게 틀려 있습니다.
2. 계획 (Plan) — 각 주장마다 하나의 검증 질문을 생성합니다 ("X가 뉴욕에서 태어났나요?").
3. 독립적 검증 (Verify independently) — 모델은 _새로운 컨텍스트 (fresh context)_에서 각 질문에 답변합니다. 이 독립성이 핵심 비결입니다. 만약 초안을 보면서 다시 확인한다면, 단순히 오류를 반복하게 될 것입니다 ("스노우볼링 (snowballing)").
4. 수정 (Revise) — 검증에 실패한 내용을 제외하거나 수정하여 답변을 다시 생성합니다.

작동 원리

하나의 큰 주장을 작고 분리된 확인 절차로 나누면, "자신 있게 말하기"가 "이 단일 사실에 답하기"로 바뀝니다. 작은 사실 관계 질문은 정답을 맞히기가 훨씬 쉽기 때문에, 수정된 답변은 검증된 조각들을 바탕으로 근거를 갖게 됩니다.

비용

답변 하나당 여러 번의 LLM 호출이 필요합니다. 사실 관계나 리스트가 중요한 답변에는 가치가 있지만, 일상적인 대화에는 과할 수 있습니다.

🔨 전체 패턴 (초안 작성 → 질문 계획 → 독립적 답변 → 수정)은 다음 페이지에서 확인하세요: https://dev48v.infy.uk/prompt/day15-chain-of-verification.html

PromptFromZero의 일부입니다. 🌐 https://dev48v.infy.uk