나는 여러 AI 모델에게 질문하는 것이 답변을 검증하는 좋은 방법이라고 생각하곤 했다.

GPT가 내가 확신할 수 없는 답변을 주면, Claude에게 물어보았다. 만약 Claude가 동의하지 않으면, Gemini를 열어 다시 시도했다.

이론적으로는 세 번째 모델이 결론을 내려주어야 한다.

하지만 실제로는 세 가지 서로 다른 답변과 세 가지 설득력 있는 설명만을 얻게 되었고, 그중 어떤 것을 믿어야 할지 알 수 없는 상태로 끝나곤 했다.

더 많은 답변이 더 많은 확실성을 의미하지는 않는다

이런 일은 정답이 하나 정해져 있는 질문을 다룰 때 가장 자주 발생한다.

한 모델은 A를 선택하고 왜 B가 틀렸는지 설명한다. 다른 모델은 B를 선택하고 똑같이 합리적으로 들리는 설명을 제공한다. 세 번째 모델은 때때로 질문에 대해 완전히 다른 해석을 내놓기도 한다.

이상한 점은 그들이 의견이 일치하지 않는다는 것이 아니다. 서로 다른 모델은 다르게 훈련되고 튜닝되므로, 의견 불일치는 예상 가능한 일이다.

이상한 점은 모든 답변이 얼마나 자신만만하게 들리는가 하는 것이다.

그들 중 누구도 "제가 이 부분을 오해하고 있을 수도 있습니다"라고 말하지 않는다. 각 모델은 마치 문제가 이미 해결된 것처럼 자신의 추론을 제시한다.

그 시점이 되면, 답변을 비교하는 것은 사실 확인(fact-checking)이라기보다, 내가 판단하기에 충분히 이해하지 못하는 무언가에 대해 세 명의 설득력 있는 사람들이 논쟁하는 것을 듣는 것에 더 가까워진다.

다수결이 항상 정답은 아니다

일반적인 해결책은 여러 모델에게 묻고 가장 자주 등장하는 답변을 선택하는 것이다.

그것이 도움이 될 수도 있지만, 오직 모델들의 오류가 독립적일 때만 가능하다.

만약 두 모델이 동일한 일반적인 오해(misconception)에 의존한다면, 다수결이 여전히 틀릴 수 있다. 모델들은 또한 문구(wording)를 유사한 방식으로 해석하거나, 널리 퍼져 있지만 잘못된 정보를 동일하게 재생산할 수도 있다.

일치하는 두 개의 답변이 자동으로 두 개의 별개 증거가 되는 것은 아니다.

또 다른 문제가 있다. 만약 내가 모델들에게 차례대로 질문하면서 이전의 응답을 포함시킨다면, 그들은 단순히 동일한 추론을 보았기 때문에 동의하기 시작할 수도 있다. 이는 합의(consensus)를 만들어내지만, 반드시 정확성(accuracy)을 보장하는 것은 아니다.

동의(Agreement)는 유용할 수 있다. 하지만 그것이 증거는 아니다.

불일치(disagreement)가 실제로 유용한 부분이다

나는 모델 간의 불일치를 속도를 늦추라는 신호로 취급하기 시작했다.

"어떤 모델을 믿어야 할까?"라고 묻는 대신, 그들의 추론(reasoning)이 갈라지는 정확한 지점을 찾으려고 노력한다.

그들이 단어를 다르게 해석했는가? 그중 하나가 잘못된 공식(formula)을 사용했는가? 그들이 서로 다른 가정(assumption)을 했는가? 하나의 답변이 최신이 아닐 수도 있는 정보에 기반하고 있는가?

갈등이 구체화되면 검증하기가 훨씬 쉬워진다.

예를 들어, 한 모델에게 다른 모델의 전체 답변을 보여주며 어느 것이 맞는지 묻는 대신, 다음과 같이 물을 수 있다:

모델 A는 A를 선택했고, 모델 B는 B를 선택했습니다. 불일치를 일으키는 정확한 가정(assumption)이나 추론(reasoning) 단계를 식별하세요. 아직 승자를 정하지 마세요.

그런 다음 각 모델에게 자신의 답변에 이의를 제기하도록 요청할 수 있다:

당신의 답변이 틀릴 수 있는 가장 강력한 이유는 무엇입니까? 경쟁하는 답변들을 구별할 수 있는 증거(evidence)나 테스트는 무엇입니까?

이것이 정답을 보장하지는 않지만, 모델의 역할을 변화시킨다. 모델들은 더 이상 설득력 있게 들리기 위해 경쟁하는 것이 아니다. 그들은 무엇을 확인해야 하는지를 정의하는 데 도움을 주고 있다.

나의 현재 워크플로우 (workflow)

답변이 중요한 경우, 나는 이제 다음과 같은 간단한 프로세스를 사용한다:

1. 다른 답변을 보여주지 않고 각 모델에게 독립적으로 질문한다.
2. 결론을 비교하고 정확한 불일치 지점들을 나열한다.
3. 각 모델에게 자신의 추론(reasoning)을 비판(critique)하도록 요청한다.
4. 신뢰할 수 있는 출처, 계산 또는 테스트를 사용하여 논쟁이 된 주장을 검증한다.
5. 가장 자신감 있게 작성된 답변이 아니라, 증거(evidence)에 의해 뒷받침되는 답변을 선택한다.

코딩 질문의 경우, 최종 판결자는 테스트가 될 수 있다. 수학의 경우, 결과를 단계별로 다시 계산하는 것이 될 수 있다. 최신 사실의 경우, 신뢰할 수 있고 최신인 출처여야 한다.

중요한 점은 다른 AI 모델이 자동으로 최종 권위(authority)가 되는 것은 아니라는 사실이다.

더 많은 모델은 불확실성을 제거하는 것이 아니라, 불확실성을 드러낼 수 있다

나는 여전히 여러 모델을 사용하는 것이 가치 있다고 생각한다. 두 번째 모델은 첫 번째 모델이 놓친 가정(assumptions)을 포착할 수 있으며, 모델 간의 의견 불일치(disagreement)는 그렇지 않았다면 숨겨져 있었을 약점들을 드러낼 수 있다.

하지만 여러 모델을 사용한다고 해서 자동으로 검증 시스템(verification system)이 만들어지는 것은 아니다.

때때로 모델들은 합의(consensus)를 도출한다. 때로는 더 나은 답변을 만들어낸다. 그리고 때로는 단순히 불확실성(uncertainty)을 정교하게 다듬은 여러 버전을 제공할 뿐이다.

진정한 이점은 그중 하나가 반드시 옳아야 한다는 것이 아니다. 모델 간의 의견 불일치가 실제로 검증이 필요한 지점이 어디인지를 보여줄 수 있다는 것이다.

그래서 이제 GPT, Claude, Gemini가 나에게 세 가지 서로 다른 답변을 줄 때, 나는 즉시 네 번째 답변을 요구하지 않는다.

먼저, 나는 그들에게 왜 의견이 다른지 묻는다.