우리 AI 리뷰어가 판정은 맞췄지만, 설명은 틀린 경우

우리는 소스 자료로부터 짧은 설명과 주제를 작성할 수 있는 로컬 에이전트를 구축하고, 이 에이전트가 자신의 작업을 검토하도록 합니다. 목표는 단순히 답을 얻어내는 것이 아닙니다. 사실을 지어내거나(inventing facts), 문제를 꾸며내거나(manufacturing problems) 이미 올바르게 파악한 것을 훼손하지 않으면서 작업을 완료하는 것입니다.

마지막 부분이 생각보다 어려웠습니다.

저희가 자체적으로 테스트를 진행했을 때, 리뷰어는 때때로 올바른 결정을 내리지만 그 이유에 대해서는 거짓 정보를 제공했습니다. 다른 경우에는 우리가 텍스트에서 직접 확인할 수 있는 결함이 있음에도 유용한 답변을 거부하기도 했습니다.

환각(hallucination)은 항상 답변에만 있는 것은 아니었습니다. 때로는 리뷰 자체에 있었습니다.

거부는 맞았지만, 비난은 틀렸다

저희의 평가 사례 중 하나에서, 한 설명문이 그 소스 자료가 확립하지 않은 개선 사항을 주장했습니다. 소스 자료는 주장된 이점을 측정하지 않고 활동만을 묘사하고 있었습니다.

리뷰어는 지원되지 않은 결과(unsupported result)를 올바르게 식별했지만, 동시에 해당 설명문이 소스를 직접 복사했다고 비난했습니다.

실제로는 그렇지 않았습니다. 주장된 개선 사항은 소스 자료에 없었으며, 텍스트가 복사된 소스 문장도 아니었습니다. 실제적인 사실적 문제가 있었지만, '복사'라는 비난이 그것을 설명하지 못했습니다.

또한 저희는 올바른 지원되지 않은 결과 결론에 도달했지만 인용하는 증거를 잘못 설명한 리뷰 사례도 발견했습니다. 인용된 구절은 측정 부족에 관한 것이었으나, 설명은 자원봉사자들이 양식을 배포하는 것에 대한 다른 구절을 묘사하고 있었습니다.

이것들은 가상의 예시가 아니라 저희 테스트에서 실제로 발견된 결과입니다.

만약 비평가가 다른 모델의 수정을 안내하게 된다면 이것이 중요합니다. 잘못된 '복사'라는 비난은 작가로 하여금 지원되지 않은 결과를 제거하는 대신 이를 의역하도록 장려할 수 있습니다.

단순히 거부(rejection)만을 계산하는 것은 문제를 발견하는 것과 그것을 정확하게 설명하는 것 사이의 차이를 숨길 수 있습니다.

의심이 정확성과 같지는 않았다

역방향 문제도 나타났다. 리뷰어는 자원봉사자 수와 양식 배포에 대한 세부 사항을 누락한 출처 충실 설명(source-faithful description)에 이의를 제기했다. 그러나 그 어떤 세부 사항도 해당 설명이 실제로 말하는 것을 뒷받침하는 데 필요하지 않았다.

우리는 간결한 요약본을 원했고, 모든 출처 세부 사항의 축소판은 원치 않았다. 우리의 평가는 무해한 누락(harmless omissions)을 허용했다. 모든 누락된 세부 사항을 사실적 실패로 취급하는 것은 우리가 에이전트가 수행하기를 바라는 과제에 역행했다.

한편, 동일한 쌍별 테스트에는 실제 완전한 출처 문장이 후보(candidate)에 복사되어 포함된 경우도 포함되었다. 두 리뷰어 조건 모두 그 복사 오류를 놓쳤다. 또한 별도의 프로그램이 식별할 수 있는 구조적 위반 사항들도 놓쳤다.

그 조합이 중요한 발견이었다: 일부 출력물에서 복사에 대한 잘못된 비난을 하고, 다른 출력물에서는 복사를 놓치는 것. 비평가의 의심도를 높이는 것이 구분을 정확하게 하는 것을 대체할 수 있는 신뢰할 만한 대안은 아니었다.

동일한 점수가 승리와 패리를 숨겼다

우리는 두 가지 프롬프트 조건, 즉 기존 지침과 추가적인 절차적 안내(procedural guidance)가 포함된 버전을 사용하여 12개의 입력을 테스트했다. 이 비교는 모델 가중치(model weights)를 바꾼 것이 아니라 안내(guidance)를 변경한 것이다.

각 조건은 최종 결정 6개를 맞혔다. 한 번 우리가 확인 및 설명이 지원되어야 한다고 요구하자, 각 조건은 12개 중 단지 3개의 완전히 자격 있는 리뷰만을 가졌다.

총합은 동일했지만, 사례는 달랐다. 추가된 안내는 하나의 완전히 자격 있는 리뷰를 얻었지만, 기존 지침 하에서 자격을 갖추었던 또 다른 리뷰를 잃었다.

개선된 예시만 본다면 진전의 이야기였을 것이다. 쌍별 결과를 보니 우리는 다른 결론에 도달했다: 이 변화는 승진(promotion)을 가져오지 못했다.

이 비교는 며칠간의 개발 과정, 실제 인간 검토 및 여러 계열 모델 간의 비판을 통해 이루어졌습니다. 두 개의 추가적인 모델 계열은 조건 레이블과 이전 점수를 숨긴 채 저장된 12개의 후보와 24개의 비평(critiques)을 독립적으로 재평가했습니다. 이들은 동일한 이득(gain)과 회귀(regression)를 포함하여 완전히 자격이 되는 결과를 모두 재현해냈습니다. 우리는 개별 판단에 대한 의견 불일치를 유지했으며, 문자적 및 구조적 주장은 원본 텍스트와 직접 비교했습니다.

우리는 비평가(critic)를 구성 요소로 평가하고 있습니다

우리 작업에서 유용한 변화는 단일 통과율(single pass rate)이 혼동할 수 있는 질문들을 분리한 것입니다. 비평가가 올바른 결정을 내렸습니까? 그 주장은 사실이었습니까? 인용된 증거가 주장하는 바를 말했습니까? 무엇을 놓쳤습니까? 이 변화가 이전에 통과했던 사례를 망가뜨렸습니까?

우리는 실패한 출력과 회귀(regressions)를 유지했습니다. 우리는 게시 모델(posting model)을 대체하거나, 리뷰의 한 부분이 설득력 있게 보인다는 이유만으로 전체 에이전트(agent)가 자격 있다고 부르지 않았습니다.

비평가를 추가하는 것이 검증할 필요성을 없앤 것은 아닙니다. 그것은 우리가 수정 사항을 진행시키기 전에 이해해야 할 실수가 있는 또 다른 구성 요소를 우리에게 제공했을 뿐입니다.

우리가 계속 가져가고 있는 질문은 간단합니다:

작성자가 이 설명을 따랐다면, 실제 결함을 고칠 수 있을까요?

올바른 판정(verdict)은 시작일 뿐입니다. 진실한 설명은 별개의 성과입니다.

*AI 공개: 본 기사는 자체 개발 기록의 AI 비서에 의해 작성되었습니다.