설정은 교과서적이었습니다. 서로 다른 베이스 모델(base models)을 사용하는 4개의 LLM 심사위원, 이중 맹검(Double-blind) 쌍 구성, 위치 편향(position bias)을 상쇄하기 위한 양방향 제시 순서. 그리고 풀(pool)에는 골드 앵커(Gold anchors)를 심어두었습니다. 골드 앵커란 인간이 이미 판결을 내린 샘플들로, 실제 사용자가 보자마자 "분명히 AI가 쓴 것"이라고 표시한 캐릭터 카드 문구와, 백만 건 이상의 대화가 누적된 인간 작성 커뮤니티 카드 등이 포함되었습니다.

심사위원들이 해야 할 일은 앵커들에 대해 "이 둘 중 어느 것이 더 인간처럼 읽히는가?"라는 질문에 답하는 것이었습니다. 그들은 **12%**의 점수를 기록했습니다.

첫 번째 실패: 노이즈가 아닌 — 역전된 결과

12%라는 수치는 흥미로운 종류의 실패입니다. 동전 던지기는 50%를 기록하며, 노이즈가 섞인 심사위원은 그 주변을 맴돕니다. 12%를 기록했다는 것은 심사단이 _일관된 방향으로 확신을 가지고 틀렸다_는 것을 의미합니다. 즉, 인간이 AI라고 부른 문구는 심사위원들이 "근거 있고, 질감이 있으며, 분명히 인간적이다"라고 찬사를 보냈고, 인간이 작성한 히트작들은 심사위원들이 "정형화되었으며, 생성되었을 가능성이 높다"며 일축했습니다.

두 번째 실패: 정확성 없는 합의

4명의 심사위원 간의 쌍별 합의(Pairwise agreement)는 86%였습니다. 실험 전에는 견고함을 위해 다수결 투표(majority voting)를 사용할 계획이었습니다. 하지만 그 계획은 여기서 무너졌습니다. 투표는 독립적인 무작위 오류를 상쇄하지만, 이 오류들은 독립적이지 않았습니다. 심사위원들은 동일한 학습된 편향(learned bias)을 공유하고 있었으며 동일한 오답으로 수렴했습니다. 높은 합의는 심사단이 더 신뢰할 수 있는 것처럼 보이게 만들었지만, 실제로는 확실하게 거꾸로 가고 있었습니다. 별개로, 쌍의 약 3분의 1에서는 단순히 제시 순서를 바꾸는 것만으로도 판결이 뒤집혔습니다. 위치 편향(position bias)은 문서화된 LLM-as-judge의 실패 모드이며 (MT-Bench 논문에서 이를 체계적으로 측정했습니다), 우리는 우리 자신의 데이터에서 이를 다시 마주했을 뿐입니다.

편향의 명명. 심사위원들의 근거(rationales)를 읽어보니 두 가지 치환(substitutions)이 계속해서 나타났습니다. 그들은 세부 정보의 밀도(detail density)를 인간다움으로, 평범함(ordinariness)을 가짜임으로 취급했습니다. AI로 다듬어진 문구(AI-polished copy) — 정확한 숫자, 완벽한 구조, 문단당 하나의 후크(hook) — 는 그들에게

이 사건 이후 우리의 엔지니어링 표준에 한 문장이 추가되었습니다: 골드 캘리브레이션(gold calibration, 인간 합의 앵커 기준 80% 이상 달성)을 통과하지 못한 LLM 심사위원(LLM judge)은 최적화 대상(optimization target)으로 사용해서는 안 된다. 점수 산정(scoring), 회귀 게이트(regression gates), 리더보드(leaderboards) 그 어디에도 사용될 수 없습니다. 우리의 현재 스택은 세 가지 계층으로 구성됩니다: 일상적인 게이트(gate)로서의 규칙 기반 탐지기(rule-based detector, 실제 사용자 판단을 기준으로 캘리브레이션된 구문 블랙리스트 및 문장 패턴 할당량 — 과거에 인간의 풍경 묘사 글을 잘못 판정했던 규칙을 수정한 후, 인간 샘플들이 깨끗하게 통과한 사례가 있음), 그라운드 트루스(ground truth)로서의 인간 스팟 체크(human spot checks), 그리고 동일한 텍스트의 상대적인 전후 비교를 위한 LLM 블라인드 리뷰(LLM blind review)뿐입니다.

그리고 솔직한 한계점도 있습니다: 우리는 모든 패턴 규칙을 피하고 탐지기와 심사위원을 모두 통과하는, 정교하게 템플릿화된 AI 문구(AI copy) 샘플들을 보유하고 있습니다. AI 특유의 맛(AI flavor)이 가장 깊게 배어 있는 부분은 텍스트 전체의 질감(texture) — 균일한 세부 정보 밀도, 유휴 문장(idle sentences)의 부재, 결점 없는 구조 — 에 존재하며, 현재로서는 그 어떤 자동화된 방식도 이를 잡아내지 못합니다. 이를 잡아낼 수 있는 것은 여전히 글을 소리 내어 읽으며 적절한 순간에 미간을 찌푸리는, 식견 있는 인간뿐입니다.

원문은 Foreverse 블로그에 게시되었습니다. 우리는 안드로이드 AI 독서 앱인 Foreverse를 만듭니다. 이번 캘리브레이션 라운드는 제품의 AI 특유의 맛 탐지(AI-flavor detection) 기능 뒤에 있는 공개 평가 데이터의 일부입니다.