Controversy Gate Second Model Check

이번 주 Cloudflare는 콘텐츠를 단순히 생성하는 것에서 평가하는 것으로 초점을 전환하는 새로운 오픈 소스 의사 결정 모델 및 파인튜닝 플랫폼인 Clef를 소개했습니다. AI가 생성한 콘텐츠와 그 사회적 영향에 대한 논의가 커지면서, 우리는 단지 만드는 것을 넘어 자신이 만든 것을 _평가_하는 시스템으로 변화하고 있음을 목격하고 있습니다. Apex Grid에서도 자율적인 소셜 포스팅 작업에서 명예 실추나 논란이 발생할 위험이 높은 유사한 패턴을 탐구해 왔습니다.

우리가 해결하려는 문제는 간단합니다. 자율 시스템이 대중에게 소비될 콘텐츠(소셜 미디어 게시물, 고객 서비스 답변 또는 내부 커뮤니케이션 등)를 생성할 때, 출판 전에 잠재적 위험에 대해 평가되어야 합니다. 순진한 접근 방식은 단일 모델을 사용하여 콘텐츠를 생성하고 평가하는 것입니다. 하지만 이는 좋지 않은 생각입니다. 창의적이도록 인센티브가 부여된 동일한 모델이 자신의 출력물을 가장 잘 판단하지 못할 수 있습니다. 게다가, 자체 스타일로 편향되어 실제 세계의 뉘앙스를 놓칠 수도 있습니다.

우리의 접근 방식은 작업을 두 개의 모델로 분리하는 것입니다: 하나는 콘텐츠를 _초안 작성_하고, 다른 하나는 논란이나 위험에 대해 이를 _점수화_합니다. 첫 번째 모델, 즉 _생성기(generator)_는 유창성, 창의성 및 관련성에 최적화되어 있습니다. 두 번째 모델인 _평가기(evaluator)_는 불쾌하거나 논란이 되거나 고위험 콘텐츠를 감지하는 데 최적화되어 있습니다. 평가기는 주석이 달린 다양한 예제 데이터셋으로 훈련되며, 시스템이 콘텐츠를 출판할지, 편집할지 또는 거부할지 결정하는 데 사용할 수 있는 점수를 반환합니다.

다음은 우리 시스템의 코드로 단순화된 버전입니다:

from generator import Generator
from evaluator import Evaluator

...

이 두 모델 아키텍처는 여러 가지 이점을 가지고 있습니다. 첫째, 관심사의 명확한 분리를 만듭니다. 즉, generator가 심판의 역할을 걱정할 필요가 없고, evaluator도 창의적인 작가의 역할을 할 필요가 없습니다. 둘째, 서로 다른 데이터와 목표를 가지고 각 모델을 독립적으로 미세 조정(fine-tune)할 수 있게 합니다. 그리고 셋째, 법률적, 문화적 또는 윤리적 데이터셋으로 훈련된 것과 같은 전문화된 평가 모델을 사용할 가능성을 열어줍니다.

하지만 이 접근 방식이 트레이드오프가 없는 것은 아닙니다. 주요 과제 중 하나는 evaluator 모델이 너무 엄격하거나 너무 관대하지 않도록 보장하는 것입니다. 만약 너무 엄격하다면, 합법적인 콘텐츠의 게시를 막을 수 있습니다. 반대로 너무 관대하면, 유해한 콘텐츠가 통과할 수도 있습니다. 이를 균형 있게 맞추려면 세심한 조정(calibration)이 필요하며, 이는 저희에게 활발한 연구 분야입니다.

또 다른 과제는 계산 오버헤드(computational overhead)입니다. 두 모델을 순차적으로 실행하면 지연 시간(latency)과 리소스 사용량이 증가하여 실시간 시스템에서 문제가 될 수 있습니다. 저희는 정확도를 희생하지 않으면서 이러한 영향을 줄이기 위해 모델 양자화(model quantization) 및 캐싱(caching)과 같은 다양한 최적화를 실험해 왔습니다.

다음은 무엇일까요? 사용자로부터의 실시간 피드백을 evaluator 모델에 통합하는 방법을 탐구하고 있습니다. 이를 통해 모델이 자신의 결정이 실제로 초래한 결과로부터 학습할 수 있게 됩니다. 또한, 생성(generate)과 평가(evaluate)를 모두 할 수 있지만 자기 편향(self-bias)을 방지하는 내부 메커니즘을 가진 하이브리드 모델도 살펴보고 있습니다. 마지막으로, 이 패턴을 어떻게 더 일반화할 수 있을지 고려하고 있습니다. 단순히 소셜 포스팅에만 국한되는 것이 아니라, 자율 에이전트가 자신의 출력물의 위험도를 평가해야 하는 모든 시스템에 적용될 수 있도록 말입니다.

여러분은 이 두 모델 패턴을 여러분의 작업에 어떻게 적용하시겠습니까? 별도의 evaluator 모델이 필수적인 사용 사례와 비용 대비 가치가 없는 사용 사례가 있나요?