RLHF 주석의 세 가지 모델: 확장, 증거, 그리고 권한

요약

본 기사는 인간 피드백 기반 강화학습(RLHF)에서 주석가들의 판단이 가지는 세 가지 개념적 모델—확장(extension), 증거(evidence), 권한(authority)—을 제시합니다. 이 모델들은 주석가가 시스템 설계자의 의도를 확장하는지, 독립적인 사실적 증거를 제공하는지, 아니면 대중의 대표로서 결정권을 행사하는지에 따라 구분됩니다. 저자는 RLHF 파이프라인이 이러한 모델들을 명확히 이해하고 분리하여 적용해야 하며, 단일 통합된 접근 방식보다는 각 주석 유형에 맞는 맞춤형 설계를 추구해야 한다고 주장합니다.

핵심 포인트

• RLHF는 인간의 판단을 활용하지만, 이 판단이 어떤 역할을 하는지(확장, 증거, 권한) 명시적으로 구분하지 않는 경우가 많다.
• 주석가의 역할은 세 가지 모델로 분류된다: 시스템 설계자의 의도를 확장하는 '확장', 독립적인 사실적 근거를 제시하는 '증거', 대중의 대표로서 결정권을 갖는 '권한'.
• RLHF 파이프라인은 주석 요청, 검증, 집계 방식을 설계할 때 이 세 가지 모델을 명확히 구분해야 한다.
• 최적의 RLHF 시스템 설계를 위해서는 단일 통합 파이프라인 대신, 각 주석 유형에 맞는 분리되고 맞춤화된 파이프라인을 구축하는 것이 중요하다.