Process Matters more than Output for Distinguishing Humans from Machines

요약

대규모 언어 모델(LLM)과 자율 에이전트의 배포 증가로 인해 신뢰할 수 있는 인간-기계 구별 능력이 중요해지고 있습니다. 기존 방식은 출력 결과에 초점을 맞추지만, 본 연구는 인지과학적 관점에서 행동을 생성하는 '과정' 자체를 평가합니다. CogCAPTCHA30이라는 30개의 인지 과제 세트를 통해 과정 수준 특징이 단순한 성과 지표보다 인간과 에이전트를 더 강력하게 구별할 수 있음을 입증했습니다.

핵심 포인트

• 인간-기계 구별은 출력(Output) 중심에서 행동 생성 '과정'(Process) 중심으로 패러다임 전환이 필요하다.
• CogCAPTCHA30이라는 30개의 인지 과제 세트는 과정 수준 특징을 추출하여 인간과 에이전트를 효과적으로 구분한다 (AUC = 0.88).
• 행동 수준(A-SFT) 및 과정 수준(P-SFT) 미세 조정 기법을 비교했을 때, P-SFT가 오프더쉘프 모델 대비 인간 유사한 과제 과정을 개선하는 경향이 있다.
• 과정 수준의 세밀 조정은 효과적이지만, 적절한 과제 특화 표현이 필요하며, 크로스 태스크 전이(Cross-Task Transfer) 시 일반화에 어려움이 있을 수 있다.