프런티어 모델(Frontier Models)은 나를 여덟 명의 서로 다른 사람으로 생각한다
요약
프런티어 모델들이 사용자의 정체성을 인식하는 능력을 테스트한 결과, 모델들이 서로 다른 여덟 명의 인물로 오인하는 현상이 발견되었습니다. 이는 모델의 인식이 실제 지식이 아닌 유창한 추측에 기반하고 있음을 시사합니다.
핵심 포인트
- 모델들이 사용자의 이름을 확신을 가지고 틀리게 답변함
- 기존 인식 측정 도구의 한계와 유창한 추측 문제 지적
- 모른다고 답변할 수 있는 능력을 기준으로 재평가 시 점수 하락
한 인기 있는 도구가 AI 모델이 이름을 얼마나 강력하게 인식하는지 점수를 매기지만, 이 도구는 확신에 찬 설명이라면 무엇이든 인식으로 간주합니다. 제가 누구인지 물었을 때, 모델들은 여덟 명의 서로 다른 사람을 만들어냈으며, 각각은 자신 있게 틀린 답을 내놓았습니다. 그래서 저는 모델이 UNKNOWN(알 수 없음)이라고 말할 수 있게 하고, 그 답변을 진실과 비교하여 등급을 매기는 두 번째 도구를 만들었습니다. 모델들이 자신이 모른다는 사실을 인정할 수 있게 되자, 높은 점수들은 무너졌습니다. 그 인식은 지식이 아니라 유창한 추측이었던 것입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Hacker Noon AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0