SON DAKİKA: OpenAI, ChatGPT'nin her zaman uydurma şeyler söyleyeceğini kanıtlayan bir makale yayınladı. Bazen değil. Bir sonraki güncelleme…

요약

OpenAI가 발표한 논문에 따르면, 아무리 발전해도 대규모 언어 모델(LLM)은 본질적으로 부정확할 수밖에 없습니다. LLM은 불확실성에 직면했을 때 '모르겠다'고 인정하기보다 확률에 기반하여 가장 그럴듯한 다음 단어를 예측하고 확신하는 방식으로 작동하도록 훈련되었기 때문입니다. 이로 인해 모델들은 종종 터무니없는 정보를 자신감 있게 제시하게 되며, 이는 현재 AI 시스템의 근본적인 문제입니다.

핵심 포인트

• LLM은 본질적으로 부정확할 수밖에 없으며, 이는 버그가 아닌 시스템 작동 방식에 내재된 특성이다.
• 모델들은 불확실성을 인정하기보다 예측을 하도록 훈련되어, 잘못된 정보를 자신감 있게 제시하는 경향이 있다.
• 현재의 AI 평가 벤치마크는 '모르겠다'고 말하는 것과 틀린 답변을 주는 것을 동일하게 낮은 점수로 처리하여, 모델들이 항상 추측하도록 유도한다.
• LLM에게 불확실할 때 '모른다'고 답하게 하는 것은 사용자 경험 측면에서 제품의 가치를 떨어뜨릴 수 있다.