속보: OpenAI, ChatGPT가 항상 터무니없는 소리를 할 것임을 증명하는 논문을 발표했습니다.

가끔이 아닙니다. 다음 업데이트까지가 아닙니다. 항상입니다. 그들은 이를 수학적으로 증명했습니다.

완벽한 훈련 데이터와 무한한 처리 능력을 가지고 있더라도, 인공지능 모델들은 여전히 당신에게 완전히 잘못된 소리를 계속할 것입니다. 이는 그들이 작업 중인 버그가 아닙니다. 이는 시스템의 기본 작동 방식에 내재된 상태입니다.

그리고 그들의 숫자도 무자비합니다. OpenAI의 o1 추론 모델은 16%의 오류율을 보입니다. 더 새로운 o3 모델인가요? 33%. 최신 o4-mini인가요? 48%. 그들의 최신 모델들이 당신에게 말하는 내용의 거의 절반이 터무니없을 수 있습니다. "더 똑똑한" 모델들은 실제로 진실을 말하는 데 더 나빠지고 있습니다.

이것이 바로 고칠 수 없는 이유입니다. 언어 모델들은 확률에 기반해 다음 단어를 예측하며 작동합니다. 불확실한 것에 직면했을 때 멈추지 않습니다. 표시하지 않습니다. 예측합니다. 그리고 완전한 확신으로 예측합니다. 왜냐하면 정확히 그렇게 하도록 훈련되었기 때문입니다.

연구자들은 이 모델들이 얼마나 좋은지 측정하는 데 사용되는 가장 큰 10개의 인공지능 벤치마크 테스트를 살펴보았습니다. 10개 테스트 중 9개는 "모르겠어요"라고 말하는 것과 완전히 잘못된 답변을 주는 것 사이에 같은 점수를 줍니다: 0점. 전체 테스트 시스템이 정직함을 벌하고 예측을 보상합니다.

따라서 인공지능은 가장 적합한 전략을 배웠습니다: 항상 예측하세요. 불확실성을 절대 인정하지 마세요. 터무니없는 소리를 하더라도 자신 있게 보이세요.

OpenAI의 제안된 해결책인가요? ChatGPT가 확신이 없을 때 "모르겠어요"라고 말하게 하는 것입니다. 그들의 계산에 따르면 이는 질문의 약 30%가 답변 없이 남는 것을 의미합니다. ChatGPT에게 10개 질문 중 3개에서 "답변할 만큼 확신이 없어요"라는 답을 받는다고 상상해 보세요. 사용자들은 하룻밤 사이에 떠날 것입니다. 즉 해결책은 있지만, 제품을 죽일 것입니다.

이것은 OpenAI만의 문제가 아닙니다. DeepMind와 Tsinghua University도 독립적으로 같은 결론에 도달했습니다. 세계 최고의 세 인공지능 연구소가 서로 독립적으로 작업하여, 이것이 영구적이라는 데 동의합니다.

ChatGPT가 모든 답변을 줄 때마다 스스로 물어보세요: 이것이 진실인가, 아니면 자신 있게 한 추측인가?

보통 YouTube 비디오나 음악을 내 로컬 컴퓨터에 다운로드할 때 yt-dl을 사용합니다. 하지만 이건 완전히 명령줄 기반 도구라서 터미널 에뮬레이션에 익숙하지 않은 사람들에게 배우기 꽤 어려울 수 있습니다.

오늘 GitHub에서 더 사용자 친화적인 옵션을 발견했어요: YTSage, 오픈 소스 YouTube