스스로 호기심을 갖는 AI 에이전트를 만들었습니다

능동적 추론 (Active inference): 놀라움 (surprise)을 최소화함으로써 호기심이 무료로 발생합니다 — 먹이 찾기 작업에서 48% 대 100% 달성.

요약 (TL;DR): 대부분의 AI 에이전트는 보상을 쫓습니다. 즉, 가장 높은 점수를 얻을 수 있는 행동을 선택합니다. 저는 뇌에서 영감을 얻은 다른 목표, 즉 _놀라움 (surprises)_을 피하는 시도를 했습니다. 흥미로운 일이 일어났습니다. 에이전트가 명령받지 않았음에도 호기심을 갖게 된 것입니다. 에이전트는 행동하기 전에 정보를 찾아 나서며, 이를 통해 간단한 작업에서 성능을 48%에서 100%로 끌어올렸습니다. 약 100줄의 코드 분량입니다.

의사결정을 내리는 두 가지 다른 방식

대부분의 AI 에이전트는 "보상 추구자 (reward chasers)"입니다. 잘했을 때 점수를 주면, 그들은 가장 높은 점수를 얻을 것으로 예상되는 행동을 선택합니다. 단순하고 효과적입니다.

뇌 과학에서 유래한 또 다른 아이디어가 있습니다. 점수를 쫓는 대신, 놀라움을 피하려고 노력하는 것입니다. 즉, 세상이 당신이 예상한 것과 일치하도록 행동하는 것입니다. 너무 단순하게 들릴 수도 있지만, 이는 놀라운 보상으로 이어집니다. 놀라움을 피하려고 노력할 때, 자신이 모르는 것을 찾아 나서는 행위 자체가 가치 있게 변한다는 점입니다. 다시 말해, 호기심은 별도로 장착해야 하는 것이 아닙니다. 공짜로 따라옵니다.

이를 _능동적 추론 (active inference)_이라고 부르며, 2026년에는 신경과학에서 AI 분야의 진지한 접근 방식으로 급부상했습니다 (여기 2026년 논문을 참조하세요)). 이해를 돕기 위한 가장 작은 규모의 데모를 소개합니다.

10초 요약 버전

작업 내용: 보상은 왼쪽 (LEFT) 문 또는 오른쪽 (RIGHT) 문 뒤에 숨겨져 있습니다 (50/50 확률). 또한 관심을 갖고 확인한다면 어느 문인지 알려주는 **힌트 (hint)**가 있습니다.

	❌ 보상 추구자	✅ 호기심 있는 에이전트
관심사	지금 당장 보상을 얻는 것	보상을 얻는 것 + 불확실성을 없애는 것
...
두 번째 에이전트에게는 "힌트를 확인해라"라고 아무도 말하지 않았습니다. 에이전트는 불확실성이 스스로를 괴롭혔기 (bothered) 때문에 스스로 힌트를 확인했습니다.

작동 원리

행동하기 전에, 에이전트는 두 가지 측면에서 각 옵션의 점수를 매깁니다:

• 이것이 나를 보상에 더 가깝게 만드는가?
• 이것이 상황에 대해 나의 불확실성을 줄여주는가?

value_of_checking_the_hint = how_unsure_am_i # 완전히 동전 던지기일 때(coin-flip) 높음
value_of_just_guessing = chance_of_being_right # 눈대중 추측은 ~50%에 불과

...

완전히 동전 던지기일 때는 힌트를 확인하는 것이 큰 가치를 지닙니다(모든 의구심을 제거하기 때문) 이는 50/50 확률의 추측보다 훨씬 큽니다. 그래서 먼저 살펴봅니다. 일단 그것이 알게 되면, 더 이상 불확실한 것이 없으므로, 그냥 보상을 가져옵니다. 오직 보상만을 쫓는 에이전트는 힌트에서 어떠한 가치도 발견하지 못하므로 영원히 동전을 던집니다.

이것이 중요한 이유 (Why this matters)

엔지니어들이 주목해야 할 두 가지 이유가 있습니다:

1. 무료 호기심. AI 분야에서 오랫동안의 골칫거리 중 하나는 에이전트가 같은 행동만 반복하며 새로운 시도를 하지 못하고 갇히는 것입니다. 사람들은 이를 강제하기 위해

배경 (Background): Karl Friston의 "자유 에너지 원리 (Free Energy Principle)" (뇌과학적 기원); "물리적 AI 에이전트를 위한 테스트 시간 스케일링 법칙으로서의 능동적 추론 (Active Inference as the Test-Time Scaling Law for Physical AI Agents)" (arXiv:2606.22813).