🤖 Self-Correction Loops

🤖 Self-Correction Loops

모델이 스스로 고치고 기억하게 만드는 시대로...

Anthropic에서 진행한 실험들은 놀랍네요.

특히 Mythos-class 모델.. Claude Fable 5 을 다루는 방식이 이전과 확연히 달라졌다는 점이 인상적이었죠.

직접 프롬프트를 잘 다루는 것보다, 자기 교정 루프,, self-correction loop 와 세션 간 메모리를 설계하는 것이 훨씬 더 중요해졌습니다!

↓

Self-Correction Loops

Fable 5는 피드백이 주어지면 스스로 고치는 능력이 뛰어나다고 합니다.

Claude Code의 /goal이나 Claude Managed Agents의 Outcomes 같은 장치가 그 역할을 해주고요.

중요한건 모델이 자신의 출력을 스스로 평가하는 게 아니라, 별도의 verifier가 독립적인 맥락에서 채점한다는 점이었어요.

자기 비판은 의외로 약하고, 외부에서 명확한 기준을 제시할 때 훨씬 더 잘 움직인다는 거죠.

Parameter Golf라는 ML 엔지니어링 챌린지에서 Fable 5는 Opus 4.7보다 약 6배 더 나은 개선을 이끌어냈다고 하네요.

작은 파라미터 조정이 아니라, 구조적인 변화를 시도하고, 실패에서도 회복하는 모습을 보였다고!

↓

Memory Across Sessions

세션 간 메모리.. 이것도 눈여겨 봐야해요.

Fable 5는 이전 세션의 결과를 단순히 저장하는 데 그치지 않고, 아래 과정을 꽤 잘 수행했다고 해요.

1. Fail → 실패를 문서화
2. Investigate → 왜 실패했는지 파악
3. Verify → 진단을 검증된 사실로 전환
4. Distill → 검증된 내용을 일반적인 규칙으로 압축
5. Consult → 다음번에는 규칙을 읽고 활용

이 과정을 끝까지 밟는 모델은 Fable 5가 유일했다는 점!

Sonnet은 1단계에서 멈추고, Opus는 3단계 정도까지 가지만 검증률이 낮았다고 합니다.

결국 모델이 '기억'하는 것이 아니라 우리가 모델에게 기억할 수 있는 구조를 주는 것.. 이게 중요해요.

↓

루프가 아무리 정교해도, 결국 중요한 건 두 가지예요.

• Verification은 여전히 외부에서 이루어져야 한다.
• Memory는 디스크에 있어야지, 컨텍스트 안에만 있으면 안 된다.

그리고 한 가지 더.

모델은 잊지만, 우리가 남긴 기록은 잊히지 않는다!

이 문장이 어쩌면 지금 우리가 해야 할 일의 본질을 가장 잘 말해주는 것 같기도 하네요.

모델이 스스로 움직일 수 있는 목표와 기억의 구조를 설계하는 것.

그게 지금 Loop Engineering이 조금 더 깊어지는 지점인 것 같습니다.