요즘 AI 에이전트 성능 끌어올리는 진짜 지렛대는 따로 있었다.

세쿼이아가 앤트로픽의 개발자 플랫폼을 총괄하는 케이틀린 레세, 안젤라 장 두 사람을 앉혔다. Claude를 떠받치는 플랫폼 전체를 책임지는 팀이다.

보통 성능 올리려면 모델을 더 키우거나 더 오래 돌린다. 근데 이 팀이 수많은 실험 끝에 찾은 세 번째 지렛대는 'best-of-N'이었다. 같은 작업을 여러 번 굴려서 제일 나은 결과만 골라내는 것. 생각보다 훨씬 크게 먹힌다고 했다.

핵심 발상은 '토큰마다 직무가 다르다'는 거였다.

같은 토큰이라도 어떤 건 실행에, 어떤 건 지난 세션을 복기해 메모리에 학습을 남기는 데, 어떤 건 큰 모델이 작은 모델한테 훈수 두는 데 쓴다. 이걸 짜맞추는 게 이들이 말하는 '전략(메타 하네스)'이고 다음 로드맵의 방향이다.

모델이 알아서

원본 영상: Sequoia Capital — Anthropic 플랫폼팀 Katelyn Lesse & Angela Jiang