요즘 AI 에이전트 성능 끌어올리는 진짜 지렛대는 따로 있었다.

요약

Anthropic의 개발자 플랫폼 팀은 AI 에이전트 성능 향상을 위해 모델 크기 확장이나 반복 실행 외에 'best-of-N' 방식을 발견했습니다. 이들은 토큰마다 다른 직무를 부여하는 '메타 하네스(Meta Harness)' 전략을 통해 시스템의 효율성을 극대화할 계획입니다.

핵심 포인트

AI 에이전트 성능 향상의 새로운 지렛대는 'best-of-N' 방식이다.
토큰마다 다른 직무를 부여하는 것이 핵심 원리다.
'메타 하네스'는 시스템의 효율성을 극대화하는 전략이다.

요즘 AI 에이전트 성능 끌어올리는 진짜 지렛대는 따로 있었다.

세쿼이아가 앤트로픽의 개발자 플랫폼을 총괄하는 케이틀린 레세, 안젤라 장 두 사람을 앉혔다. Claude를 떠받치는 플랫폼 전체를 책임지는 팀이다.

보통 성능 올리려면 모델을 더 키우거나 더 오래 돌린다. 근데 이 팀이 수많은 실험 끝에 찾은 세 번째 지렛대는 'best-of-N'이었다. 같은 작업을 여러 번 굴려서 제일 나은 결과만 골라내는 것. 생각보다 훨씬 크게 먹힌다고 했다.

핵심 발상은 '토큰마다 직무가 다르다'는 거였다.

같은 토큰이라도 어떤 건 실행에, 어떤 건 지난 세션을 복기해 메모리에 학습을 남기는 데, 어떤 건 큰 모델이 작은 모델한테 훈수 두는 데 쓴다. 이걸 짜맞추는 게 이들이 말하는 '전략(메타 하네스)'이고 다음 로드맵의 방향이다.

모델이 알아서

원본 영상: Sequoia Capital — Anthropic 플랫폼팀 Katelyn Lesse & Angela Jiang

AI 자동 생성 콘텐츠

원문 바로가기

요즘 AI 에이전트 성능 끌어올리는 진짜 지렛대는 따로 있었다.

요약

핵심 포인트

댓글