Build for next year's Claude, not last year's.
[한국어자막] 앤트로픽 PM "1년 전에 되던 과제만 테스트하지 마라", 미래 모델에 맞춰 만드는 법
"12개월 전에 Claude가 할 수 있었다고 생각하는 과제만 계속 테스트하지 마라."
해설: X 본문의 '프롬프팅 종말·300개 에이전트 스웜·그래프'는 영상에 없는 말. 실제 내용은 하네스를 덜어내라는 실무 조언이고, 성능 근거는 자사 수치라 방향 정도로 볼 만하다는 것.
Anthropic 리서치 프로덕트 매니저 Theo가 지난 1년간 Claude가 어떻게 달라졌는지 설명합니다. 핵심 변화는 세 가지입니다. 행동 전에 계획을 세우고, 피드백을 받으면 접근을 바꾸고, 긴 작업에서도 일관성을 유지합니다. 그래서 개발자도 과거 모델의 실패에 맞춘 설계를 걷어내고, 아직 모델이 못 하는 과제를 기준으로 제품을 만들어야 한다는 주장입니다.
눈여겨볼 대목은 시스템 프롬프트 사례입니다. 오래된 인용 형식 지시 한 줄이 남아 있었는데, 지시를 더 잘 따르는 새 모델이 그 줄을 충실히 따르면서 인용이 고장 난 것처럼 보였습니다. 그 줄을 지우자 문제가 해결됐습니다. 모델이 좋아질수록 낡은 스캐폴딩이 오히려 걸림돌이 된다는 것. 반면 Opus 4.8 시연은 Wi-Fi 문제로 재생되지 않아 구두 설명으로 대체됐습니다. 벤치마크 포화 주장에도 구체 점수가 없어, 성능 비교는 자사 발표 수준으로 받아들일 부분입니다.
· SWE-bench Verified 점수가 Sonnet 3.7의 60%대 초반에서 Opus 4.8의 88%로 올랐다는 설명
· 예전 모델의 '둠 루핑'과 달리, 지금 모델은 피드백을 받으면 다른 방법으로 다시 시도한다는 것
· 최대 100만 토큰까지 맥락을 유지하므로 파일 하나가 아니라 코드베이스 전체를 맡겨 보라는 권고
· eval은 AI 시대의 유닛 테스트이며, 포화된 eval은 더 어려운 문제로 교체해야 한다는 것
· 프롬프트는 과거 실패를 피하는 쪽이 아니라 의도 중심으로 쓰고, 적응형 사고와 effort 조절을 허용하라는 조언
· 환경 접근은 Claude Code Auto mode 같은 분류기로 통제하고, computer use 같은 검증 수단으로 에이전트 루프를 닫으라는 제안
게시자: @fomoebka / 화자: Theo(Anthropic 리서치 프로덕트 매니저) / 출처: X 재게시본(원본 영상 미확인)