LLM 주변을 자동 최적화하는 Claude 코드 스킬

2026년 논문인 Meta-Harness는 고정된 LLM(대규모 언어 모델) 주변의 하네스(harness)를 최적화하는 것에 관한 것입니다. 여기서 최적화 대상은 가중치(weights)가 아니라 메모리/검색/컨텍스트/프롬프트 코드입니다. 여러 변형을 제안하고, 비용 효율적으로 점수를 매긴 다음, 가장 좋은 것을 유지하고 반복합니다.

원래 논문의 문제점은 그 코드의 대부분(~1,260줄)이 Claude를 헤드리스(headlessly)로 구동하는 방식을 단순히 재구현한다는 것입니다. Claude Code 내부에서는 그것이 필요하지 않습니다. Agent/Workflow//loop가 이미 런타임 역할을 하기 때문입니다. 그래서 저는 이 방법을 스킬로 변환했습니다: 외부 루프는 약 75줄이며, 제안자는 사용자가 이미 지불하는 Claude 구독을 통해 실행되고, 스코어러(scorer)는 순수 Python($0, API 키나 두 번째 모델 필요 없음)으로 구현되었습니다.

쉽게 말해, 이 스킬은 '모델이 기억하거나/검색하거나/보는 것'의 새로운 버전을 계속 시도하고, 각 버전에 대해 빠르고 결정론적인 테스트로 등급을 매긴 다음, 품질 대 토큰 비용 측면에서 승리하는 것을 유지합니다.

주의할 점: 이것은 마법이 아니며 벤치마크도 아닙니다. 포함된 예시는 작은 합성 데모입니다. 또한 명확한 실패 모드(만약 고정되거나 캐시된 실행을 기준으로 점수를 매긴다면, 검색 과정에서 컨텍스트를 비우는 방식으로 속임수가 될 수 있음)를 제시하고 이를 피하는 방법을 알려줍니다.

제출자: /u/proteus-design
[링크] [댓글]