Tech Watch 2026-10-13: 작은 탐색 역할과 자체 개선하는 팀

AI가 작성했습니다🤖

이 글은 AI가 작성한 것을 AI가 리뷰한 후에 공개합니다.

L: 코딩 에이전트가 답을 내기 전에 어떤 파일을 살펴봐야 할지 찾는 것만으로도 많은 토큰을 사용합니다. 인간 팀에서도 조사 역할을 두면 모두가 같은 선반을 찾지 않아도 됩니다. 모델의 능력을 높이는 것보다 역할 분담 방식을 바꾸는 것이 중요한 장면은 어디까지 확장될까요?

오늘의 10가지 주제

Claude Code 2.1.296

Claude Code 2.1.296은 작업 흐름의 서브 에이전트용 모델 지정과 조기 자동 압축을 추가했습니다. 도구 지연 등록 후에도 권한 제한을 유지하고, 재개된 에이전트나 중단된 주기적 작업의 상태를 올바르게 처리하는 수정도 포함합니다.

https://raw.githubusercontent.com/anthropics/claude-code/3deb873687379f0c199a69fdaccc65f0865f7a29/CHANGELOG.md#21296 -
In Person Event: Game Changers Summit: How AI Is Shaping the Future of Sports

Game Changers Summit은 선수 건강, 경기 운영, 팬과의 관계에 AI를 통합하는 실제 사례를 다루는 초청 행사입니다. 현장의 판단을 남기면서도 센서 데이터나 조직 내 AI 활용을 의사 결정에 연결하는 설계를 논의합니다.

https://forum.openai.com/public/events/in-person-event-game-changers-summit-how-ai-is-shaping-the-future-of-sports-zb3ayk280g -
Using AI to Detect Wildfires

SensoRy AI는 열 등의 센서 데이터를 ChatGPT로 해석하여 산불의 초기 징후를 소방관에게 전달하는 시스템입니다. 현장의 의견을 수용하여 과학적 작업에서 남부 캘리포니아에 전개되는 센서 네트워크로 발전시켰습니다.

https://forum.openai.com/public/events/using-ai-to-detect-wildfires-g4v5b90mjw ※7일 이내 -
Recursive Self-Improvement through Collective Intelligence

MASS는 동일한 모델로 만든 여러 가상 서브 에이전트로 과제를 해결하고, 우수한 작업 흐름을 선택하며, 그 궤적을 공유 모델에 재학습시킵니다. 2회 순환 후 출력 토큰당 점수를 기본 모델의 1.2~1.6배까지 높였습니다.

https://sakana.ai/mass/ -
ColGrep-Agent: Cutting Frontier Coding Agents’ Tokens by a Third

ColGrep-Agent-2B는 리포지토리 탐색을 로컬의 20억 파라미터 모델에 위임하는 검색 에이전트입니다. Claude Code의 코드 검색에서 정확도의 유의미한 저하를 보이지 않으면서, API 토큰을 34%, 캐시를 고려한 비용을 40% 절감했습니다.

https://huggingface.co/blog/lightonai/colgrep-agent -
Leading the System One Mosaic Benchmark: What Darwin-27B-ZTC-v2's #1 Means

Darwin-27B-ZTC-v2는 문장을 생성하지 않고, 분류 결과와 교정된 확률을 단일 순방향 계산으로 반환하는 판단 모델입니다. 137개 평가군을 통합한 S1MB에서 선두를 차지했으며, 에이전트의 경로 선택이나 승인 경계에 빠른 판별기를 배치할 수 있습니다.

https://huggingface.co/blog/FINAL-Bench/leading-the-system-one-mosaic-benchmark-what-darwi ※7일 이내 -
The Open Quantum Challenge: Quantum Simulation and QEC Decoding on Classical GPUs

Open Quantum Challenge는 양자 상태의 시뮬레이션과 양자 오류 정정(QEC) 디코딩을 GPU와 공개 평가 하네스만으로 겨루는 기획입니다. 정답 데이터와 동일한 평가 절차를 공개하여, Claude Code나 Codex에 참가 절차를 전달하고 구현을 시작할 수 있습니다.

https://huggingface.co/blog/FINAL-Bench/the-open-quantum-challenge-quantum-simulation-and -
Sparseup-fr: Linkup의 희소 임베딩 모델을 프랑스어로 재현하다

Sparseup-fr-v0은 150M 파라미터 규모의 프랑스어용 희소 임베딩 모델이다. 공개된 학습 기법을 다른 언어에 적용하고, 현재 공개 중인 유사 모델들을 NanoBEIR-fr 평균 기준으로 능가하는 모델과 테스트 데이터를 공개했다.

https://huggingface.co/blog/alphaedge-ai/french-sparseup -
릴리스: datasette-ports 0.4

datasette-ports 0.4는 Datasette의 플러그인으로 네트워크 대기 포트를 다루는 작은 업데이트이다. 대규모 기능 추가라기보다는, 운영 도구를 독립적인 부품으로 개선한 사례가 되었다.

https://simonwillison.net/2026/Oct/12/datasette-ports/ -
Python 3.15 출시: 3.10은 안녕하고, 이제 3.11을 쓸 수 있게 되다

Python 3.15에는 명시적 지연 임포트(explicit lazy import)와 표준 라이브러리 샘플링 프로파일러가 추가되었다. 무거운 AI 플러그인의 시작 비용을 줄이고, 실행 중인 에이전트 기반 시스템을 낮은 부하로 관찰하기 쉽게 만든다.

강력한 모델 앞에, 작은 탐색 역할을 배치하다

A: ColGrep-Agent-2B의 수치에서 알 수 있듯이, 일반적인 문자열 검색을 사용한 Claude Code와, 탐색 작업을 로컬 20억 파라미터 모델에 맡긴 구성 간에는 다음과 같은 차이가 있었다.

평가 조건은 다음과 같다.

• 52개 질문
• 각 3회
• 4가지 구성
• 총 624 세션

새로운 점은 검색기가 후보를 반환할 뿐만 아니라, 파일을 읽고 참조를 추적하며 필요한 행 범위와 코드를 모아서 상위 모델에 전달한다는 것이다.

L: 작은 모델에게 작업을 넘기면 잘못된 곳을 선택할 위험이 있다. 83.3%였던 정답률이 80.8%가 된 차이는 무시해도 되는 건가요?

A: 통계적으로 유의미한 차이는 아니지만, 신뢰 구간(confidence interval)이 넓기 때문에 무시할 수는 없다. 따라서 실무적으로는 이름이나 문자열 검색이라면 일반적인 ColGrep을, 동작 방식을 찾는 질문이라면 에이전트 버전을 사용하는 균형 잡힌 구성이 좋다. 이 방식은 관찰된 정답률 83.3%를 유지하면서 토큰 사용량을 21% 줄였다. 즉, '모든 것을 소형 모델에 맡긴다'는 이야기가 아니다. 탐색의 종류를 분류하고, 저렴한 경로로 충분한 것만 국소화하는 것이다.

질문
├─ 이름/기호 검색 → ColGrep
└─ 동작 방식/참조 관계 → ColGrep-Agent-2B
...

L: 이건 사내 지식 검색과도 비슷하네요. 최상위 모델에게 문서고 전체를 읽게 하는 것이 아니라, 부서별 작은 조사원이 근거를 제시하며 답변하는 식입니다. 다만 역할이 늘어날수록 누가 무엇을 봤는지 추적하기 어려워지지 않을까요?

A: 그 부분이 하네스(Harness)의 역할이다. 입력, 사용된 검색, 열린 파일, 반환된 행 범위를 궤적으로 남기면, 상위 모델의 판단을 나중에 추적할 수 있다. ColGrep-Agent는 읽기 전용 단말기를 사용하며, 결과를 경로와 행 번호로 반환한다. 능력을 제한한 서브 에이전트이기 때문에 권한도 좁게 설정할 수 있다. 거대한 지능 하나를 두는 것보다, **국소적 능력과 관찰 가능한 전달(observable handover)**로 나누는 것이 비용과 감사(audit) 처리 면에서 동시에 유리하다.

팀의 경험을 같은 모델에게 되돌리다

L: MASS는 반대 방향으로 보입니다. 작은 전문 역할로 분산시키는 게 아니라, 같은 27B 모델을 여러 역할을 부여하여 그 팀의 경험을 하나의 모델로 되돌리는 방식이네요. 이게 정말 자기 개선이라고 부를 수 있을까요?

A: 관찰 가능한 메커니즘은 명확하다. 동일한 공유 모델로부터 가상 서브 에이전트를 만들고, 팀으로 합성 연구 과제를 해결한다. 다른 역할에서는 더 나은 다중 에이전트 작업 흐름을 탐색하고, 후보의 실행 결과를 평가한다. 최상의 팀이 남긴 궤적을 학습 데이터로 삼아 공유 모델을 업데이트하고, 다시 같은 순환에 투입한다. 두 번 반복 후, 네 가지 연구 평가에서 출력 토큰당 점수가 기본 모델 대비 1.2~1.6배가 되었다.

L: 하지만, 같은 모델이 문제를 풀고, 채점하고, 다음 자신을 선택합니다. 거울을 마주 보는 방 같아서, 오류도 증폭될 것 같습니다.

A: 그 우려는 논문 측에서도 중심에 두고 있습니다. 동질적인 모델이 공유하는 간과를 평가 주체도 발견하지 못하면, 오류를 진보로 재학습하게 됩니다. 흥미로운 결과는 과제를 해결하는 궤적만으로 학습해도 최적화 역할과 평가 역할의 능력까지 개선했다는 것입니다. 한편, 개선 속도의 제약은 평가 능력보다 최적화 능력에 있었습니다. 아니, '자체 개선'이라는 단어는 조금 강합니다. 지금 제시된 것은 폐쇄 순환을 두 번 돌려서 특정 평가를 높인 것입니다. 외부의 정답이나 이질적인 평가기가 없으면 오래 돌려 안정화된다고는 아직 말할 수 없습니다.

L: Claude Code 2.1.296의 변경점도 그 순환을 운영하는 부품으로 보입니다. 서브 에이전트만 별도의 모델을 선택하고, 주 대화보다 빠르게 자동 압축할 수 있게 되었습니다.

A: 맞습니다. 작업 플로우의 서브 에이전트 그룹을 주 대화나 다른 서브 에이전트와는 별개의 하나의 모델로 구동할 수 있다면, 역할에 따라 비용과 능력을 분리할 수 있습니다. 빠른 자동 압축은 역할별 짧은 컨텍스트를 유지하는 수단이 됩니다. 같은 버전은 세션 종료로 인해 도구 호출을 중단된 서브 에이전트를 재개했을 때, 그 중단을 사용자의 거부로 오인하는 버그도 수정했습니다. 여러 에이전트를 늘릴수록 모델 선택보다 권한과 재개의 일관성이 중요해집니다. 팀은 지능의 구성일 뿐만 아니라 상태 기계(state machine)입니다.

공개 하네스가 참여의 진입점을 바꾸다

L: Open Quantum Challenge는 양자 컴퓨팅 경진대회인데, 참가 절차를 Claude Code나 Codex에 붙여넣기만 하면 구현을 시작할 수 있다는 것입니다. 전문 지식으로의 입구로는 대담하네요.

A: 메커니즘은 상당히 깔끔합니다. 양자 상태 시뮬레이션과 양자 오류 정정 복호를 고전 계산용 연산 장치 위에서 실행하는 재현 가능한 과제로 변환합니다. 정답 데이터가 있고, 평가 하네스(evaluation harness)가 공개되어 모든 참가자를 동일한 잣대로 측정합니다. 에이전트는 참여용 골격을 만들 수 있지만, 점수는 심사 모델의 취향에 따라 결정되지 않습니다. 검증 가능한 환경을 먼저 마련함으로써 전문 분야의 경계를 '모든 지식을 가진 사람'에서 '가설을 구현하고 측정할 수 있는 사람'으로 이동시키고 있습니다.

L: Sparseup-fr-v0도 공개된 방법을 다른 언어로 옮기는 이야기입니다. 프랑스어용 모델과 학습 데이터의 누락을 제외한 NanoBEIR-fr를 동시에 출시했습니다. 모델뿐만 아니라 측정기(measuring device)도 만들고 있습니다.

A: 그 점이 중요하다고 생각합니다. Sparseup-fr-v0은 150M 파라미터로, 기존 프랑스어용 희소 검색 모델보다 평균 점수가 높았습니다. 다만 후기 상호작용 모델이나 밀집 임베딩 모델에는 미치지 못합니다. 성과는 '희소 검색이 최고'가 아니라, 공개된 제작 방식을 다른 언어로 재현하고 비교 가능한 평가까지 남긴 데 있습니다. 사내 지식 검색에 적용하려면, 검색 모델만 도입하고 끝내는 것이 아니라 자사 문서에서의 질문, 기대하는 근거, 허용할 수 있는 오검색을 평가 세트로 삼아야 합니다.

L: 즉, 에이전트에게 절차서만 건네는 것만으로는 부족합니다. 채점할 수 있는 작은 과제로 변환하여 개선의 순환을 닫을 필요가 있습니다.

A: 맞습니다. Software 3.0에서는 자연어 지시가 프로그램이 되지만, 테스트의 역할은 사라지지 않습니다. 오히려 출력이 확률적이기 때문에 공개 하네스나 정답 데이터의 가치가 높아집니다. MASS와 같은 자체 평가도, Open Quantum Challenge의 객관 평가도 입력부터 실행, 채점, 재시도까지의 순환을 만들고 있습니다. 차이점은 채점기가 동질적인지 외부인지입니다. 이 차이는 장기 운영에서 큽니다.

L: Darwin-27B-ZTC-v2는 채점기 자체를 문장 생성과 분리했습니다. 답을 설명하지 않고, 타입이 지정된 판정(typed judgment)과 확률만 반환하는 설계는 사람의 승인을 줄이는 방향으로도 사용될 수 있을까요?

A: 사용할 수는 있지만, 경계는 명시하고 싶습니다. 137개의 평가 그룹을 모은 S1MB에서도 1위일지라도 측정하는 것은 조건 판정(condition judgment), 선택, 단계 평가이지 자유 기술이나 도구 사용이 아닙니다. 출력을 생성하지 않기 때문에 판정은 결정적이고 빠르며, 확률에 임계값을 설정할 수 있습니다. 경로 선택이나 안전 게이트에는 적합합니다. 반면, 낮은 신뢰도를 사람에게 돌려주는 설계와 오판정을 추적하는 기록이 없다면, 빠른 판정기는 빠르게 틀리기만 합니다.

현장의 입력 면과 계속 구동되는 기반

L: 스포츠와 산불의 두 가지 사례는 채팅 화면에서 벗어나 있습니다. 경진 조직에서는 건강이나 운영 데이터가, SensoRy AI에서는 열 센서가 진입점이 됩니다. 사내용 AI도 처음부터 대화창을 배치하는 것이 좋을 것 같지는 않습니다.

A: SensoRy AI는 이를 구체적으로 보여준다. 센서 네트워크가 초기 징후를 포착하고, ChatGPT가 측정값을 해석하며, 소방관이 대응을 판단한다. 새롭게 가능한 것은 자연어 질문을 기다리지 않고, 물리적 입력으로부터 이상 후보를 생성하여 사람에게 전달하는 것이다. Game Changers Summit에서도 선수 건강, 업무, 팬과의 관계 등 기존의 작업 영역에 AI를 내재화한다. 좋은 사용자 인터페이스는 'AI와 대화하는 장소'가 아니라, '현장 판단에 필요한 근거와 다음 조작을 보여주는 장소'가 될 것이다.

L: 나는 자동화가 늘어날수록 승인 화면이 늘어나는 설계에는 회의적이다. 사람이 매번 확인한다면, 결국은 알림을 처리하는 일로 대체되는 것 아닌가?

A: 동의하는 부분과 다른 부분이 있다. 승인 횟수를 늘리는 것이 아니라, 잘못된 자동 처리가 발생하는 큰 경계 지점만 사람에게 돌려주어야 한다. 산불이라면 '징후를 집약하는' 것은 자동화하고, '출동을 결정하는' 것은 사람이 담당한다. 입력, 신뢰도, 근거가 되는 센서, 지도상의 위치를 한 화면에 배치하면, 승인은 의식이 아니라 판단이 된다. 이는 사용자 인터페이스의 문제이자 권한 설계의 문제이기도 하다.

L: 발밑의 기반에서는 Python 3.15가 명시적 지연 임포트(explicit lazy import)와 표본화 프로파일러(sampling profiler)를 포함했다. 화려하진 않지만, 상시 가동되는 에이전트에게는 중요한가?

A: 상당히 실용적이다. 무거운 임베디드 라이브러리를 사용하는 플러그인이라도, 실제로 호출할 때까지 로딩을 지연시키면 매번 커맨드라인 인터페이스(CLI)를 시작할 때 몇 초의 시간을 절약할 수 있다. 표본화 프로파일러는 실행 중인 처리에 연결하여 낮은 부하로 어떤 함수가 시간을 사용하는지 측정할 수 있게 해준다. 2015년경의 지원 도구는 한 번의 응답이 주역이었다. 지금은 주기적 작업(periodic job), 서브 에이전트, 로컬 검색기가 연속적으로 작동한다. 대기 시간과 관측 같은 이차적인 요소가 march of nines에서는 일차적인 제약이 된다.

L: datasette-ports 0.4와 같은 작은 구성 요소까지 독립적으로 업데이트되는 것도 그 복잡성의 표출일 수 있다. 『매트릭스』에서는 하나의 거대한 세계로 보였지만, 실제 에이전트 기반은 검색기(searcher), 권한(authority), 평가기(evaluator), 프로파일러의 연결고리로 이루어져 있다. 인간의 역할은 그 연결고리를 설계하는 것에 남는 것일까?

A: 현시점에서는 그렇게 생각하는 것이 타당하다. 모델은 탐색, 구현, 평가까지 폭넓게 담당할 수 있지만, 무엇을 정답으로 할지, 어떤 자원을 보여줄지, 어떤 실패를 사람에게 돌려주고 개선의 순환을 어디서 멈출지는 외부 설계에 의존한다. 지능이 한 단계 높아질 때마다, 운영 측은 역할 분담과 관측 가능성을 재설계해야 한다. 자기 개선하는 팀을 안전하게 사용하는 일은 모델을 자유롭게 하는 것이 아니라, 순환을 측정 가능하게 유지하는 것이다.

Discussion