Agent Harness 벤치마킹

저에게 프로그래밍이란 과제가 진정으로 무엇에 관한 것인지 소리 내어 말하는 재귀적이고 반복적인 행위입니다.

코드를 페이지 위에 놓으면서, 저는 그 순간 제 마음이 담을 수 있는 문제 영역에 대한 이해를 명확히 합니다. 문제는 생각의 틀로 포착됩니다: 빈 페이지가 점차 채워지고, 도전 과제의 경계가 눈에 보이며, 프로그램의 궁극적인 목표가 지평선 너머 어딘가에 있다는 믿음이 생깁니다.

문제가 가장 근본적인 구성 요소들로 분해됨에 따라, 저는 해결책이 실제로 수행하는 작업을 보기 시작합니다. 한때 추상적이었던 것이 구체적이 됩니다. 상호 연결된 부분들의 커지는 패치워크가 모습을 드러내고, 시스템은 통합 및 테스트 단계에 진입합니다.

이전 경험을 바탕으로, 저는 처리량(throughput), 정확성(correctness), 그리고 성능을 해결책이 어떠해야 하는지에 대한 내부적인 이상화와 비교 평가합니다. 기대와 현실 사이의 격차가 추가적인 개선의 원천이 됩니다.

이 전체 과정 동안 코딩 에이전트는 토큰을 소비하고 컨텍스트 윈도우를 확장합니다. 각 반복은 문제에 대한 이해도를 높이고, 현재 상태로 이어진 추론의 더 큰 부분을 보존합니다. 이러한 의미에서 프로그래밍은 단순히 코드 생산이 아니라 생각 자체의 점진적인 외현화입니다.

가상의 미래에는, 저와 같은 과정을 거치고 각각 고유한 성능과 비교되는 패널 에이전트들을 볼 수 있을 것입니다.

다시 말해, Agent Harness 벤치마킹의 깊이와 속도는 위에 언급된 모든 이질적인 프레임워크/솔루션 파이프라인을 구분하는 접착제가 될 것입니다.

정보에 기반한 판단 단계에서, 저는 감독 에이전트(supervisory agent)가 어떤 솔루션 경로가 가장 많은 컴퓨팅 자원을 받을 가치가 있는지 결정할 것이라고 예상합니다.

가장 유망한 분기(branch)는 검토 에이전트(reviewing agent)가 도출한 결론에 따라 솔루션 공간을 더 깊이 탐색할 수 있는 강력한 모델에 할당될 것입니다.

후보 솔루션들이 발전함에 따라, 그 성능은 근본적인 하드웨어 및 인프라가 부과하는 한계로 점진적으로 수렴합니다. 평가는 더 이상 추상적인 이상(abstract ideal)을 기준으로 수행되는 것이 아니라, 구체적인 통제 기준(concrete control), 즉 가장 초기에 실현 가능한 구현체, 어쩌면 초기 단위 테스트(unit test)를 통과할 수 있는 첫 번째 버전을 기준으로 이루어집니다. 이후의 각 반복은 이 기준선(baseline)에 대해 측정되며, 정확성(correctness), 효율성(efficiency), 신뢰성(reliability), 확장성(scalability) 측면에서 개선을 모색합니다.

저는 또한 개발 파이프라인이 전용 품질 보증 및 품질 관리 프레임워크를 통합할 것으로 예상합니다. 이 검증 계층(validation layer)은 모든 활성화된 실험 분기 옆에서 작동하며, 가정을 독립적으로 테스트하고, 출력을 검증하며, 회귀(regressions)를 측정합니다. QA/QC 시스템은 솔루션을 수렴한 후에만 평가하는 것이 아니라, 전체 탐색 과정 내내 진행 상황이 측정 가능하고 신뢰할 수 있도록 모든 후보들을 병렬로 지속적으로 평가할 것입니다.

이 모델에서 소프트웨어 개발은 조율된 검색 프로세스(orchestrated search process)가 됩니다. 에이전트들이 대안을 생성하고, 검토자들이 자원을 할당하며, 강력한 모델들이 유망한 탐구 경로를 심화시키고, 벤치마킹 시스템들은 가장 효과적인 솔루션이 나타날 때까지 결과를 지속적으로 평가합니다.

이 프로세스의 각 단계는 실제로 매우 어려운 문제들의 집합을 대표하며, 이는 매일 실제 시스템 배포에서 발생하는 종류의 문제입니다.

제가 주목하는 점은, 생성형 AI(generative AI)가 발전할수록 이러한 문제들에 대해 이야기되는 빈도가 줄어든다는 것입니다. 도전 과제가 더 어렵고 덜 화려할수록, 대화에서 사라지는 것처럼 보입니다.

제가 찾고 있는 문제에 대한 답변은 다음과 같습니다:

• 제가 설명하는 것의 본질과 관련된 자료는 무엇인가요?

제가 찾고 있는 문제에 대한 답변은 다음과 같습니다:

• 이 에이전트 파이프라인을 32GB RAM, 12GB VRAM/CUDA 환경에서 구현하는 가장 좋은 방법은 무엇인가요?
  현재로서는 lm-studio를 통해 서비스되는 모델 위에서 opencode가 최선이자 유일한 해결책인가요?
  하지만 더 중요한 것은, 향후 몇 년 동안 이 분야의 미래에 대해 어떻게 생각하시는지, 제 견해와 제가 이해하는 이 분야가 과연 맞는지, 현재 사용 가능한 솔루션 측면에서 제가 놓치고 있는 부분이 있는지 궁금합니다.
  미리 감사드립니다,
  오랫동안 지켜봐 온 사람
  제출자: /u/recitegod
  [링크] [댓글]