저희가 만든 something something sidecar에 관한 내용입니다. 농담입니다. 이것은 새로운 아이디어는 아니지만, 저에게 좋은 성공을 보여주었기 때문에 혹시 이를 위한 성숙한 플랫폼이 있는지 궁금합니다.
아이디어는 간단합니다. LLM이 주장/사실(claims/facts)을 만들고, 그 발견한 것들을 기반으로 무언가를 구현하기 시작하는 것입니다. 제가 발견한 것은, 자신이 잘못 만든 여러 주장을 서브 에이전트에게 특정 주장을 분석하도록 프롬프트하면 올바르게 찾아낼 수 있다는 것입니다. 이 기술의 문제는 모든 주장을 테스트해야 하므로 완료하는 데 시간이 훨씬 오래 걸린다는 것입니다. 이를 해결하는 방법은 서브 에이전트에서 낮은 추론 노력(lower reasoning effort)을 사용하는 것입니다. 제 모델인 GLM 5.3 Flash에서는 이것이 잘 작동합니다. 추론 노력을 전혀 사용하지 않았을 때는 코딩에 대해 그다지 잘 유지되지 않았습니다. 다른 모델의 경우 추론 노력을 조정해야 할 가능성이 높습니다.
이 기술 자체를 프롬프트하는 것은 어렵지 않지만, 이를 둘러싼 하네스(harness)나 플러그인(Opencode)을 구축하면 결정론적(deterministic)이 되기 때문에 유용할 것이라고 생각합니다. 저는 재미로 Rust 코딩과 Bevy 게임 엔진으로 이것을 테스트해 왔습니다. 일관되게 몇 가지 잘못된 주장을 찾아내는데, 이는 매우 좋습니다. 기본적으로 동일한 테스트를 사용하는데, 클라이언트 코드에서 가장 높은 CPU 활용도를 찾고 최적화를 제안합니다. Claude와 함께 플러그인을 반복할 수 있도록 시드 값(seed value)을 사용합니다. 그런 다음 Opencode v2 세션을 롤백하고 플러그인에 변경 사항을 만든 후 다시 시도합니다. 메인 에이전트는 이 보고서를 받게 되고, 이를 통해 계획을 수정하고 훨씬 더 나은 구현으로 시작할 수 있습니다. https://preview.redd.it/yhdcq7bk9xwh1.png?width=1739&format=png&auto=webp&s=e16a7d8c44e549896518ba47a710e5559cdb9b69
아래 명세(spec)에 따라 Claude가 만든 플러그인을 스팸하듯이 제공할 필요는 없지만, LLM의 도움을 받아 만들 것을 권장합니다. 저에게 잘 작동하는 OpenCode v2 플러그인에 대한 지침은 다음과 같습니다. 저는 이것을 직접 작성하고 몇 번 반복했습니다 (프롬프트?).
Model: GLM 5.3 Flash 문제를 제시하고 분석하도록 요청합니다 (예: 이 클라이언트 코드에서 가장 높은 CPU 사용률 찾기)를 최대 추론 능력으로 수행하는 에이전트(Agent 1)에게 맡깁니다. 관련된 구성 요소와 해결 계획을 참조 자료와 함께 .md 문서로 보고서를 생성하게 합니다 (Agent 1). 이 .md 문서 링크를 높은 추론 능력을 가진 서브 에이전트(Agent 2)에게 제출하여 모든 주장을 관련 맥락과 함께 추출하도록 요청합니다 (Agent 2). 각 주장마다 관련 맥락을 가지고 낮은 추론 능력의 별도 서브 에이전트에게 제출하며, 이 서브 에이전트는 오직 해당 단일 주장만을 검증해야 합니다. 각 에이전트당 타임아웃은 5분입니다. 소프트웨어를 컴파일하거나 소스 코드를 수정하지 않는 모든 명령을 허용합니다 (Agent X). 모든 서브 에이전트(Agent X)는 결과를 Agent 2에게 반환합니다. Agent 2는 종합된 보고서를 Agent 1에게 반환합니다 (도구 결과 크기 제한으로 인해 전체 문서는 아닌 .md 문서 링크를 반환). Agent 1은 계획을 수정합니다. Agent 1은 수정된 계획에 기반하여 작업/구현을 계속할지 확인을 요청합니다. 이러한 유형의 워크플로우는 더 나은 용어가 없는 상황에서, 확실히 우리가 라이브러리가 필요한 무언가입니다. 기술(skills)과 문제에 대한 보다 구조화된 접근 방식 사이의 격차를 메워줄 무언가요. 이상적으로는 LLM이 단계에서 벗어나지 않도록 가능한 한 결정론적(deterministic)으로 유지하는 것입니다. /u/fragment_me 제출 [링크] [댓글]