
oh-my-agent: 크로스 컨텍스트 리뷰와 트리거 정확도 테스트 검증
요약
oh-my-agent가 작성자 편향을 제거하기 위한 크로스 컨텍스트 리뷰와 트리거 정확도 테스트 기능을 업데이트했습니다. LLM 호출 없이 키워드 정확도를 측정하고, 격리된 서브 에이전트를 통해 설계 리뷰의 객관성을 높였습니다.
핵심 포인트
- 트리거 정확도 테스트 하네스를 통한 키워드 오검출률 측정
- 격리된 서브 에이전트를 활용한 크로스 컨텍스트 리뷰 도입
- 작성자 편향(Creator Bias) 제거를 위한 블라인드 리뷰 구현
- Claude Code 세션 관리를 위한 SessionStart 후크 통합
- 스킬 정적 분석 및 오서링 코드 스멜 체크 기능 추가
AI 모델에게 자신의 설계를 리뷰하게 하면, 대부분 자기 평가가 관대해집니다. 이번 주에는 이러한 작성자 편향 (Creator Bias)을 제거하기 위한 수정 사항을 머지(merge)했습니다.
트리거 정확도 테스트 하네스 (Trigger Accuracy Test Harness): oma verify triggers를 통해, LLM을 전혀 호출하지 않고 167건의 라벨링된 코퍼스 (Corpus)에 대한 키워드 오검출률 및 미검출률을 측정합니다. -
표준 사양 생성: 단일 정보원인 .agents로부터 사양에 준거한 Agent Skills 디렉토리, .claude-plugin 매니페스트, AGENTS.md 인덱스를 직접 생성하는 oma emit을 추가했습니다. -
스킬 정적 분석: Anatomy-to-Smells 연구에 기반하여, 결정론적인 오서링 (Authoring) 코드 스멜 체크를 강제하는 oma skills lint를 구현했습니다. -
비대화 경고: 20개 이상의 참조 파일 또는 25,000자를 초과하는 스킬에 대해 경고하는 oma skills audit을 추가했습니다.
또한, Claude Code를 위한 SessionStart 후크 (Hook)를 통합했습니다. 이를 통해 컨텍스트 (Context)를 잃지 않고 스킬을 동적으로 리로드하고, 세션 압축을 처리할 수 있습니다.
-
키워드 매칭을 특이성 (Specificity)으로 랭크화. 가장 긴 키워드, 다중 단어, 선언 순서의 우선순위를 부여함으로써 자기 억제에 의한 충돌을 해결했습니다.
-
에이전트 간에 릴레이된 메시지가 워크플로우 키워드를 오검출하는 문제를 방지했습니다.
-
Windows 환경에서의
atomicWriteJson에러 (EPERM)를 임시 파일을 읽기/쓰기 권한으로 열어 해결했습니다. -
opencode브릿지를 완전히 다시 작성하여, 새로운 플러그인 API의 뮤테이션 (Mutation) 규약에 준수하도록 함으로써 진정한 영속 모드 (Persistence Mode)를 복원했습니다.
크로스 컨텍스트 리뷰 (Cross-Context Review): 11개의 ultrawork 리뷰 단계 모두를, 영속화된 아티팩트 (Artifact)와 리뷰 가이드만을 전달받는 새로운 리뷰어 서브 에이전트 (Sub-agent)로 디스패치 (Dispatch)하도록 변경했습니다. 격리된 리뷰가 더 많은 결함을 발견할 수 있으므로, 동일 세션 내에서의 자기 리뷰를 폐지했습니다. -
고위험 블라인드 리뷰 (Blind Review): 브레인스토밍 워크플로우에서 설계 아티팩트에 대한 비평을 독립된 서브 에이전트에게 위임함으로써 작성자 편향을 완전히 제거했습니다. -
마켓플레이스 통합: 리포지토리 루트의 .claude-plugin 디렉토리를 Claude 플러그인 마켓플레이스의 단일 정보원으로 통합했습니다.
# macOS / Linux
curl -fsSL https://raw.githubusercontent.com/first-fluke/oh-my-agent/main/cli/install.sh | bash
# Windows (PowerShell)
irm https://raw.githubusercontent.com/first-fluke/oh-my-agent/main/cli/install.ps1 | iex
oh-my-agent는 프롬프트 입력보다 오케스트레이션 (Orchestration)을 중시하는 팀을 위해 구축되었습니다. 향후 네이티브 Antigravity 플러그인 생성 기능 추가를 예정하고 있습니다.
원문(영어): https://dev.to/gracefullight/oh-my-agent-cross-context-reviews-and-trigger-accuracy-testing-12f7
AI 자동 생성 콘텐츠
본 콘텐츠는 Qiita AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기