<p align="center">
<img src="https://raw.githubusercontent.com/jackulau/coding.sh/HEAD/.github/assets/banner.png" alt="coding.sh: 에이전트를 위한 관측 가능성 레이어(Observability Layer). 에이전트, 서브에이전트 및 게이트웨이를 사용자의 장치에서 추적합니다. 헤드라인 아래에는 coding.sh 뷰어의 한 세션 상단부가 표시되어 있습니다: OTLP 수신기 본문 제한을 8MB로 높인 Claude Code 세션으로, 해당 모델, 지속 시간, 예상 비용, '31 passed' 테스트 배지 및 첫 파일 편집 기록이 포함되어 있습니다." width="100%">
</p>
<p align="center">
<a href="https://github.com/jackulau/coding.sh/actions/workflows/ci.yml"><img src="https://github.com/jackulau/coding.sh/actions/workflows/ci.yml/badge.svg?branch=main" alt="CI 상태"></a>
<a href="https://www.npmjs.com/package/coding.sh"><img src="https://img.shields.io/npm/v/coding.sh?label=npm" alt="npm 버전"></a>
<a href="https://www.npmjs.com/package/coding.sh"><img src="https://img.shields.io/npm/dt/coding.sh?label=downloads&color=blue" alt="npm 다운로드 수"></a>
<a href="LICENSE"><img src="https://img.shields.io/badge/license-MIT-blue" alt="MIT 라이선스"></a>
<img src="https://img.shields.io/badge/node-%3E%3D22.16-brightgreen" alt="Node 22.16 이상">
<a href="https://coding.sh"><img src="https://img.shields.io/badge/Visit-coding.sh-181818?labelColor=555555&logo=data:image/svg%2bxml;base64,PHN2ZyB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciIHZpZXdCb3g9Ii0xNy4zMiAtMjAgMzQuNjQgNDAiPjxwb2x5Z29uIGZpbGw9IiNmNGY0ZjQiIHBvaW50cz0iMCwtMjAgMTcuMzIsLTEwIDAsMCAtMTcuMzIsLTEwIi8%2BPHBvbHlnb24gZmlsbD0iI2I5YjliOSIgcG9pbnRzPSItMTcuMzIsLTEwIDAsMCAwLDIwIC0xNy4zMiwxMCIvPjxwb2x5Z29uIGZpbGw9IiM3Njc2NzYiIHBvaW50cz0iMCwwIDE3LjMyLC0xMCAxNy4zMiwxMCAwLDIwIi8%2BPC9zdmc%2B" alt="coding.sh 방문하기"></a>
</p>
<p align="center">
<a href="https://x.com/jacklau"><img src="https://img.shields.io/badge/Follow%20on%20X-000000?logo=x&logoColor=white&style=for-the-badge" alt="X에서 팔로우하기"></a>
</p>
<p align="center">
<b>coding.sh는 AI 에이전트가 수행하는 모든 활동(프롬프트, 모델 호출, 도구 호출, 파일 변경 등)과 그 비용을 기록합니다.</b><br>
로컬 뷰어에서 각 실행 내용을 확인하고, 잘못된 부분은 평가 데이터(evals)로 변환할 수 있습니다.<br>세션은 사용자의 기기에 저장됩니다.
</p>
<p align="center">
<a href="https://coding.sh/docs">문서 (Docs)</a> ·
<a href="https://coding.sh/docs/quickstart">빠른 시작 (Quickstart)</a> ·
<a href="#supported-agents">지원되는 에이전트 (Supported agents)</a> ·
<a href="#what-you-get">얻게 되는 것 (What you get)</a> ·
<a href="https://coding.sh/changelog">변경 로그 (Changelog)</a> ·
<a href="https://github.com/jackulau/coding.sh/discussions">토론 (Discussions)</a> ·
<a href="https://github.com/jackulau/coding.sh/issues/new/choose">버그 신고 (Report a bug)</a>
</p>
npx coding.sh
curl -fsSL https://coding.sh/install | sh
<p align="center">
<img src="https://raw.githubusercontent.com/jackulau/coding.sh/HEAD/.github/assets/first-run.gif" alt="터미널 기록. 'npx coding.sh'를 입력하면 계획이 출력됩니다: Claude Code 및 Codex CLI용 훅(hooks)과 MCP 서버, 훅이 없는 상태로 스토어에서 가져온 T3 Code, 그리고 coding.sh 훅 및 설정 파일입니다. 시스템은 한 번 질문합니다. '2개 에이전트를 위한 coding.sh를 설정하고 (4개의 설정 파일, 먼저 백업됨) 과거 세션을 가져올까요? (Y/n)' 답변은 y이며, 'Claude Code 및 Codex CLI 설정 완료 (hooks + MCP 서버)'라고 보고됩니다. 해당 기록은 다음 세션부터 시작되며, '0.2초 만에 Claude Code 및 Codex CLI에서 9개의 과거 세션을 가져왔습니다'라고 표시됩니다. 이후 'npx coding.sh usage --by model'을 실행하면 claude-opus-5-5, claude-sonnet-5, gpt-6.1-sol에 대한 세션, 턴(turns), 토큰(tokens), 출력 토큰(output tokens), 턴당 토큰(tokens per turn), 캐시 읽기율(cache read rate) 및 예상 비용을 담은 표가 출력됩니다. 이 세션들은 .github/assets/sample-sessions.mjs에서 가져온 것입니다.">
<br>
<sub>새로운 홈 환경에서 <code class="language-bash">npx coding.sh</code> 0.1.6을 처음 실행했을 때의 모습입니다.</sub>
</p>
세션 뷰어를 열려면 다시 npx coding.sh를 실행하세요.
비용: 없음. MIT 라이선스이며, 사용자의 기기에서 실행되고 계정이 필요하지 않습니다.
<p align="center">
<img src="https://raw.githubusercontent.com/jackulau/coding.sh/HEAD/.github/assets/viewer-session.png" alt="하나의 Claude Code 세션에 대한 coding.sh 뷰어: 프롬프트가 제목으로 표시되고, 에이전트, 모델, 시작 시간, 지속 시간, 캐시율을 포함한 토큰 수, 예상 비용, 지연 시간 백분위수, '14 passed' 테스트 배지, Pass 및 Fail 결과 버튼, 복사 가능한 'coding.sh eval new' 명령어가 있습니다. 아래에는 각 모델 호출의 예상 비용과 타이밍 바가 있는 16단계와 사용 사례(usage.ts)로 변경된 선택 파일이 한 줄 차이점(diff)으로 표시됩니다." width="100%">
<br>
<sub>로컬 뷰어(<code class="language-bash">coding.sh ui</code>)에서 수행된 하나의 Claude Code 세션과, 그 과정에서 발생한 차이점(diff) 및 실행된 테스트입니다.</sub>
</p>
각 세션은 사용자의 기기에 있는 SQLite 인덱스에 지연 시간과 토큰 수와 함께 기록됩니다. 로컬 뷰어에서 이를 탐색하거나, 명령줄 인터페이스(CLI) 또는 MCP를 통해 에이전트로부터 쿼리할 수 있으며, 실패 사례를 평가(evals)로 전환하고 쌍을 이루는 통계와 변경 사항을 비교합니다. 원격 싱크(remote sink)를 추가하지 않는 한, 세션 데이터는 사용자의 기기를 벗어나지 않습니다.
런타임 종속성 없음. Node 22.16 이상.
빠른 시작 (Quickstart)
npx coding.sh를 실행하거나 위 설치 명령을 사용합니다. 이는 coding.sh init을 실행하며: 에이전트를 찾고, 하나의 계획을 보여주며, 한 번 질문합니다.
- 새로운 에이전트 세션을 시작합니다. 에이전트는 세션이 시작될 때 자신의 후크(hooks)를 읽기 때문에, 이미 열려 있던 세션은 기록되지 않을 수 있습니다.
coding.sh를 실행하여 뷰어를 엽니다. 새로운 세션은 별도의 가져오기(ingest) 단계 없이 자동으로 표시되며, 에이전트는 MCP를 통해 이를 읽을 수 있습니다.
init은 각 에이전트의 후크를 coding.sh에 연결하고, 에이전트가 지원하는 경우 MCP 서버를 등록하며, 편집되는 모든 설정 파일을 백업합니다. 또한 사용자의 에이전트가 이미 이 기기에 보관하고 있는 세션도 가져와서(import) 뷰어가 자체 기록으로 열리게 합니다.
| Command | 기능 설명 |
|---|
coding.sh init --dry-run | 아무것도 쓰지 않고 계획을 출력합니다. --diff를 사용하면 편집 내용이 추가됩니다. |
| ... | |
<details>
<summary>npm 설치, npx 캐시 및 기타 설치 방법</summary>
<br>
또한 npm으로도 설치할 수 있습니다: npm install -g coding.sh. 만약 npx coding.sh만 실행했다면 후크(hooks)는 계속 기록되지만, MCP 서버가 npx 캐시에 있는 사본을 실행하므로, 이 캐시를 지우기 전에 설치하는 것이 좋습니다. 소스에서 설치하고 업데이트 및 제거하기: docs/guides/install.md.
</details>
얻게 되는 것
| 영역 | 기능 설명 | 시작 방법 |
|---|
| Record | 후크(hooks)와 트랜스크립트(transcripts)에서 서브 에이전트를 포함하여 각 세션을 캡처합니다. 모든 다른 에이전트를 감싸고(wraps), 프레임워크 및 앱으로부터 OpenTelemetry를 가져옵니다. | coding.sh init, coding.sh run -- <cmd>, coding.sh collector |
| ... | | |
<p align="center">
<img src="https://raw.githubusercontent.com/jackulau/coding.sh/HEAD/.github/assets/viewer-sessions.png" alt="The coding.sh session list: 13 sessions from Claude Code, Codex and a bot that labels coding.sh issues and sends OpenTelemetry traces, with agent, model, tool count, cost (~ where it is estimated from list prices), duration and start time. Two rows show a green 'passed' test badge and one has a failed tool call. Above the list, a histogram of sessions over time marks one flagged session in amber; filters on the left narrow by agent, model, repository, flag and tool." width="100%">
</p>
세션 읽기
coding.sh sessions
coding.sh show latest
coding.sh search "rate limit"
...
모든 명령어는 --json을 사용합니다. coding.sh mcp는 에이전트에게 MCP 도구와 동일한 데이터를 제공합니다. 더 자세한 내용은 docs/guides/explore.md를 참조하세요.
<details>
<summary><b style="font-weight: bold;">Record</b></summary>: 래퍼(wrappers), OpenTelemetry 및 모델 API 프록시
<br>
• coding.sh run -- <cmd>는 다른 모든 에이전트를 감싸고 리포지토리를 실행 전후로 스냅샷합니다.
• coding.sh collector는 에이전트 프레임워크와 애플리케이션으로부터 OpenTelemetry 데이터를 수집합니다.
• coding.sh init --proxy는 Claude Code와 Codex를 로컬 API 프록티를 통해 라우팅하며, 이 프록시는 각 모델 호출의 시스템 프롬프트(system prompt), 도구(tools), 메시지(messages) 및 캐시 사용 내역을 기록합니다. 자세한 내용은 docs/how-to/capture-with-proxy.md를 참조하세요.
<details>
<summary><b>평가 (Evaluate)</b>: 평가(evals), 실험 및 쌍별 통계</summary>
<br>
coding.sh eval new를 사용하여 실패한 세션을 재현 가능한 평가로 전환할 수 있으며, coding.sh eval validate로 검증기(verifier)가 공정한지 확인할 수 있습니다. 코드 그레이더(code graders) 또는 보정된 LLM 심사위원(calibrated LLM judges)을 이용해 버전 관리된 데이터셋으로 실험을 실행하세요. coding.sh exp compare와 coding.sh compare를 사용하여 A/B 프롬프트, 하네스 파일 및 모델에 대해 쌍별 통계를 작성할 수 있습니다. coding.sh exp replay는 기록된 모델 호출 하나를 다른 모델이나 시스템 프롬프트를 이용해 재전송합니다. 도구 평가(Tool evals)와 다중 에이전트 워크플로우 실행도 지원됩니다. 자세한 내용은 docs/guides/evals.md를 참조하세요.
</details>
<details>
<summary><b>벤치마크 (Benchmark)</b>: 일일 사례 및 대결 비교 보고서</summary>
<br>
coding.sh bench는 스크립트, 실패한 세션, GitHub 이슈 또는 사이트맵에서 매일 새로운 사례를 가져옵니다. 모든 경쟁자에게 동일하고 무작위로 정렬된 고정(frozen) 세트를 제공하며, bench report는 추세, 오늘의 대결 비교 결과, 그리고 각 모델이 실패하는 지점을 담은 정적 페이지를 작성합니다. 자세한 내용은 docs/guides/benchmarks.md를 참조하세요.
</details>
<details>
<summary><b>프로덕션 (Production)</b>: 서버, SDK 및 LLM 게이트웨이</summary>
<br>
coding.sh serve는 ingest, viewer, API를 하나의 포트에서 실행하며, 백엔드 데이터베이스로 SQLite, Postgres 또는 ClickHouse를 사용합니다. 사용자 API 앱은 TypeScript SDK(@codingdotsh/sdk), Python SDK(coding-sh) 또는 일반 OpenTelemetry를 사용하여 트레이스(traces)를 전송합니다. coding.sh gateway는 LLM 게이트웨이(Vercel AI Gateway, OpenRouter, LiteLLM, Cloudflare, Portkey, Helicone)를 통해 이루어진 호출을 해당 청구 비용과 연결합니다. TypeScript SDK와 스토어 플러그인은 npm에 있으며, Python SDK는 PyPI에 있습니다. docs/production/README.md에서 시작하세요.
지원되는 에이전트
<p align="center">
<a href="https://coding.sh"><img src="https://raw.githubusercontent.com/jackulau/coding.sh/HEAD/.github/assets/agents-flow.gif" alt="An animated diagram from the coding.sh front page. On the left, three columns of agent logo tiles slide past one another. A line joins them to a cube in the middle, which is coding.sh. From the cube, a green line runs to three columns of tiles on the right, labeled sessions, cost, evals, experiments, benchmarks, gateways and sdk." width="100%"></a>
<br>
<sub >모든 에이전트는 하나의 기록을 가집니다: coding.sh 홈페이지의 다이어그램 참조.</sub>
</p>
| Agent | How it records | Status |
|---|
| Claude Code | hooks, transcript, subagents | Verified on real sessions |
| ... | | |
<details>
<summary>상태가 의미하는 바</summary>
<br>
- 실제 세션에서 검증됨(Verified on real sessions). 개발 중 에이전트의 라이브 설치에서 캡처된 세션을 대상으로 CI 테스트 외에 추가로 확인되었습니다.
- 실제 설치 환경에서 검증됨(Verified on a real install). 에이전트의 현재 릴리스가 설치되어 로컬 스텁 모델을 대상으로 한 세션으로 실행되었고, 그 과정에서 후크가 발동되었으며 기록된 세션이 확인되었습니다. 또한 캡처된 페이로드(payloads)는 이제 CI 테스트용 더미 데이터(fixtures)로 사용됩니다. OpenCode, Pi, Goose, Factory Droid, GitHub Copilot CLI 및 Aider의 경우, 모든 변경 사항에 대해 Linux와 Windows에서 CI가 해당 실행을 반복합니다.
- 실시간으로 실행되지 않음(Not run live). CI는 어댑터(adapter)를 에이전트가 문서화한 형식과 비교하여 확인하지만, 아직 아무도 라이브 설치 환경에서 실행하지 않았습니다. Cursor CLI와 Amp의 경우 두 모두 계정 로그인이 필요하기 때문에 현재 이 상태입니다.
- 테스트됨(Tested). CI 테스트에 포함되어 있습니다. 비교할 수 있는 타사 에이전트가 없습니다.
"Not run live"로 표시된 에이전트를 사용하는 경우, 해당 에이전트가 작동하는지 여부를 명시한 짧은 [agent support report]를 제출하면 "Verified" 상태로 이동합니다. 어떤 에이전트가 MCP 서버를 받는지 등을 포함한 에이전트별 세부 정보는 docs/guides/agents.md에 있습니다. T3 Code와 Pi 모두 [Record coding agents] 섹션을 가지고 있습니다.
개인정보 보호(Privacy)
싱크(sinks)가 구성되지 않은 경우, 세션 데이터는 기기를 벗어나지 않습니다. 기본 네트워크 요청은 일일 업데이트 확인이며, 이는 CODING_SH_NO_UPDATE_CHECK=1을 통해 끌 수 있습니다. 시크릿 정보는 인제스트(ingest) 단계에서, 인덱스, 블롭(blobs), 또는 싱크에 어떤 것이 기록되기 전에 마스킹 처리됩니다. 원격 싱크는 전체 콘텐츠를 선택하지 않는 한 메타데이터만 전송합니다.
<details>
<summary>훅이 스풀(spool)에 쓰는 내용</summary>
<br>