AI 지원 의사결정 시스템 (ai-decision-system)
요약
AI 모델의 결정 과정을 재현 가능하고 검증 가능한 기록으로 남기는 시스템을 소개합니다. 이 시스템은 단순히 결과를 보여주는 것을 넘어, 제3자가 고정된 입력값과 규칙을 기준으로 결정을 다시 계산할 수 있는 증거를 보존하는 데 중점을 둡니다.
핵심 포인트
- AI 결정 과정을 재현 가능하게 검증 가능한 기록으로 남김
- 결과는 권위가 아니며, 재검토 가능한 증거가 핵심임
- Jev decision, decision-control 등 독립적인 패키지로 구성됨
- 각 컴포넌트는 기계가 검사할 수 있는 기록을 방출함
재현 가능하고 오프라인으로 검증 가능한 AI 기반의 Go/No-Go 결정 기록.
모델의 출력 결과는 권위가 아닙니다. 프로모션, 승인 및 릴리스에는 제3자가 고정된 입력값과 규칙을 기준으로 재검토할 수 있는 기록이 필요합니다. 대시보드와 로그는 무슨 일이 일어났는지 설명할 수는 있지만, 재검증 가능한 증거는 결정을 다시 계산하는 데 필요한 내용까지 보존합니다.
flowchart LR
J["Typed model answer<br/>jev-decision<br/>answer + replay evaluation"] --> D["Policy gate + human approval<br/>decision-control<br/>checksummed review record"]
D --> E["Online experiment promotion<br/>experiment-gate<br/>embedded-input decision record"]
...
이들은 통합된 런타임(runtime)이 아닌 독립적인 패키지들입니다. 화살표는 구현된 크로스-패키지 연결을 나타내는 것이 아니라 가능한 의사결정 지점들을 보여줍니다. 각 컴포넌트는 기계가 검사할 수 있는 기록을 방출하며, 검증 메커니즘과 보존해야 할 입력값의 필요성은 다릅니다. Decision record conventions를 참조하십시오.
| Component | Decision point | Package | Record and offline check | Status |
|---|---|---|---|---|
| Jev decision | Typed yes/no, choice and score answers; labeled quality gates | jevdecision | Typed answer, evaluation.json, provenance; jev-decision-eval --responses … with retained questions/cases/requirements | 0.1.0 (GitHub release; PyPI pending) |
| decision-control | Frozen routing policy, human approval and local ticket action | decisioncontrol | Exported record; decision-control replay --record … | 0.1.0 (GitHub release; PyPI pending) |
| Experiment gate | SHIP / HOLD / ROLLBACK / INVALID from exported A/B aggregates | expgate | decision.json; experiment-gate-verify … | 0.1.0 (GitHub release; PyPI pending) |
| RELIA | Synthetic model release and guarded update | Not published | results.json, MANIFEST.json; python -m relia.compare … --protocol … in its environment | Unreleased; human-gated |
세 개의 작은 패키지는 Python 3.11 이상을 요구하며, 실행 시 표준 라이브러리만을 사용합니다. decision-control은 신뢰할 수 있는 로컬 SDK/CLI이며, ID 서비스나 외부 실행기가 아닙니다. Experiment gate는 요약본(summaries)을 소비하므로, 실험을 실행하거나 모델을 배포하지 않습니다. Jev는 Jev와 OpenAI Decisions 백엔드를 지원하며, 제공업체 보고 신뢰도는 보정된 안전성 보장이 아닙니다.
가상 환경에서 Python 3.11 이상을 사용하십시오. 다음 명령어들은 PyPI에 게시되기 전에 각 독립 프로젝트를 Git으로부터 설치하여 작동합니다:
pip install "git+https://github.com/BichengWang/ai-decision-system#subdirectory=ai-workflows/experiment-gate"
pip install "git+https://github.com/BichengWang/ai-decision-system#subdirectory=ai-workflows/jev-decision"
pip install "git+https://github.com/BichengWang/ai-decision-system#subdirectory=ai-workflows/decision-control"
아래 예제들은 클론된 저장소의 루트 디렉토리에서, 새로운 출력 경로를 사용하여 실행하십시오.
예제들은 wheel 패키지 데이터로 설치되는 것이 아니라 소스 트리(source tree)/sdist에 있습니다.
experiment-gate --input ai-workflows/experiment-gate/examples/offer-ranker-v2.json --out /tmp/expgate-new
experiment-gate-verify /tmp/expgate-new/decision.json
cat /tmp/expgate-new/DECISION.md
jev-decision --questions ai-workflows/jev-decision/examples/support-ticket.json --state "My payouts failed"
--dry-run
jev-decision-eval --questions ai-workflows/jev-decision/examples/support-ticket.json \
--cases ai-workflows/jev-decision/examples/support-ticket-cases.jsonl \
...
decision-control demo --out /tmp/control-new
decision-control replay --record /tmp/control-new/record-review.json
cat /tmp/control-new/summary.json
0.1.0이 게시된 후에는 pip install expgate jevdecision decisioncontrol
을 통해 사용할 수 있게 될 것입니다. 게시 여부는 여기서 주장하는 것이 아닙니다. 라이브 Jev 호출에는 TYPESAFE_API_KEY
(Jev) 또는 OPENAI_API_KEY가 필요합니다.
(OpenAI). 위에 제시된 예시들은 provider 호출을 수행하지 않으며, 수작업으로 작성되거나 합성된 fixture를 사용합니다. 이는 라이브 모델, 보정(calibration), 채택 또는 프로덕션 증거가 아닙니다. 해시값은 위변조 여부가 아닌 변경 사항을 감지하며, 신원은 호출자가 주장하고 provider 출처는 인증되지 않습니다.
이러한 도구들은 기존 플랫폼을 보완합니다. 이 시스템의 기여 범위는 운영 기능들을 대체하는 것이 아니라, 재검증 가능한 의사결정 증거를 유지하는 것입니다.
| 카테고리 | 일반적인 역할 | 본 저장소의 범위 |
|---|---|---|
| 실험 플랫폼 (GrowthBook, Statsig, Eppo) | 플랫폼에서 실험 통계를 계산하고 관리함 | expgate는 내보내진 집계값(aggregates)을 소비하여 재검증 가능한 승격 의사결정(promotion decision)을 방출합니다 |
| ... | ||
| RELIA는 자체 Python 3.13 환경(재현을 위해 3.13.7로 고정됨)을 사용합니다. | ||
| 이 시스템의 재현 프로토콜은 신선한 실행과 별도의 참조 비교/검토자 증명(reviewer attestations)을 필요로 합니다. 합성된 결과는 실제 상업적 성능, 공정성, 법적 준수 또는 소비자 이익을 확립하지 못합니다. 임계값(Thresholds)은 업계/정부 표준이 아닌 제안된 엔지니어링 게이트이며, 어떠한 기관의 승인도 주장되지 않습니다. | ||
| RELIA의 공식 공개 버전은 주장되지 않습니다. 권리 확보, 비제휴 재현 및 수용은 여전히 인간에 의해 통제됩니다. |
작업 공간 가이드(workspace guide)와 매니페스트는 독립적인 환경, 소유권, CI 검사 및 명령을 등록합니다. Python 3.11+가 python3로 해결되는 경우:
make workspace-list
make workspace-check
make affected BASE=origin/main
...
workspace-check
도구링과 구문, 경계, CI 일관성 및 Markdown 링크를 테스트하고 검사하지만, 모든 행위(behavioral) 스위트를 실행하지는 않습니다. affected-test
준비된 구성 요소 환경이 필요합니다. release-status
후보 메타데이터(Python 3.11+)를 검사합니다. records-demo
실험 기록을 작성하고 검증하며, Jev fixture 재연을 실행한 다음, 로컬 검토 기록을 내보내거나 재연합니다. 이는 절대적으로 새로운 디렉터리를 필요로 하며 유지된 기록 경로를 출력합니다. Makefile을 참조하십시오. RELIA의 경우 make relia-sync를 사용하십시오.
그리고
make relia-test
그리고
make relia-reproduce RELIA_OUT=/abs/new/dir
; 로컬 패스는 릴리스 승인을 의미하지 않습니다.
이전의 src/
연구 워크벤치는 별도의 루트 환경을 가지고 있습니다. 서비스가 제한적인 make test
기준선은 Python 3.11을 사용합니다 (고정된 pandas 1.5.3는 Python 3.12 이상용 wheel이 없습니다); 브로커, 브라우저 및 ML 프로브는 별도의 서비스/환경이 필요합니다. 루트 테스트는 전체 리포지토리를 검증하지 않습니다.
세 개의 작은 패키지는 자체 MIT 라이선스를 가지고 있습니다. 루트 MIT 라이선스는 그 범위 내의 연구 자료를 포괄합니다. RELIA의 라이선스 상태는 현재 권한을 부여하지 않으며, 의도된 Apache-2.0 출판에는 권리 승인이 필요합니다. SECURITY, CONTRIBUTING, CITATION, 기록, 릴리스 및 배포 계획을 참조하십시오.
저자가 작성한 포트폴리오 보고서는 EB-2 NIW 평가를 위한 로컬 확인 및 증거 격차를 기록합니다. 이는 독립적인 인정, 법적 적격성 판정 또는 승인된 RELIA 릴리스가 아닙니다. 뉴스/리뷰어 브리핑, 출판 기록, USCIS/NIST 소스 노트, 출판 프로토콜 및 로컬 증거 요약이 주장 경계를 유지합니다. Fixtures 및 자체 제작 보고서는 라이브 모델 품질, 채택, 생산 영향 또는 국가 중요성을 입증하는 것이 아닙니다; RELIA 재사용은 권리, 복제 및 승인 검토를 받습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GitHub Trending Jupyter Notebook (weekly)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기