멀티 에이전트 AI를 활용한 개방형 및 검증 가능한 증거 포트폴리오 구축
요약
멀티 에이전트 AI 시스템을 활용하여 의료 기록에 대한 개방형 및 검증 가능한 연구 포트폴리오를 구축하는 방법론을 소개합니다. 독립적 분석, 적대적 비판, 종합 과정을 통해 AI의 답변 신뢰성을 높이고 반증 가능한 연구 결과물을 생성하는 프로세스를 다룹니다.
핵심 포인트
- 독립적 분석과 적대적 비판을 통한 다중 모델 검증 프로세스 구축
- 발견 사항과 해석의 분리 및 반증 가능한 가설 설정
- 다중 모델의 합의가 반드시 진실은 아니라는 엄격한 규칙 적용
- AI의 역할을 진단이나 처방이 아닌 연구 보조로 제한
콘텐츠 크리에이터 Drift0r는 자신의 의료 기록을 공개하고 인터넷 사용자들에게 도움을 요청했습니다. 그의 허가를 받아, 우리는 여러 AI 시스템을 사용하여 개방형 연구 포트폴리오를 구축했습니다 — 독립적인 분석 (independent analyses), 적대적 비판 (adversarial critique), 귀무 기저선 (null baseline), 그리고 명시적인 "이것이 설명하지 못하는 것"을 포함합니다. 진단 결과는 0건입니다. 임상의의 검토를 거치지 않았습니다. 이 프로젝트는 도전받을 것을 목적으로 합니다. 사이트: https://drift0rresearch.org/ 저장소: https://github.com/justinwojo/drift0r-research-portfolio
이것이 존재하는 이유
대부분의 "AI가 의료 기록을 살펴본다"는 콘텐츠는 자신감 있게 들리는 답변에서 멈춥니다. 우리는 그 반대를 원했습니다: 다음과 같은 버전 관리된 연구 결과물(research artifact)을 만드는 것입니다:
- 발견 사항(findings)과 해석(interpretation)의 분리
- 가설이 반증(counterevidence)을 견뎌내야 함
- 다중 모델 간의 합의를 임상적 검증으로 취급하지 않음
- 열린 질문은 열린 상태로 유지함
AI 프로세스 (우리가 실제로 수행한 작업)
사용된 모델: Claude (Opus 5), Codex (GPT 5.6 Sol), 그리고 Grok 4.5 (역할은 프로젝트의 AI 방법론 공개 문서에 기록됨).
대략적인 라운드 구조:
- 독립적 분석 (Independent analysis) — 각 모델은 다른 모델의 결론을 먼저 보지 않고 공개된 자료를 검토했습니다.
- 적대적 비판 (Adversarial critique) — 각 모델은 나타나는 모델을 공격했습니다: 과잉 주장(overclaim), 반증 누락, 약한 인용, 붕괴된 테스트 채널 등.
- 종합 (Synthesis) — 각 모델이 무엇을 설명할 수 있고 무엇을 설명할 수 없는지를 포함하여 작동 가능한 가설로 병합합니다.
- 출판 규율 (Publication discipline) — 감사된 주장(audited claims), 수정 로그, 공개 허용 목록(public allowlist), 구조화된 기여 경로.
우리는 또한 "하나의 희귀한 통합 요인이 모든 것을 설명한다"가 기본값이 되지 않도록 귀무 / 다중 독립 기저선 (H-NULL)을 강제했습니다.
우리가 강제하려고 시도한 엄격한 규칙들:
- AI는 정리, 제안 및 모순을 표시할 수 있음
- AI는 진단, 처방, 값/인용 생성 또는 의료 검토자(Medical reviewer)로서 역할을 수행해서는 안 됨
- 전문 LDT(Laboratory Developed Test) 신호는 독립적/상업적 결과와 분리되어 유지됨 (단일한 "양성"으로 병합되지 않음)
- 인용 횟수는 증거 가중치가 아님
- 다중 모델의 합의(Multi-model agreement)가 곧 진실은 아님
명시적 비주장 사항:
- 의료 조언이 아님
- 진단 또는 치료 계획이 아님
- 임상의 검토를 거치지 않음
- 논란이 되는 전문 테스트에 대한 독립적인 실험실 확인이 아님
- 환자의 동의를 얻었으나, 동의가 곧 보증을 의미하지는 않음
- 면허를 소지한 임상의가 기본 기록을 확인해야 함
사랑과 피드백, 비판, 의견 및 그 사이의 무엇이든 환영합니다. 이 모든 정보와 게시된 웹사이트는 단순히 임상 검토를 위한 정보 수집을 돕기 위한 출처일 뿐입니다.
/u/JWojoMojo가 r/OpenAI에 제출함 [link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/OpenAI Codex (search)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기