AI 연구 보고서는 유창하더라도 검토하기 어려울 수 있습니다. 독자는 결론을 보지만, 어떤 사실이 이를 뒷받침하는지, 어떤 가정이 이를 이끌었는지, 또는 무엇이 이를 틀리게 만들 수 있는지 알 수 없습니다.
저는 Future Edge Group의 설립자이자 Open Agentic Investment Research Platform인 iPulse AI를 구축한 Russlan Ramdowar입니다. 이것은 연구를 검사 가능하게 만드는 방법에 대한 디자인 노트입니다. 아래 예시는 모든 분야에서 우리 프로덕션 시스템에 구현되었다는 주장이 아니라, 설명적인 디자인 패턴들입니다.
검토 계약(review contract)으로 시작하기
에이전트를 선택하거나 프롬프트를 작성하기 전에, 검토자가 무엇을 봐야 하는지 정의해야 합니다. 간결한 연구 뷰는 다음 사항들을 구별해야 합니다:
- 관찰 (Observations): 출처가 실제로 말하는 것, 그리고 그 타임스탬프와 함께.
- 해석 (Interpretations): 시스템이 그러한 관찰로부터 추론하는 것.
- 가정 (Assumptions): 해석이 성립하기 위해 필요한 조건들.
- 시나리오 (Scenarios): 단 하나의 확신에 찬 예측보다는 그럴듯한 경로들.
- 제한 사항 (Limitations): 누락된 데이터, 오래된 증거, 그리고 해결되지 않은 불일치.
이러한 구별은 산문(prose)이 이들을 혼합하는 경향이 있기 때문에 중요합니다. “수요가 증가할 수 있다”는 추론입니다. 보고된 주문 수량은 관찰입니다. 이 둘을 분리하면 근본적인 증거를 잃지 않으면서 주장에 이의를 제기하기가 더 쉬워집니다.
증거에 정체성 부여하기 (Give evidence an identity)
URL만으로는 종종 불충분합니다. 페이지는 변경될 수 있으며, 그 출판 날짜는 설명된 기간과 다를 수 있습니다. 제안되는 증거 기록은 다음과 같을 수 있습니다:
{
"evidence_id": "example-001",
"source_url": "https://example.org/report",
...
}
유용한 속성은 추적 가능성(traceability)입니다. 주장이 특정 기록을 가리키고, 그 기록은 이를 평가하는 데 필요한 맥락을 노출합니다. 실제 구현에서는 스키마가 데이터 출처의 권한 및 보존 규칙도 반영해야 합니다.
요약하기 전에 불일치에 대한 내용을 보존하기
독립 자문가(Independent advisor)의 관점은 그 차이가 눈에 띄게 유지될 때만 가치가 있습니다. 여러 에이전트가 같은 결론에 동의한다고 해서 그 결론이 정확하다는 것을 입증하지 못합니다. 그들은 동일한 누락된 입력값이나 가정(assumption)을 공유할 수 있기 때문입니다.
검토 인터페이스(review interface)는 결론과 함께 가장 강력하게 반대되는 주장, 각 관점이 의존하는 증거(evidence), 그리고 차이를 설명하는 가정을 표시할 수 있습니다. 이 경우 합의(Consensus)는 증거를 대체하는 것이 아니라 기록된 다양한 관점들의 요약이 됩니다.
이는 또한 테스트하기 유용한 실패 모드(failure mode)이기도 합니다. 만약 한 자문가가 중요한 제한점(material limitation)을 제기했을 때, 최종 요약본에서 그것이 실수로 가려지지는 않는가? 검토자는 보고서에서 그 제한점을 되찾아올 수 있어야 합니다.
예측(forecast)은 날짜가 찍힌 아티팩트처럼 다루기
예측은 원래의 기간(horizon), 입력값, 그리고 가정이 검사 가능하게 유지될 때 평가하기가 더 쉽습니다. 관점을 업데이트할 때는 이전 버전이 무엇을 말했는지 보존하면서 새로운 날짜가 찍힌 버전을 생성해야 합니다. 그렇지 않으면 예측의 이력이 조용히 다시 쓰인 설명들의 이력이 되어버릴 수 있습니다.
평가(Evaluation)는 또한 무엇이 실패했는지 보여줘야 합니다. 성공적인 예시만을 선택하는 것은 독자들에게 시스템의 한계를 이해할 만한 근거를 거의 제공하지 못합니다. 관련 질문은 관점이 생성되었을 당시 사람이 알 수 있었던 것이 무엇인가 하는 것입니다.
사용자 경험에 개방성(openness) 담기
iPulse AI에게 '개방적'이라는 것은 연구, 방법론, 증거, 과거 예측, 평가, 제한점 및 교훈 등을 검사 가능하게 만드는 것을 의미합니다. 이것이 자동으로 모든 소스 코드, 독점 데이터 또는 프로덕션 인프라가 오픈 소스라는 것을 의미하지는 않습니다.
이 플랫폼은 순위가 매겨진 최고 추천(Top Picks), 자산별 예측 경로(asset-level forecast paths), 독립 AI 자문 보고서, 위험 및 동인 요약(risk and driver summaries), 그리고 투명한 합의 점수화(transparent consensus scoring)를 한데 모읍니다. 그 목적은 수익을 보장하거나 자율 거래를 수행하는 것이 아니라, 연구와 인간의 의사결정을 지원하는 것입니다.
AI 연구 제품을 구축하는 모든 사람에게 실질적인 시작점은 명확한 주장(claim), 그 증거(evidence), 가정(assumptions), 경쟁적 관점(competing view), 그리고 기한이 정해진 한계(dated limitation)를 갖춘 보고서 하나입니다. 독자가 이 조각들을 검토할 수 없다면, 에이전트를 추가하는 것이 리뷰 문제를 해결하지 못할 것입니다.
AI 지원 공개: 본 문서는 승인된 iPulse AI 포지셔닝 및 디자인 원칙에 따라 AI의 도움을 받아 작성되었습니다. 이 스키마는 생산 문서가 아닌 예시적인 제안입니다.