관측성 도구인 Weights & Biases Weave를 활용한 Logprobs 추론 루프

OpenAI의 Responses API를 활용한 불확실성 인지 생성 (Uncertainty-Aware Generation)

이 프로젝트는 토큰 수준의 불확실성 지표인 로그 확률 (logprobs)을 활용하여 자기 수정형 생성 루프 (self-correcting generation loops)를 구축함으로써 AI 모델의 추론 능력을 향상시키는 새로운 접근 방식을 보여줍니다. 우리는 명시적인 불확실성 처리가 전용 추론 아키텍처의 성능과 대등하거나 이를 능가할 수 있는지 테스트하기 위해, 이 불확실성 인지 접근 방식을 기존의 추론 모델들과 비교합니다.

핵심 개념 (Core Concept)

현대의 트랜스포머 (Transformers) 모델들은 일반적으로 추론 (inference) 과정에서 가치 있는 불확실성 정보를 버립니다. 이 프로젝트는 특화된 추론 모델을 요구하지 않고도, 버려지는 정보—구체적으로 로그 확률 (logprobs) 및 top-k 대안들—를 활용하여 더 신뢰할 수 있고 정확한 AI 응답을 생성할 수 있는지 탐구합니다.

주요 혁신 (Key Innovation)

우리는 다음과 같은 **불확실성 인지 생성 루프 (uncertainty-aware generation loop)**를 구현합니다:

1. 토큰 수준의 불확실성 (perplexity, 혼란도)을 추적하면서 초기 응답을 생성합니다.
2. 로그 확률 (logprobs)을 사용하여 불확실성이 높은 영역을 자동으로 식별합니다.
3. 불확실성이 임계값을 초과하면 정제 단계 (refinement pass)를 트리거합니다.
4. 모델에게 불확실한 토큰과 그 대안들에 대한 명시적인 정보를 제공합니다.
5. 정제되어 더욱 정확해진 최종 응답을 생성합니다.

테스트 내용

가설 (Hypothesis)

불확실성 지표 (logprobs)와 top-k 대안들은 현재의 트랜스포머 프레임워크가 충분히 활용하지 못하고 있는 가치 있는 추론 신호를 포함하고 있다.

비교 대상

• 불확실성 루프를 적용한 비추론 모델 (예: 당사의 프레임워크를 적용한 gpt-4.1-mini)
• 네이티브 추론 모델 (예: o4-mini) - 참고: 이 모델들은 로그 확률 (logprobs)을 노출하지 않으므로 불확실성 분석이 불가능합니다.

추적 지표

• 토큰 수준의 perplexity (혼란도)
• 평균 로그 확률 (Average log probabilities)
• 응답 정확도
• 토큰 사용량 및 비용
• 생성 시간

기술적 구현 (Technical Implementation)

이 프로젝트는 다음을 사용합니다:

• include=["message.output_text.logprobs"]가 포함된 OpenAI Responses API
• 포괄적인 실험 추적 및 시각화를 위한 Weave by Weights & Biases
• 개선 (Refinement)을 트리거하기 위한 Perplexity 기반 임계값 (Perplexity-based thresholds)
• 모델에 불확실성 영역을 알리기 위한 Top-k 대안 (Top-k alternatives)

왜 Weave인가?

Weave는 다음과 같은 기능을 제공하기 때문에 이 프로젝트에 필수적입니다:

• 지속적인 실험 추적 (Persistent experiment tracking) - 모든 실행, 지표 및 결정이 기록되고 쿼리 가능합니다.
• 계층적 연산 추적 (Hierarchical operation tracing) - 불확실성 루프 (Uncertainty loop)가 어떻게 결정을 내리는지 정확히 확인할 수 있습니다.
• 프로덕션급 관찰 가능성 (Production-ready observability) - 연구 실험을 배포 가능한 제품으로 변환합니다.
• 무료 티어 제공 (Free tier available) - 비용 부담 없이 시작할 수 있습니다.

무료 Weave API 키를 다음에서 받으세요: https://wandb.ai/authorize

Weave를 통해 우리는 다음을 수행할 수 있습니다:

1. 실험 전반에 걸쳐 모든 토큰의 불확실성 지표 (Uncertainty metrics) 추적
2. 개선 결정 및 그 영향을 비교
3. 향후 연구를 위한 불확실성 패턴 데이터셋 구축
4. 전체 계보 추적 (Lineage tracking)을 통한 재현 가능한 실험 생성
5. 불확실성과 답변 품질 사이의 관계 시각화

핵심 구성 요소 (Core Components)

@weave.op()
def answer_difficult_question_with_uncertainty(
    question: str,
...

강화된 불확실성 탐지 (Enhanced Uncertainty Detection)

우리의 구현체는 이제 다음과 같은 여러 상호 보완적인 지표를 사용합니다:

1. Perplexity (혼란도): exp(-mean(log_probabilities)) - 전반적인 불확실성 측정치
2. 토큰 수준 엔트로피 (Token-level Entropy): Top-k 대안 전반에 걸친 -sum(p * log(p))
3. 신뢰도 분포 (Confidence Distribution): 신뢰도 임계값 미만의 토큰 수
4. 문맥 분석 (Contextual Analysis): 주변 문맥과 함께 불확실한 토큰을 표시

시작하기

사전 요구 사항 (Prerequisites)

이 프로젝트에는 Python 3.9+ 호환성을 위한 수정 사항이 포함된 polyfile-weave의 벤더화된 (Vendorized) 버전이 포함되어 있습니다.

가상 환경 설정 (필수)

# 가상 환경 생성
python3 -m venv venv

...

Weave 트래킹 설정 (권장)

Weave는 불확실성 루프 (uncertainty loop)가 어떻게 작동하는지 이해하는 데 필수적인 관측성 (observability)을 제공합니다:

1. 무료 API 키 받기: https://wandb.ai/authorize를 방문하세요.
2. .env 파일에 추가:
   복사

   WANDB_API_KEY=your-api-key-here
   WEAVE_PROJECT=weave-intro-notebook  # 또는 사용자 정의 프로젝트 이름
   

   1

   2

   3
3. 실험 결과 확인: 실행 후, 콘솔에 출력된 URL을 방문하여 다음 항목들을 탐색하세요:
   • 토큰 단위 불확실성 지표 (Token-by-token uncertainty metrics)
   • 개선 결정 근거 (Refinement decision rationale)
   • 비용 및 성능 비교
   • 계층적 연산 (hierarchical operations)이 포함된 전체 대화 추적 (conversation traces)

무료 티어에는 다음이 포함됩니다:

• 무제한 공개 프로젝트
• 100GB 저장 공간
• Weave 기능에 대한 전체 액세스
• 신용카드 불필요

참고:

• 상위 패키지 (upstream package)의 예약어 (reserved keywords)와 관련된 호환성 문제를 해결하기 위해 벤더링된 (vendorized) polyfile-weave 패키지가 포함되어 있습니다.
• 이 스크립트에는 gql 4.0+ 호환성을 활성화하기 위한 Weave 런타임 패치가 포함되어 있습니다 (영구적인 해결책은 우리의 PR을 참조하세요).

로컬 실행 (Python 스크립트)

# 옵션 1: .env 파일 사용 (권장)
# .env 파일을 자신의 OPENAI_API_KEY로 편집하세요
python wb-logprobs.py
...

문제 해결 (Troubleshooting)

Weave 초기화 오류:
Weave를 초기화할 때 TypeError가 발생하는 경우:

# 옵션 1: 호환 가능한 gql 버전 설치
pip install gql==3.4.1

...

추론 모델 호환성 (Reasoning Model Compatibility):
코드는 추론 모델 (reasoning models, o1, o4)과 표준 모델 간의 차이점을 자동으로 처리합니다:

• 추론 모델은 temperature 또는 logprobs 파라미터를 지원하지 않습니다.
• 코드는 모델 유형을 감지하여 그에 따라 API 호출을 조정합니다.
• 추론 모델은 불확실성 지표나 개선 루프를 가질 수 없습니다 (사용 가능한 logprobs가 없음).
• 두 모델 유형 모두 비교 목적으로 성공적으로 실행됩니다.

이 노트북은 Weave 초기화에 실패하더라도 실행되도록 설계되었으므로, 트래킹(tracking) 설정과 관계없이 불확실성(uncertainty) 실험을 진행할 수 있습니다.

노트북 실행하기

jupyter notebook wb-logprobs.ipynb

결과 및 통찰 (Results & Insights)

성능 벤치마크 (Performance Benchmarks)

종합적인 테스트 결과, 다음과 같은 인상적인 결과가 나타났습니다:

비용 효율성 (Cost Efficiency)

• 불확실성 루프 (uncertainty loop)를 적용한 gpt-4.1-mini: o4-mini 추론 모델 비용의 30-43%
• 복잡한 질문당 평균 비용: $0.0007-$0.0011 vs $0.0019-$0.0058

품질 지표 (Quality Metrics)

논쟁적이고 복잡한 질문(AGI 예측, 윤리적 함의, 암호화폐 논쟁 등)에 대한 테스트 결과:

• 추론 모델과 대등한 답변 품질 (Comparable answer quality)
• 명시적인 불확실성 처리를 통한 신뢰도 보정 (confidence calibration) 개선
• 타겟팅된 정교화(refinement)를 통한 환각 (hallucination) 감소

정교화 트리거 (Refinement Triggers)

우리의 다중 지표(multi-metric) 접근 방식은 단일 지표가 놓치는 불확실성을 포착합니다:

• 퍼플렉시티 임계값 (Perplexity threshold) (>1.4)
• 최대 엔트로피 (Maximum entropy) (>1.5)
• 높은 불확실성 토큰 수 (High uncertainty token count) (≥3개 토큰이 50% 미만의 신뢰도)

API 성능 분석 (API Performance Analysis)

중요한 성능 특성을 발견했습니다:

• 단순한 질문: 2-6초 (추론 모델보다 빠름)
• 복잡한 기술적 질문: 54-67초 (API 제한 사항이며, 우리 코드의 문제가 아님)
• 모델이 강력할수록 응답 속도가 느려짐 (gpt-4.1: 99초, gpt-4o: 61초, gpt-4.1-mini: 67초)

주요 발견 사항 (Key Findings)

1. 품질을 유지하면서 추론 모델 대비 2.75배의 비용 절감 달성
2. 지능적 정교화 (Intelligent refinement) - 모든 응답이 아닌, 진정으로 불확실할 때만 트리거됨
3. 풍부한 불확실성 분석 (Rich uncertainty analysis) - 특정 불확실한 토큰 및 대안에 대한 컨텍스트 제공
4. Weave를 통한 계층적 로깅 (Hierarchical logging) - 의사 결정 과정에 대한 심층 분석 가능

향후 로드맵 (Future Roadmap)

1단계: 확장된 불확실성 지표 (Extended Uncertainty Metrics)

• 소프트맥스 전(pre-softmax) 은닉 상태 (hidden states) 통합
• 로우 로짓 (raw logits) 분석 포함
• 다층 불확실성 집계 (multi-layer uncertainty aggregation) 개발

Phase 2: 전체 추론 프레임워크 (Full Inference Framework)

• 프로덕션 준비가 된 (production-ready) 추론 서버 구축
• 실시간 불확실성 모니터링 (uncertainty monitoring)을 포함한 스트리밍 구현
• 작업 복잡도 (task complexity)에 기반한 적응형 임계값 (adaptive thresholds) 생성

Phase 3: 모델 불가지론적 구현 (Model-Agnostic Implementation)

• OpenAI를 넘어 오픈 소스 모델 (open-source models)로 확장
• 불확실성 추출 (uncertainty extraction)을 포함한 로컬 추론 (local inference) 지원
• 불확실성 인지 미세 조정 (uncertainty-aware fine-tuning) 방법론 개발

Phase 4: 고급 응용 분야 (Advanced Applications)

• 다회차 대화 (multi-turn conversation) 불확실성 추적
• 불확실성 가이드 검색 증강 (uncertainty-guided retrieval augmentation)
• 모델 앙상블 (model ensembles) 전반에 걸친 협업적 불확실성 해결

핵심 통찰 (Key Insights)

이것이 중요한 이유

현재의 트랜스포머 (transformer) 아키텍처는 이산적인 토큰 선택 (discrete token selections)을 수행하며, 더 나은 추론을 뒷받침할 수 있는 풍부한 확률 분포 (probability distributions)를 버리고 있습니다. 이러한 불확실성 정보를 포착하고 활용함으로써 우리는 다음과 같은 일을 할 수 있습니다:

1. 환각 (hallucinations) 감소: 모델이 불확실해하는 시점을 식별함으로써 가능
2. 정확도 향상: 타겟팅된 정교화 (refinement)를 통해 가능
3. 비용 절감: 전용 추론 모델 (reasoning models)과 비교하여 가능
4. 투명성 제공: 모델의 확신도 (confidence)에 대한 정보 제공

Weave를 통한 관찰 가능한 AI (Observable AI)의 힘

이 프로젝트는 Weave가 어떻게 실험적인 AI 연구를 프로덕션 준비가 된 시스템으로 변모시키는지 보여줍니다:

연구자를 위해:

• 모든 실험은 자동으로 버전 관리되며 비교 가능함
• 불확실성 패턴이 쿼리 가능한 데이터셋이 됨
• 완전한 실험 재현성 (reproducibility)을 바탕으로 협업 가능
• 문맥을 잃지 않고 이전 결과 위에서 구축 가능

제품 빌더를 위해:

• 프로덕션 환경에서 불확실성 지표 (uncertainty metrics) 모니터링
• 높은 불확실성을 가진 응답에 대한 알림 설정
• 서로 다른 불확실성 임계값에 대한 A/B 테스트 수행
• 비용 대비 성능 (cost-performance) 트레이드오프를 실시간으로 추적

데이터 지속성 (Data Persistence)의 이점:

• 모든 로그 확률 (logprobs) 및 불확실성 지표가 영구적으로 저장됨
• 실제 불확실성 패턴으로부터 학습 데이터셋 구축 가능
• 모델 확신도의 장기적 트렌드 분석 가능
• 새로운 모델을 위한 불확실성 벤치마크 (uncertainty benchmarks) 생성 가능

Transformer 프레임워크의 격차 (The Transformer Framework Gap)

표준적인 Transformer 추론 파이프라인은 다음과 같습니다:

• 토큰 선택 후 로그 확률 (logprobs)을 폐기함
• 생성 과정 중 불확실성 신호 (uncertainty signals)를 무시함
• 자기 수정 메커니즘 (self-correction mechanisms)이 부족함
• 다운스트림 시스템 (downstream systems)에 신뢰도 지표 (confidence metrics)를 제공하지 않음

우리의 접근 방식은 생성 과정에서 불확실성을 일급 시민 (first-class citizen)으로 취급함으로써 이러한 한계점들을 해결합니다.

기술적 세부 사항 (Technical Details)

다음 내용을 포함한 포괄적인 기술적 심층 분석은:

• 수학적 공식 및 유도 (Mathematical formulas and derivations)
• 완전한 구현 세부 사항 (Complete implementation details)
• API 응답 처리 (API response processing)
• 불확실성 보고서 예시 (Example uncertainty reports)
• 성능 분석 (Performance analysis)

TECHNICAL.md를 참조하세요

빠른 개요 (Quick Overview)

Perplexity (혼란도): exp(-mean(log_probabilities)) - 전반적인 불확실성 측정치

Entropy (엔트로피): -sum(p * log(p)) - 토큰 수준의 불확실성 정량화 (uncertainty quantification)

의사 결정 로직 (Decision Logic): 다음 조건 중 하나라도 충족되면 정교화 (Refinement)가 트리거됩니다:

• Perplexity > 1.4 또는
• 최대 엔트로피 (Max entropy) > 1.5 또는
• 신뢰도 (confidence)가 50% 미만인 토큰이 3개 이상일 때

관측 가능성 (Observability): 계층적 @weave.op() 추적을 통해 모든 결정과 지표를 캡처합니다.

기여하기 (Contributing)

여러분의 기여를 환영합니다! 특히 관심 있는 분야는 다음과 같습니다:

• 대안적인 불확실성 지표 (Alternative uncertainty metrics)
• 다중 모델 불확실성 집계 (Multi-model uncertainty aggregation)
• 시각화 개선 (Visualization improvements)
• 불확실성 인지 생성 (uncertainty-aware generation)을 위한 벤치마크 데이터셋

참고 문헌 (References)

• OpenAI Responses API Documentation
• Weave: LLM Application Development Framework
• Information Theory and Neural Networks

라이선스 (License)

MIT License - 자세한 내용은 LICENSE 파일을 참조하세요

감사의 글 (Acknowledgments)

• API를 통해 로그 확률 (logprobs) 접근 권한을 제공한 OpenAI
• Weave 프레임워크를 제공한 Weights & Biases 팀
• 불확실성 정량화 (uncertainty quantification)를 탐구하는 광범위한 AI 연구 커뮤니티

프로젝트 상태: 활발히 개발 중 (1단계: 벤치마크 검증 진행 중 - 2025년 8월)

연락처: andrew@monostate.ai 또는 질문 및 협업 기회를 위해 Issue를 생성해 주세요

인용 (Citation): 본 연구를 연구에 활용하실 경우, 다음과 같이 인용해 주세요:

@software{weave_logprobs_reasoning,
  title = {Uncertainty-Aware Generation with Logprobs},
  author = {Monostate},
...

로드맵 (Roadmap): 향후 단계 및 검증

즉각적인 다음 단계 (2025년 8월)

현재 다음 작업들을 진행 중입니다:

1. 추상적 추론 (Abstract reasoning) 능력을 검증하기 위한 ARC-AGI 벤치마크 실행
2. 논리적 추론 (Logical reasoning) 검증을 위한 LogiQA 2.0 테스트
3. o4-mini와의 수학 문제 해결 능력 비교를 위한 GSM8K 평가
4. Weave 트래킹을 포함한 자동화된 벤치마크 파이프라인 구축

1단계: 벤치마크 검증 (2025년 3분기 - 현재)