PennyWise 경제 결정: 금융 추론 효율성을 위한 최첨단 LLM 벤치마킹

제가 벤치마크한 내용

저는 현대의 대규모 언어 모델(LLM)이 복잡하고 다변량적인 금융 추론 및 경제 시나리오 분류를 얼마나 효과적으로 처리하는지 평가하기 위해 PennyWise Economic Decisions 벤치마크 과제를 만들었습니다.

이 과제는 실제 재정 의사결정을 테스트하도록 설계된 8가지의 개별 경제 시나리오에 모델을 노출시킵니다. 이 지표는 단순히 올바른 금융 옵션을 선택하는 정확도뿐만 아니라, 모델의 효율성까지 측정합니다. 즉, 어떤 모델이 재정 자동화 파이프라인에 가장 좋은 ROI(투자 수익률)를 제공하는지 알아보기 위해 필요한 최소 비용 대비 토큰 사용량을 계산합니다.

테스트한 모델들

저는 규모가 금융 정밀도와 예산 할당에 미치는 영향을 확인하기 위해 광범위하고 다양한 최첨단 및 소형 모델들을 평가했습니다:

• Google Gemini 3.5 Flash & 2.5 Flash (속도 및 경량 경제 파싱 능력을 관찰하기 위해)
• OpenAI GPT-5.5 & GPT-5.4 mini (최적화된 더 작은 변종에 대한 최첨단 추론을 테스트하기 위해)
• Anthropic Claude Sonnet 4.6 & Claude Opus 4.6 (엄격한 규칙 준수 및 구조화된 출력 제약을 평가하기 위해)
• xAI Grok 4.6
• DeepSeek R1 (특화된 추론 모델이 금융 사고의 흐름(financial chains of thought)을 어떻게 파싱하는지 평가하기 위해)
• Qwen3 235B (규모에서 오픈 웨이트 성능을 확인하기 위해)

발견한 점들

결과는 매우 흥미로웠으며, 특히 고도로 최적화된 현대 아키텍처의 뛰어난 능력을 강조했습니다:

• 비용 대비 완벽한 점수: Gemini 3.5 Flash는 모든 지표에서 결함 없이 수행되었습니다. 금융 논리를 손쉽게 처리하며 PennyWise Score 100.0과 평균 효율성 등급 1.0을 기록했습니다.
• 제로 웨이스트 효율성: 가장 놀라운 통찰은 토큰 사용의 절대적인 최적화였습니다. Gemini 3.5 Flash는 전체 테스트 스위트를 완료하는 데 정확히 $0.035를 지출했으며, 총 폐기 비용 $0을 기록하여 필요한 이론적 최소 지출과 일치했습니다.
• 향후 계획: 이 벤치마크의 향후 반복 작업을 위해, 상충되는 시장 지표나 복잡한 JSON 스키마 제약 조건과 같은 고도로 적대적인 데이터 입력을 도입하여 이러한 최첨단 모델들의 추론 한계를 더욱 밀어붙들 계획입니다.

나의 벤치마크

전체 구현 세부 정보, 모델 점수 로그 및 실시간 실행 리더보드는 Kaggle에서 바로 확인할 수 있습니다:
👉 PennyWise 경제 결정 과제 페이지

참고: 이 전체 벤치마크 스위트는 iPad의 Chrome 브라우저 탭 내부에서 클라우드 기반 Kaggle Notebook을 사용하여 성공적으로 구축, 구성 및 실행되었습니다! [

](https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2F99e1v82bks2msvq7sybu.jpg