우리는 실제 신용카드 약관에서 도출된 수치 추론을 위한 최초의 금융 문해력 벤치마크인 CreditCardQA를 소개합니다. 이 데이터셋은 소비자들이 수수료, 이자 및 결제에 대해 자연스럽게 질문하는 방식을 반영한 1인칭 변형을 포함하여 1,800개의 질문을 포함하고 있습니다. 우리는 Chain-of-Thought (CoT) 및 Program-of-Thought (PoT) 프롬프팅 하에서 다양한 거대 언어 모델(LLM) 및 추론 모델을 평가합니다. 전반적으로 PoT는 특히 기본 추론 능력이 약한 모델에서 일관된 성능 향상을 가져오며, 오픈 소스(open-source)와 폐쇄형 소스(closed-source) 시스템 간의 격차를 좁힙니다. 오류 분석을 통해, 우리는 실패가 산술 문제보다는 금융 규칙의 잘못된 적용, 조건 누락, 그리고 계약 조건에 대한 오해에서 더 많이 발생한다는 것을 보여줍니다. 우리는 더 나아가 질문의 난이도를 분석하여 비교, 조건부 논리(conditional logic), 그리고 금전적 제약이 특히 어렵다는 것을 발견했습니다. 또한, 연체료나 소액 잔액 시나리오와 같은 엣지 케이스(edge cases)에서 오류가 자주 발생하며, 이는 저소득층이나 금융 취약 계층에게 영향을 미칠 가능성이 더 높다는 점을 발견했습니다.