저는 단순히 채팅 기능이 아닌 실제 금융 운영 업무에 소규모 모델들을 테스트해 보았습니다. 이번에는 오픈소스 청구 시스템인 kill bill의 지급액 검토 작업이었습니다. 설정은 매우 간단했습니다. 처리 대기 중인 10개의 지급 건(payouts)이 있었고, 모델은 각 건에 대해 '출금 승인(release)', '보류(hold)', 또는 '차단(block)'을 결정해야 했습니다. 이 모든 10개 건에 대한 판단은 약 4.6초가 소요되었습니다. 그 결과, 4건은 출금 승인되었고($5.2k까지 카드 정산 완료 시점까지), 3건은 보류되었으며, 3건은 차단되었습니다(약 $11k). 이 중 차단된 건들은 하나는 차지백(chargeback)이었고 나머지 두 개는 계정 탈취(account takeovers) 사례였는데, 제가 정확히 잡아내기를 기대했던 부분이었습니다. 또한 모델이 각 계정에 왜 그렇게 결정했는지 메모를 남겨주는데, 솔직히 이 부분이 가장 마음에 들었습니다. 다음에 누가 검토하더라도 주변을 뒤질 필요가 없습니다. 제 정답지 대비 10점 만점에 10점입니다.
다음으로 동일한 케이스들을 세 가지 모델에 각각 3회씩 실행해 보았습니다: DREX, GPT-6 Luna, Claude Sonnet 5.5. 결과는 다음과 같습니다:
| 모델 | 정답/총 개수 | 10개 지급 건당 비용 | 시간 |
|---|
| DREX | 30/30 | $0.00018 | 0.9초 |
| GPT-6 Luna | 30/30 | $0.0008 | 1.5초 |
| Claude Sonnet 5.5 | 30/30 | $0.019 | 3.6초 |
정확도는 동일했습니다. 세 모델 모두 완벽하게 처리해냈습니다. 차이점은 비용입니다. Sonnet은 완전히 같은 답변을 내놓았음에도 불구하고 DREX보다 약 106배 더 비쌌고, 속도도 느렸습니다. (0.9초는 순수 모델 실행 시간이며, 영상에 나온 4.6초에는 kill bill 업데이트 시간이 포함되어 있습니다.)
제 추측으로는 이러한 유형의 작업은 차지백 이력(chargeback history), 최근 계정 변경 여부, 카드 정산 완료 여부와 같은 구조화된 신호들(structured signals)이 주를 이루기 때문에, 반드시 최첨단 모델(frontier model)이 필요하지 않은 것 같습니다. 저는 대규모 모델들이 오히려 신호들이 서로 모순되는 더 복잡한 케이스에서 우위를 점할 것이라고 예상합니다.
과거에는 이 방식으로 대출 결정도 했었고, ERPNext에서 은행 계정 조정(bank reconciliation)을 하는 작업도 진행했습니다. 다음 글은 /u/m4rkGS 님이 작성해주셨습니다 [링크] [댓글]
