기업 재무 데이터는 로컬 LLM을 사용하고 싶다. 로컬 LLM에게 재무 분석 문제를 풀어보게 했다.

서론: AI에게 재무 분석 문제를 풀어보게 해봤습니다

지난번에는 가상의 기업 94개의 분개장과 월별 재무제표를 정리한 합성 데이터셋인 “SyntheticMonthlyFinancials-JP”를 공개했습니다.

이 데이터셋에는 재무 분석 계산 문제가 470문제 포함되어 있습니다.

이번에는 그중 100문제를 골라 몇몇 AI 모델에게 풀어보게 해봤습니다.

어떻게 시도했나

문제

자기자본비율, ROE, 매출채권회전율, 영업이익률, 자금흐름 예측 등 재무 분석에서 자주 사용되는 지표를 계산하는 문제입니다. 예를 들어 다음과 같은 문제가 있습니다 (실제 문제를 약간 변형한 이미지입니다).

회사의 안전성을 보는 문제

2026년 6월 말의 자기자본비율을 구해주세요. 분모는 BS의 자산총계, 분자는 순자산의부합계를 사용하고, 소수점 둘째 자리까지 답해주세요. 정답: 13,240,500 ÷ 23,615,000 × 100 =

56.07%

돈 회수 속도를 보는 문제

2026년 4월~6월의 매출채권회전율을 “기간매출액 ÷ 평균매출채권”으로 구해주세요. 평균매출채권은 기초(2026년 3월 말)와 6월 말의 평균으로 합니다. 연환산은 하지 않습니다. 정답: 18,600,000 ÷ ((5,800,000 + 6,600,000) ÷ 2) =

3.00회

이익 목표에서 역산하는 문제

2026년 9월의 PL을 바탕으로, 매출원가는 전액 변동비, 판관비는 전액 고정비로 가정합니다. 변동비율이 바뀌지 않을 때, 월 영업이익을 100만 엔으로 만들기 위해 필요한 매출액을 구해주세요 (엔 미만은 반올림). 정답: (판관비 14,500,000 + 1,000,000) ÷ (1 − 매출원가 12,000,000 ÷ 매출액 30,000,000) =

25,833,333엔

자금흐름을 예측하는 문제

2027년 4월6월의 3개월을 예측합니다. 영업현금흐로는 2027년 1월3월의 월평균과 같은 금액이 매달 지속되고, 3개월 동안 설비투자가 50만 엔 발생한다고 가정합니다. 2027년 3월 말의 현금예치금에서, 3개월 후의 현금예치금을 구해주세요. 마이너스가 되면 그것이 자금부족액입니다. 정답: 8,450,000 + (−3,360,000 ÷ 3) × 3 − 500,000 =

4,590,000엔

풀이 방식과 채점

AI에게는 문제문과 그 회사의 재무제표(CSV 파일)를 그대로 전달했습니다.

답변은 “수치”와 “단위”로 받았습니다.

채점은 다소 엄격합니다. 문제에서 지정한 자릿수로 반올림한 후, 수치와 단위가 완전히 일치했을 때만 정답으로 처리했습니다. 1엔이나 0.01%의 차이에도 오답입니다.

사용한 AI 모델

thinking은 답변하기 전에 중간 과정을 작성하고, 신중하게 생각한 후 답하는 기능 같은 것입니다.

검증1: 모델에 따라 정답률이 얼마나 다른가?

결과는 다음과 같습니다.

이번에는 다루기 쉬운 가격대의 모델로 검증했습니다.

• 성능 최상위는 Gemini 3.8 Flash와 로컬 모델인 Qwen3.8 27B입니다. qwen은 로컬임에도 불구하고 성능이 좋아서 대단합니다.
• 고속으로 가볍게 작동하는 Gemini 3.5 Flash Lite는 정답률 약 29%였습니다.
• 기본적인 계산만 하는 문제는 대부분의 모델이 정답했습니다.

상위 모델들은 어디서 틀렸나?

95%를 기록한 두 모델도 각각 5문제씩 틀렸는데, 다음과 같은 유형이었습니다.

마지막 한 자릿수만 다름: “정답 24,146,099엔에 대해 24,146,100엔”, “정답 41.37%에 대해 41.38%” 등

플러스와 마이너스를 혼동: 마이너스 약 1,441만 엔의 예측을 플러스로 답함

계산 범위 착오: 정답의 약 4배 값을 답함 (계산에 사용하는 기간 설정 방식을 잘못한 것으로 보임)

Gemini 2.5 Flash를 사용하여 이 기능의 유무에 따른 성능을 비교했습니다.

계산 도구를 사용하게 하는 것만으로도 정답률이 22포인트 상승했습니다.

몇 달 치의 숫자를 더하는 문제나, 미래의 숫자를 예측하는 문제에서는 개선되는 모습을 보였습니다.

출력량이 늘어나는 만큼 비용도 증가한다

한편, AI가 출력하는 토큰 양은 약 4배로 늘어났습니다.

계산 도구 자체에 추가 요금은 발생하지 않지만, AI가 작성한 프로그램이나 실행 결과 역시 토큰으로 계산되어 요금 대상이 됩니다.

즉, 계산 도구를 사용하면 정답률은 높아지지만, 그만큼 건당 비용도 증가한다는 의미입니다.

검증 3: 로컬 모델은 어느 정도까지 활용할 수 있을까?

이번에는 개인적으로 선호하는 두 가지 로컬 모델로 테스트했습니다.

Qwen3.8 27B는 Gemini 3.8 Flash와 함께 95%를 기록했습니다.

로컬 모델로도 재무 분석에 필요한 계산 문제 정도라면 상당히 정확하게 풀 수 있다는 것을 알 수 있습니다.

Gemma4 26B는 60%였지만, 100문제 중 28문제가 생각하는 과정이 너무 길어져 답변 글자 수 제한에 도달했습니다. 충분히 사고한 72문제로 한정하면 약 8할의 정답률을 보였습니다.

재무 데이터를 다룬다면, 로컬 환경이 안전하다

로컬 모델의 가장 큰 장점은 데이터가 외부로 유출되지 않는다는 점입니다. (물론 처리 방식에 따라 다릅니다.)

클라우드 AI를 사용할 때는 질문과 함께 전달한 데이터가 서비스 제공자의 서버로 전송됩니다.

전달된 데이터가 어떻게 처리되는지는 서비스의 이용 약관이나 회사 사정에 달려 있습니다.

재무 데이터에는 매출, 이익, 자금 흐름(자금조달), 거래처별 거래액 등 외부에 공개하고 싶지 않은 정보가 많이 포함되어 있을 것입니다.

로컬 모델이라면 이러한 데이터를 외부로 전송하지 않고도 AI 분석이 가능합니다.

이번 Qwen3.8 27B처럼, 로컬 모델에서도 높은 정답률이 나온다면 '기밀성이 높은 재무 데이터는 로컬 모델로 처리한다'는 활용 분리(使い分け) 역시 충분히 현실화되었다고 느꼈습니다.

요약 (まとめ)

로컬 모델인 Qwen3.8 27B는 gemini-3.8-flash와 비슷한 수준의 성능을 보여주었으며, 재무 데이터를 다루는 데 있어 로컬 모델이 상당히 현실적인 대안이 되었다고 느꼈습니다.

또한, 이번에는 계산 문제만 검증했지만, 재무 분석은 단순한 계산뿐 아니라 좀 더 폭넓은 검증을 시도해보고 싶습니다.

토론 (Discussion)