SB Intuitions의 국산 LLM인 「Sarashina」가 2026-10-13에 무료 베타로 API를 통해 사용 가능해졌기에, Anthropic의 Claude Opus 5.5와 일본어 능력을 비교했습니다. 동일한 40문항을 양쪽 API에 제시하고, GPT에게 모델명을 숨긴 채 판정하게 했습니다. 실용적으로 가장 유용할 만한 '읽기 어려운 문장을 읽기 쉽게 고쳐쓰기'는 40문항과는 별도로 10문항을 만들고, 저 자신도 블라인드 테스트로 가독성을 판정했습니다.
결론
- 고쳐쓰기는 Opus가 의미를 유지하면서 읽기 쉽게 만든 반면, Sarashina는 읽기 쉽게 작성할 수는 있었으나 의미가 벗어나기 쉬운 결과였습니다. 10문항 중 2회 판정에서 '의미가 유지되었다'고 판단된 것은 Opus가 7문항, Sarashina가 1문항이었습니다.
- 제가 가독성만을 블라인드 테스트로 판정한 7문항에서는 Sarashina를 읽기 좋다고 한 것이 5문항, Opus가 1문항, 차이가 없는 것이 1문항이었습니다. GPT는 그 7문항 모두에서 Sarashina의 고쳐쓰기를 '의미가 바뀌었다'고 판정했습니다. 가독성의 인상만으로 선택할 경우, 의미가 벗어난 고쳐쓰기를 선택하기 쉽다는 것입니다.
- 경어(존댓말) 사용, 자유 작문, 요약, 뉘앙스 파악은 16문항 모두 Opus의 승리였습니다.
- 한자 읽기는 Opus가 13/14, Sarashina가 11/14였습니다. Sarashina는 '生物', '市場', '大事'처럼 문맥에 따라 읽기가 바뀌는 단어에서 3문항을 놓쳤습니다.
- 비교한 것은 Anthropic의 최상위 모델에 가까운 모델과, Sarashina의 API로 사용 가능한 mini 버전이었습니다. Sarashina의 최상위 모델과의 비교는 아닙니다.
시도한 조건
| Sarashina3 mini | Claude Opus 5.5 | |
|---|---|
| 사용법 | Sarashina의 API (sarashina3-mini) | Anthropic의 API (claude-opus-5-5) |
| 시스템 프롬프트 | 없음 | 없음 |
| 샘플링 | 기본값 (temperature 0.7, top_p 0.9) | 기본값 (지정 불가) |
| thinking | 없음 | 끊을 수 없어서 effort를 가장 낮은 low로 설정 |
| 출력 상한 | 8,000 토큰 | 8,000 토큰 (thinking 포함) |
측정은 2026-10-18입니다. temperature를 맞추는 것과 Opus의 thinking을 끊는 것은 Opus 5.5 API가 허용하지 않아 할 수 없었습니다. temperature를 보내면 'temperature is deprecated for this model.'이, thinking을 disabled로 하면 '
・측정일에 OpenAI 모델 목록에서 가장 최신 주력 모델에, 모델명을 가린 두 개의 답변을 보여 비교하게 한다. 답변의 좌우를 바꿔서 다시 한번 판정하게 하고, 2회로 승자가 같으면 그 승리, 다르면 무승부로 처리한다.
- 재작성은 답변마다 '원문 의미가 변하지 않았는지, 정보가 누락되지 않았는지'를 먼저 판정하게 한다. 의미가 바뀐 답변은 읽기 쉬워도 승자로 인정하지 않는다.
- 한자어의 읽기는 정답과 대조하여 기계로 채점한다.
- 별도로 만든 재작성 10문제 중 7문제는 내가 블라인드 상태에서 가독성만 판정한다. 의미의 정확성은 판정하지 않는다.
Opus를 판정에 사용하지 않은 것은, 자신의 출력을 편애하는 편향을 피하기 위해서입니다.
공개된 수치
양사 모두 자사 모델의 평가값을 내놓고 있지만, 동일한 조건으로 두 개를 나란히 놓은 평가는 찾아볼 수 없었습니다.
Sarashina 공식 문서에는 Sarashina3 mini의 값으로 ELYZA-tasks-100이 4.18, 일본의 문화나 상식을 묻는 JamC-QA가 0.82 등이 실려 있습니다. 이 페이지에 타사 모델과의 비교는 없습니다.
Anthropic의 Claude Opus 5.5 시스템 카드는 다국어 지식 문제 GMMLU (42개 언어 평균)를 94.3%로 하고 있습니다. 일본어만 단독으로 된 값은 본문에 없습니다.
평가 종류도 조건도 다르기 때문에, 이 두 수치만으로는 우열을 가릴 수 없습니다. 일본어 문장을 다루는 능력을 같은 문제에서 보고 싶었기 때문에, 제가 직접 측정하기로 했습니다.
재작성 결과
| 문제 | 소재 | Sarashina의 의미 (2회) | Opus의 의미 (2회) | GPT의 결과 |
|---|
| R01 | 소비자계약법 10조 | × × | ○ ○ | Opus |
| ... | | | | |
| ○는 '의미가 보존됨', ×는 '의미가 변했다/정보가 누락됨'이라는 GPT의 판정입니다. 전 문제와 출력은 outputs.md에 있습니다. | | | | |
Sarashina의 재작성은 10문제 중 9문제에서 최소 1회 '의미가 변했다'고 판정되었습니다. 법령이나 판결문처럼 조건이나 범위를 정확하게 구분하여 말하는 문장에서 특히 틀어집니다.
R03 (개인정보보호법)에서는 GPT가 Sarashina의 재작성을 2회 모두 '의미가 변했다'고 판정했습니다. 이유는 다음 3가지입니다.
- '개인데이터'를 '그 정보'로 바꿔서, 금지 대상이 개인정보 전체로 확대되었기 때문입니다.
- 예외 1호의 '법령에 근거하는 경우'를 '법률로 정해진 때'로 했기 때문에, 정령이나 성령에 근거한 경우가 빠졌습니다.
- 본인의 동의를 '사전에' 얻는 시기가 사라졌기 때문입니다.
이 모두 법률 문서에서는 의미가 변하는 바꿔 쓰기입니다.
R06은 제가 만든 사내 통지문으로, '영수증 원본 첨부가 없는 것에 대해서는, 부득이한 사정이 있다고 소속장이 인정한 경우를 제외하고, 접수하지 않는 것이라고는 하지 않으나, 처리가 다음 달 이후가 될 수 있다'라는 이중 부정 구조를 넣어 두었습니다. 원본이 없어도 접수는 하지만 처리가 늦어질 수 있다는 의미입니다. 양 모델 모두 서두에 '원본을 반드시 첨부해 주십시오'라며, 원래 문장에 없는 의무를 추가했습니다. Sarashina는 나아가 소속장이 인정한 경우에만 원본 없이 받는다는 역의 조건으로 바꿔 쓰고 있습니다.
R10은 Sarashina가 이긴 문제입니다. Opus는 목록 형태로 짧게 요약했고, GPT는 가독성 면에서는 Opus를 높게 평가했습니다. 반면 Opus는 원래의 '가능한 분께서는 지참해 주시면 감사하겠습니다'를 '가지고 계신 분은 가능한 한 직접 가져와 주세요'로, 비 오는 날의 '대응' 연락을 '실시할지 여부' 연락으로 바꾸었고, GPT는 이 2개 점에서 의미가 변했다고 판정했습니다.
재작성을 맡길 때는 가독성뿐만 아니라, 조건·범위·부정이 원래 그대로인지 확인할 필요가 있습니다. 이번 결과에서는, 그 확인 과정에서 걸리는 횟수가 Sarashina 쪽이 훨씬 많았습니다.
나의 블라인드 판정
제가 읽기 쉽다고 판단한 재작성은, 대부분 GPT가 '의미가 변했다'고 판정한 Sarashina의 것이었습니다.
판단에는 40문항 외에 별도로 만든 수정(rewrite) 문제 10개(H01H10)를 사용했습니다. 세부 구성은 법령 3개, 최고재판소 판결 2개, 자체 제작의 난해한 문장 5개로, R01R10과는 다른 조문/판결/주제입니다. 지시문과 두 모델에 제시하는 방식은 동일합니다. 응답은 서두나 보충 설명까지 가공하지 않고 전문을 그대로 실어, 모델명을 숨기고 A와 B로 나열했습니다. 판단한 것은 제가 선택한 7문제였고, 본 것은 가독성만입니다. 의미의 정확성은 판단하지 않았습니다.
처음에는 R01~R10으로 판단했지만, 구별하기 어렵게 하려고 Markdown 제목이나 굵은 글씨를 제거하자, Opus의 수정 뒤에 붙은 '보충'이 어디에 연결되는지 파악할 수 없게 되어 그 판단은 무효로 하고 문제부터 다시 만들었습니다.
| 문제 | 소재 | 제가 가독성이 높다고 본 모델 | GPT의 가독성 (2회) | Sarashina의 의미 (2회) | Opus의 의미 (2회) | GPT의 결과 |
|---|
| H01 | 민법 95조 | Sarashina | Opus / Opus | × × | ○ ○ | Opus |
| ... | | | | | | |
| GPT 열의 보는 법은 R01~R10 표와 같습니다. H07은 '문장으로는 A (Sarashina)로 충분하지만, 전단지라면 B (Opus) 구성이 더 좋다'는 판단이었으므로, 차이가 없다고 계산했습니다. 전체 문제와 출력은 outputs/rewrite_h.md에 있습니다. | | | | | | |
판단한 7문제 중, 제가 가독성이 높다고 본 것은 Sarashina 5개, Opus 1개, 차이 없음 1개였습니다. GPT는 가독성에서도 6문제에서 두 번 모두 Opus를 선택했고, H05만 각각 한 번씩으로 나뉘었습니다. 의미 판단에서는 Sarashina가 10문제 중 9문제에서 두 번 모두 '의미가 바뀌었다'고 했으며, 두 번 모두 유지된 것은 H10뿐입니다.
H01 (민법 95조의 착오)의 경우, Sarashina는 '의사표시에 대응하는 의사를 결여한 착오'를 '자신이 정말 무엇을 하고 싶은지 잘 모르고 있었던 경우'라고 작성했습니다. 말한 것과 본심의 차이가 본심이 결정되지 않은 상태로 바뀌었다고 GPT는 지적하고 있습니다. 읽기 쉬운 바꿔 쓰기는 하지만, 법률 문장으로는 의미가 바뀝니다.
읽기 쉽다고 느낀 수정이 의미를 유지하는 것은 아닙니다. 수정을 가독성으로 선택할 때는 원래의 조건이나 범위가 남아있는지 별도로 확인해야 합니다.
경어/자유 작문/요약/뉘앙스 결과
| 종류 | 문제 수 | Sarashina 승리 | Opus 승리 | 비김 |
|---|
| 경어 | 4 | 0 | 4 | 0 |
| ... | | | | |
| 전체 문제와 출력은 outputs.md에 있습니다. | | | | |
차이가 명확했던 것은, 접수처가 외부 전화에 '사토 부장은 외출 중이며 오후 3시에 복귀한다'고 답하는 문제(K03)입니다.
Sarashina3 mini의 출력 (발췌):
사토 부장님이시군요. 아쉽게도 지금 외출 중이셔서, 오후 3시에 회사에 돌아올 예정입니다.
용건을 받아 적어 드릴까요?
Claude Opus 5.5의 출력 (발췌):
죄송합니다. 아쉽게도 사토는 지금 외출 중이며, 오후 3시에 복귀할 예정입니다.
외부 사람에게 자사 상사를 말할 때는 직책을 붙이지 않고 '사토는'이라고 합니다. Sarashina는 '사토 부장'이라고 불렀고, GPT도 이 점을 이유로 Opus를 승자로 했습니다. Opus는 전화 통화 전체를 대본 형태로 작성하고, 마지막에 '외부 사람에게 자사 상사를 언급하지 않는다'라는 해설까지 덧붙였습니다.
요약에서는 (S03), Sarashina는 '꿈십야(夢十夜)' 제1야를 94자로 요약하며 여자를 묻은 장면이나 백 년 후에 만날 약속을 빠뜨렸습니다. GPT는 Sarashina의 '환상과 현실이 교차한다'라는 문장을 원문의 사건이 아니라 독자적인 평가라고 지적하고 있습니다.
한자의 읽기 결과
| 문제 | 정답 | Sarashina3 mini | Claude Opus 5.5 |
|---|
| 貸し借りを【相殺】して | そうさい | ○ | ○ |
| ... | | | |
| 정답은 Opus가 13/14, Sarashina가 11/14입니다. 각 문제의 출력은 outputs/reading.md에 있습니다. 단독으로 어려운 단어 8 문제는 Opus가 「蔑ろ」를 「なおざり」로 답한 1 문제를 제외하고는 둘 다 정답했습니다. 차이가 난 것은 문맥으로 읽기가 결정되는 단어였으며, Sarashina는 「お早めに」「魚を買った」「放っておくと」라는 단서가 있어도 사전에 처음 나오는 읽기를 답했습니다. 문제 수가 적으니 경향성으로 봐주세요. | | | |
한계와 편향
- Sarashina는 API로 mini만 사용할 수 있습니다. Anthropic의 최상위 모델에 가까운 모델과 Sarashina의 작은 모델을 비교한 결과입니다
- 직접 만든 31문제(다듬기 못한 글 5, 경어 4, 자유 작문 4, 뉘앙스 4, 한자 읽기 14)와 H01~H10의 직접 만든 5문제는 Claude Opus 5.5가 만들었습니다. Opus에 맞는 문제가 되었을 가능성이 있습니다
- 요약한 4 작품은 유명하기 때문에 두 모델 모두 본문을 기억하고 있을 가능성이 있습니다
- GPT의 의미 판단은 세밀하여, R07에서는 Sarashina가 원문에 없는 요일 「(화)」를 추가한 것과 비 오는 날에 연기할지 여지를 좁힌 것을 근거로 「의미가 바뀌었다」고 했습니다. 어디까지를 의미 변화로 간주하느냐에 따라 다듬기의 숫자는 변동합니다
- GPT에게는 출력을 그대로 보여주었기 때문에, Sarashina의 「もちろんです。」라는 서두나 Opus의 Markdown 제목에서 모델을 추측했을 가능성이 있습니다
- 저의 블라인드 판정에서도 응답을 가공하지 않고 보여주었습니다. 응답 습관으로 어느 쪽이 어떤 모델인지 알 수 있었지만, 최대한 흔들리지 않도록 읽었습니다. Opus가 다듬기 뒤에 「補足」를 붙이는 것 역시 판정 전부터 알고 있었습니다
- 제가 판정한 7문제는 10문제 중에서 제가 고른 것입니다. 본 것은 가독성뿐입니다
- 각 문제당 1회 생성입니다. 같은 문제를 여러 번 출제했을 때의 편차는 측정하지 않았습니다
- 무료 베타에서는 입력과 출력이 Sarashina 모델의 학습에 사용될 수 있습니다. 이용 약관에서 학습 활용을 거부(옵트아웃)할 수 있는 것은 유료 플랜만 가능합니다
재현
모든 문제와 출력은 outputs.md에 있습니다. 문제/측정 코드/API 응답/GPT의 판정 이유/집계는 blog-examples에 있으며, 각 문제의 출처 URL도 거기에 적혀 있습니다.
참고
토론
