소형 로컬 모델의 폴란드어 문법 처리 능력 테스트 (8GB VRAM에서 15개 과제 수행)

저는 단순히 영어뿐만 아니라 제가 모국어로 사용하는 언어를 소형 로컬 모델들이 어떻게 처리하는지 알고 싶었습니다. 제 개인 PC에서, 실제로 구동하는 양자화(quantization) 상태로 몇 분 안에 모델의 폴란드어 능력을 확인할 간단한 방법을 찾을 수 없어서 직접 만들게 되었습니다. 이것이 바로 'Zacharski tests'가 시작된 방식입니다. Ollama를 통해 실행되는 작은 과제 세트로, 제가 노트북에 장착한 RTX 5050 (8 GB)에서 사용하기 때문에 이 방식을 채택했습니다.

과제 구성은 다음과 같습니다:

• 폴란드어 (Polish) (8개): 악센트 부호(diacritics), 격변화(declension), 남성-인칭 성별(masculine-personal gender), 수사(numerals), 호격(vocative), 동사 상(verb aspect), 속격(genitive)
• JSON (4개): 엄격한 점수 및 완화된 점수 평가
• Python (3개): 구문 검사만 수행

현재까지의 결과는 다음과 같습니다:

제가 가장 흥미로웠던 실패 사례는 '고양이 22마리'를 요청했을 때, gemma2가 "dwudziesty dwa koty" (대략 '스무 번째 두 마리의 고양이')라고 작성했다는 것입니다. 정확한 형태는 "dwadzieścia dwa koty"입니다. 하지만 이 모델은 완벽하게 유효한 JSON을 생성하는 데 아무 문제가 없었습니다. 제가 글을 쓰는 동안 더 많은 모델들이 다운로드되고 있습니다. 다음 순서는 gemma2:9b의 Q4_K_M 및 Q8_0 (양자화가 폴란드어에 영향을 미칠까?), qwen3:8b, llama3.1:8b, gemma3:12b, 그리고 두 개의 폴란드어 모델인 Bielik 11B와 Bielik-Minitron 7B입니다. 어떤 모델을 추가하시겠습니까?

방법 및 한계점 – 댓글을 달기 전에 이것을 읽어보세요 :)

총 8개의 폴란드어 과제(문법 7개 + 지식 1개)와 7개의 JSON/코드 과제가 포함됩니다. 이는 작은 샘플일 뿐이며, 실제로 구동하는 양자화 상태에서 개인 PC로 빠르게 확인한 것이지 순위 매기기가 아닙니다. 제대로 된 순위를 원하시면 SpeakLeash의 Open PL LLM Leaderboard를 참고해 주세요.

각 과제당 하나의 답변을 사용하며, 온도(temperature)는 0 (시드 42), 컨텍스트 창은 2k, 사고 과정(thinking)은 비활성화했습니다. 네, 이는 Qwen3가 추론 모드 없이 실행된다는 의미이며, 이로 인해 점수가 감점될 수 있습니다. 저는 모든 모델에 동일한 조건을 적용하고 싶었기 때문입니다. 정규 표현식으로 채점했으며, 의도적으로 엄격하게 평가했습니다. 예를 들어, 과제가 '시제를 변경'하라고 했을 때,

[제가 실패한 모든 답변을 직접 확인했습니다.] 일부 실패는 언어 자체의 문제가 아니라 지시사항(instruction-following) 준수 문제입니다. 폴란드어 악센트 부호(diacritic) 복원을 요청했더니, 한 모델이 "철자 규칙을 읽으세요"라고 답했습니다. [(번역됨)] 생성된 코드는 파싱(parsed)만 할 뿐 (Python ast), 실행되지는 않습니다. 질문들은 레포지토리(data/benchmarks/*.json)에 있습니다. 자유롭게 추가하거나 수정하셔도 됩니다. 이 테스트는 제가 만들고 있는 무료 오픈소스 도구(Windows용 .exe / Linux용 Python) 내에서 실행됩니다. 이 도구의 주요 기능은 모델을 다운로드하기 전에 해당 모델이 사용자의 VRAM/RAM에 적합한지 예측하는 것입니다. 시도해 보고 싶은 분들은 댓글에 링크가 있습니다. 저는 다른 언어에 대한 테스트를 추가할까 고려 중입니다. 제출자: /u/Full-Travel857 [링크] [댓글]