gemma-tuner-multimodal을 Mac에서 사용하는 방법: 실제 사용 전 거쳐야 할 단계는 무엇인가?

작성자 Nokka (นก-กา) | 2026년 10월 9일

본 기사는 AI(deepseek-v4.1-flash)가 Hermes Agent를 통해 작성했으며, Nokka (นก-กา)에 의해 인간의 감독과 품질 검사를 거쳤습니다.

Mac과 수천 개의 음성 데이터를 가지고 있다면, 어떤 도구가 최종 목적지에 도달하게 할지 알 수 있을까요?

저는 gemma-tuner-multimodal 코드를 파일별로 살펴보았고, 이 도구가 특정 분야에서는 뛰어나지만 실제 사용 전에 거쳐야 할 단계들이 있다는 것을 발견했습니다.

핵심 내용

gemma-tuner-multimodal은 텍스트, 이미지, 음성 데이터를 모두 활용하여 Gemma 4 및 Gemma 3n 모델을 자체 데이터에 맞춰 미세 조정(fine-tune)하기 위한 오픈소스 도구입니다. 이 과정은 Mac 환경에서 진행되며, 데이터를 외부로 전송할 필요가 없습니다[1].

이 도구가 다른 도구들과 차별화되는 지점은 MLX 대신 PyTorch와 Metal Performance Shaders 경로를 선택했다는 것입니다. 개발자는 음성 데이터 미세 조정 시 MLX로는 사실상 불가능하기 때문에 이렇게 구현했다고 설명했습니다[1][3].

하지만 실제로 다른 방법을 시도해 본 개발자들은 MLX의 미세 조정 경로는 여전히 텍스트만 지원하며, 여러 모달리티(multi-modal)를 처리하는 모델을 만나면 문제가 발생한다고 말합니다[6].

또한, 도구 자체 설정 매뉴얼에는 기본값이 최소 32GB RAM으로 설정되어 있으며, RAM이 16GB인 시스템에서는 프로세스가 중간에 강제 종료될 수 있다고 명시되어 있습니다[2].

본 글에서는 이 도구가 무엇을 할 수 있는지, 무엇을 준비해야 하는지, 그리고 누가 시도해 볼 만한지에 대해 자세히 알아보겠습니다.

gemma-tuner-multimodal이란?

이 도구는 LoRA(Low-Rank Adaptation) 기법을 사용하여 Gemma 계열 모델을 미세 조정하는 명령줄 유틸리티입니다. LoRA는 전체 모델의 가중치(weights)를 수정할 필요 없이, 작은 구성 요소를 추가하여 효율적으로 미세 조정을 할 수 있는 방법[1]입니다.

패키지 이름은 gemma-macos-tuner이며 버전은 1.1.0이고, MIT 라이선스 하에 사용 가능합니다. pip을 통해 해당 리포지토리에서 설치할 수 있습니다[4].

제가 주목한 수치는 GitHub에서 **1,518개의 별(stars)과 104개의 포크(forks)**입니다. 이는 전문적인 도구치고는 상당히 높은 수치이며, 아직 열려 있는 이슈가 단 3개에 불과합니다[1].

리포지토리 페이지에는 최초 업데이트 날짜가 2026년 4월 7일이고, 가장 최근은 2026년 10월 4일로 총 210개의 커밋이 기록되어 있지만, 기여자 목록에는 단 2명의 이름만 있습니다. 첫 번째 개발자가 206개의 커밋을 했고, 다른 한 명의 개발자가 1개의 커밋을 했습니다[1]. 이 수치는 제가 나중에 다시 언급할 무언가를 암시합니다.

무엇을 할 수 있는가?

이 도구는 세 가지 다른 작업을 지원합니다.

첫 번째는 텍스트 전용이며, 원하는 스타일대로 모델을 학습시키는 작업에 사용됩니다. 두 번째는 이미지와 텍스트로 구성되어 있으며, 이미지 설명이나 이미지 기반 질문 답변 등에 사용됩니다. 그리고 세 번째는 오디오이며, 이 도구가 특별히 지원하도록 설계된 작업입니다[2]

설정 파일에는 각 모드별 키가 명확하게 나열되어 있습니다. 최대 텍스트 길이용 키, 280으로 설정된 이미지 토큰 예산용 키, 그리고 클립당 최대 오디오 길이인 30.0초에 대한 키가 있습니다[2]

레이블 길이는 기본값으로 256 토큰으로 설정되어 있으며, 사용 가능한 모델 6가지가 제공됩니다. 여기에는 Gemma 4의 E2B와 E4B 크기(베이스 및 파인튜닝 버전)와 더불어 구형 작업과의 호환성을 위해 보관된 Gemma 3n 두 가지 크기가 포함됩니다[2]

사용되는 명령어는 매우 직관적입니다. 먼저 시스템 점검을 통해 장비가 준비되었는지 확인한 후, 단계별로 질문-답변 형식의 설정을 호출합니다[1]

gemma-macos-tuner system-check
gemma-macos-tuner finetune sample-text

마지막 예시는 레포지토리가 준비한 16줄의 학습 데이터셋과 5줄의 평가 데이터셋입니다. 이는 사용자가 자신의 파일을 넣기 전에 파이프라인 전체가 제대로 작동하는지 테스트할 수 있게 합니다[2]

이전에 Mac에서 모델을 조정해 본 경험이 있는 사람들에게 이 단계는 오류를 크게 줄여줍니다. 왜냐하면 이 단계에서 설정을 잘못하면 처음부터 다시 실행해야 하기 때문입니다.

PyTorch가 MLX보다 나아야 하는 이유

이 부분은 제가 이 프로젝트에서 가장 흥미롭다고 생각하는 지점이며, 저 스스로 이해를 바로잡아야 했던 부분이기도 합니다.

MLX는 Apple의 M 시리즈 칩에 특화되도록 설계된 프레임워크입니다. 그래서 많은 사람이 '그럼 왜 이 도구는 MLX를 사용하지 않는가?'라고 질문합니다.

제가 실제로 확인한 답변은 두 가지 계층으로 나뉩니다.

첫 번째 계층은 이 도구의 레포지토리 자체에 명시되어 있습니다. 이것이 PyTorch 및 Metal Performance Shaders에서 작동한다고 밝히고 있습니다[1]. 또한 패키지의 검색 키워드에도 gemma, multimodal, fine-tuning, torch, mps가 명확하게 나열되어 있습니다[4]. 이는 우연이 아니라 의도적인 선택입니다.

두 번째 계층은 그 선택이 왜 합리적인지에 대한 이유입니다. 한 개발자가 MacBook M3 Pro에서 Gemma 4를 조정하는 과정을 매우 상세히 기록했습니다. 그는 MLX의 파인튜닝 경로가 텍스트 전용 경로이며, 여러 모드의 모델을 실수로 로드할 경우 이미지 처리 부분에 도달하자마자 프로그램이 오류를 내거나 이해하기 어려운 결과를 반환한다고 지적했습니다[6]

그가 강조하는 부분은 이 때문에 반나절을 낭비하게 만들었다[6]

이 두 가지를 합치면 얻는 이미지는 MLX가 이미지와 오디오 작업을 모두 포괄하지 못한다는 것이고, 이것이 바로 이 도구가 채워주는 공백이다.

결정하기 전에 알아야 할 수치들

Google의 공식 페이지에는 제가 생각하기에 결정을 내리는 사람이 가장 먼저 봐야 할 표가 있습니다. 이는 모델 사용에 따른 RAM 용량으로 크기와 압축 수준별로 구분되어 있습니다[5]。

Gemma 4 E2B는 16비트에서 11.4GB를 사용하고, 8비트에서는 5.7GB, 4비트에서는 2.9GB까지 줄어듭니다. E4B는 17.9GB부터 시작하여 각각 8.9GB, 4.5GB로 줄어듭니다[5]。

중요한 점은 표 바로 아래에 Google이 **파인튜닝(fine-tuning)**에 필요한 RAM 용량이 모델 사용보다 훨씬 크다고 경고하고 있다는 것입니다. 실제 수치는 프레임워크, 배치 크기, 그리고 전체 모델 가중치를 파인튜닝할지 LoRA를 사용할지에 따라 달라집니다[5]。

도구가 제시한 예산은 이 경고와 일치합니다. 훈련 모드에서 E2B의 배치 크기는 장치당 2이고, E4B는 단지 1로 설정되어 있습니다[2]。모델이 클수록 한 번에 처리하는 토큰 수가 줄어듭니다.

실제 사용자의 관점은 이 부분을 보완해 줍니다. RAM 18GB의 MacBook M3 Pro에서 작성된 기록에는 운영체제와 백그라운드 앱이 46GB를 차지하고, 그래디언트(gradient)와 옵티마이저 상태가 24GB를 사용한다고 상세히 나와 있습니다[6]。

이는 모델 자체에 실제로 남는 공간이 약 12~14GB라는 것을 의미하며, 이 때문에 그는 E2B와 E4B만을 선택할 수 있었습니다[6]。

그의 작업은 자신의 기기에서 1~2시간 만에 완료되었고, 사용 시 기본 모델 위에 덧씌울 작은 크기의 파인튜닝 구성 요소(약 30MB)를 얻었습니다[6]。

개발자가 스스로 경고하는 단계

이것은 제가 가장 중요하다고 생각하며 사람들이 자주 건너뛰는 부분입니다.

개발자는 Hacker News의 자신의 스레드에 이 작업이 데이터 시퀀스 길이에 따라 제곱으로 증가하며, 선형적으로 증가하지 않는다고 작성했습니다. 그의 문장은 시퀀스를 짧게 사용하는 것이 RAM 폭발을 막는 데 도움이 된다는 것입니다[3]。

그리고 그는 자신이 겪은 실제 수치를 이야기합니다. 즉, RAM 64GB의 기기에서 입력 시퀀스 길이를 약 2,000 토큰으로 제한받았는데, 이는 그의 작업 평균 결과가 약 1,000 토큰에 달했기 때문이며, 총합하면 예시당 약 3,000 토큰이었습니다[3]。

이 경고는 작업의 가치를 떨어뜨리는 것이 아니라 실제 사용 범위에 대한 안내일 뿐이며, 결정을 내리려는 사람이 직접 시행착오를 겪을 필요가 없게 도와줍니다.

설정 파일에서 메모리(RAM)에 대한 메모장 칸에는 모델과 캐시, 그리고 조정기 상태를 합친 용량이 부족하며 운영체제가 프로세스를 종료할 것이라고 명확하게 적혀 있습니다. 이 경우 '메모리 부족' 메시지나 음수 코드 9와 함께 세마포어 누수(semaphore leak)라는 문구를 볼 수 있습니다.[2]

그들이 제시한 해결책은 배치 크기(batch size)를 1로 줄이고, 그래디언트 누적(gradient accumulation)을 16으로 설정하며, 순전파 역방향 전파(backward pass) 검사를 활성화하고, 16비트 계산을 사용하고, 텍스트 길이를 1,024에서 512로 줄이는 것입니다. 그래도 부족하다면 E4B 대신 E2B를 사용할 것을 강조했습니다.[2]

알아두어야 할 또 다른 점은 공개된 저장소(repo)가 모든 것을 포함하고 있지는 않다는 것입니다. README 파일에는 이곳에 공용 코드와 사용 설명서만 포함되어 있다고 명시되어 있으며, 개인 계획, 연구 기록 및 에이전트 설정은 다른 곳에 별도로 보관되어 있습니다.[1]

직역하자면 클라우드에서 데이터를 가져오는 코드는 공개 저장소에 있지만, 제가 발견한 코드상의 제한 사항은 다음과 같습니다. 현재 버전에서는 텍스트, 이미지, 음성 모드가 모두 로컬의 CSV 파일만 로드할 수 있으며, 음성 모드만 클라우드의 스트리밍 경로를 사용할 수 있습니다.[1]

그리고 이와 관련하여 같은 스레드에서 개발자가 언급한 '튜닝 작업에 15,000시간의 음성이 정말 필요한가?'라는 질문이 있었습니다.[3]

개발자의 답변은 데이터가 많을수록 온디바이스(on-device) 모델이 더 좋고 빨라질 것이며, 원래 계획은 Gemini 2.5 Pro 모델을 온디바이스 STT(Speech-to-Text) 모델로 정제하는 것이었다는 것입니다.[3]

그는 필요한 데이터 양에 대한 구체적인 수치를 제시하지 않았기 때문에, 이는 사용자가 대규모 데이터를 학습시키기 전에 스스로에게 던져야 할 질문입니다.

주의사항

제가 읽고 많은 사람들이 간과할 것이라고 생각한 부분이 있습니다.

다른 개발자가 스레드에서 경고하기를, 외부 출처에서 모델 파일을 로드하는 것은 실제로 취약점이 될 수 있다고 합니다. 그는 변조된 GGUF 파일로 인해 발생한 CVE-2024-34359라는 취약점을 예시로 들었는데, 이는 점수 지정(scoring) 분야에서 가장 심각한 수준의 취약점입니다. 따라서 로드하기 전에 항상 safetensors 형식을 고수하고 파일 해시 값을 검사할 것을 권장했습니다.[3]

이 권장 사항은 이 도구에 직접 적용됩니다. 왜냐하면 사용자의 훈련 과정이 공개 저장소에서 모델을 다운로드하는 단계를 거치기 때문입니다.

또 다른 점은 패키지의 pyproject.toml 파일 내 상태 변수인데, 여기에 Development Status 3으로 명시되어 있으며 이는 **Alpha(알파)**를 의미합니다.[4] 이 용어는 평가절하가 아니라 인터페이스가 아직 변경될 수 있다는 표시입니다.

설치 과정에서도 주의할 점이 있습니다. 설정 파일에 torch가 주요 목록에 포함되어 있지 않기 때문입니다. 그 이유는 플랫폼별로 설치 경로가 다르기 때문이라고 명시되어 있습니다. 따라서 수동으로 먼저 설치한 후 준비된 확장 기능을 사용해야 합니다[4].

그리고 사람들이 자주 놓치는 또 다른 부분이 있습니다. README 페이지에는 다운로드하는 모델이 Hugging Face에서 본인 인증을 거치고 모델의 이용 약관에 동의해야만 다운로드가 가능하다는 경고가 되어 있습니다[1].

제가 이 모든 정보를 확인한 날짜는 2026년 10월 9일입니다. 다운로드 수, 커밋 수, 이슈 수는 변동 가능한 숫자이며 몇 달 후에는 달라질 것입니다.

누가 시도해 볼 만하고, 누가 아직은 피해야 할까요?

만약 Mac M 칩에 RAM이 32GB 이상이고, 모델이 특별히 이해하기를 원하는 음성 또는 이미지 데이터가 있으며, 순서 길이(sequence length)를 직접 조정하는 것을 감수할 수 있다면 이 도구가 적합합니다.

추가적인 조건 없이 MIT 라이선스로 허용되어 있어 같은 그룹의 다른 많은 도구들보다 상업적 사용에 대한 명확성이 높습니다[4].

제가 아직 언급하지 않은 장점은, 미리 테스트해 볼 수 있는 학습기(trainer)를 제공한다는 것입니다. 아무것도 준비할 필요 없이 실행 가능한 작은 예제 데이터셋이 포함되어 있습니다[2].

하지만 만약 이제 막 시작했고 모델을 미세 조정(fine-tuning)한 경험이 없다면, 제가 언급했던 MacBook M3 Pro에서의 실제 실험 기록을 먼저 읽어보시는 것을 추천합니다[6]. 전체 파이프라인의 그림을 더 명확하게 볼 수 있을 것입니다.

그리고 만약 데이터가 방대한 양의 순수 음성이라면, 가장 먼저 해야 할 일은 미세 조정이 아니라 데이터를 깨끗하게 필터링하는 것입니다. 한 사용자가 스레드에서 발언 감지기(speech detector)를 사용하여 무음 구간을 잘라내어 모델에 전송하는 것이 좋다고 제안했는데, 이는 처리 부하와 비용을 크게 줄일 수 있다고 합니다[3].

주목해야 할 점은 리포지토리의 기여자 수가 2명에 불과하고, 커밋 대부분이 한 사람에게서 온다는 것입니다[1]. 이는 문제 해결 속도가 팀 전체가 아닌 그 한 사람의 가용 시간에 달려 있다는 의미입니다. 이 점은 도구의 단점이라기보다는 중요한 정보로 알아두어야 할 부분입니다.

요약

이 도구는 하나의 질문에 명확하게 답합니다. 즉, Mac에서 다양한 형식의 데이터를 사용하여 Gemma를 미세 조정하려는 경우 현재 선택지가 많지 않으며 이 도구가 그 이유를 솔직하게 설명하고 있다는 것입니다.

다운로드하기 전에 항상 리포지토리 페이지에서 세 가지를 확인하세요. 바로 범위와 제약 조건을 명시한 제목, 가장 최근 커밋 날짜, 그리고 관리하는 사람의 수입니다. 이 세 가지가 도구의 홍보 문구보다 훨씬 더 잘 알려줄 것입니다.

혹시 본인 컴퓨터에서 모델을 파인튜닝(Fine-Tuning) 하다가 프로세스가 강제 종료된 경험이 있나요? 만약 있다면, 어떤 종류의 데이터를 다룰 때 그런 일이 발생했는지 저에게 이야기해 주세요.

참고 자료

[1] Matt Mireles, "mattmireles/gemma-tuner-multimodal", GitHub, 2026년 4월 7일 ~ 2026년 10월 4일. [https://github.com/mattmireles/gemma-tuner-multimodal]

[2] gemma-tuner-multimodal, "config/config.ini.example" (최신 커밋 2026년 5월 12일), GitHub, 2026년 10월 9일 조회. [https://github.com/mattmireles/gemma-tuner-multimodal/blob/main/config/config.ini.example]

[3] MediaSquirrel 및 댓글 작성자들, "Show HN: Gemma 4 Multimodal Fine-Tuner for Apple Silicon", Hacker News, 2026년 4월 7일 ~ 2026년 10월 10일. [https://news.ycombinator.com/item?id=47680309]

[4] gemma-tuner-multimodal, "pyproject.toml" (최신 커밋 2026년 4월 9일), GitHub, 2026년 10월 9일 조회. [https://github.com/mattmireles/gemma-tuner-multimodal/blob/main/pyproject.toml]

[5] Google, "Gemma 4 model overview", Google AI for Developers, 2026년.
[https://ai.google.dev/gemma/docs/core]

[6] id8 Tools, "Fine-Tuning Gemma 4 on a MacBook M3 Pro: A Practical Guide", id8.co.in, 2026년.
[https://id8.co.in/blog/fine-tuning-gemma-4-on-macbook-m3-pro]