저는 로컬 LLM 번역, 일본어 OCR, 그리고 페이지 인식 채팅 기능을 갖춘 'Manga Translator Tool'을 개발해 왔습니다. 이 도구는 만화를 읽고 현지에서 번역할 수 있는 오픈 소스 데스크톱 애플리케이션입니다.
이 아이디어는 자막이 입혀진 애니메이션을 보면서 영감을 얻었습니다. 원본 일본어 텍스트를 보이게 유지하면서 그 옆에 번역본을 제공하여 스토리를 따라갈 수 있도록 하는 것이 목표입니다. 이 도구는 만화 리더, OCR(광학 문자 인식), 번역 오버레이, 그리고 페이지 내용에 대해 질문할 수 있는 보조 LLM을 결합합니다.
사용 모델:
- OCR: ebinan92/Qwen3.5-ocr-jp-2b (일본어 OCR을 위한 Qwen 3.5 파인튜닝 모델이며, nakanishi08/Qwen3.5-ocr-jp-2b-GGUF에서 GGUF 변환을 사용합니다.)
- 번역 및 채팅: Gemma 4 E2B (HauhauCS/Gemma-4-E2B-Uncensored-HauhauCS-Aggressive 변형을 사용합니다.)
- 추론(Inference): llama.cpp를 사용하여 CPU와 GPU를 모두 지원합니다.
[Demo Video walkthrough] — 전체 설정 과정을 포함하고 있어, 실제로 시작하는 과정이 무엇인지 확인할 수 있습니다.
어떤 점이 유용한가요?
- 원본 아트워크와 일본어 텍스트를 그대로 유지할 수 있습니다. 번역본은 원본 텍스트를 지우지 않고 텍스트 상자에 나타납니다. 번역본을 이미지 메타데이터로 저장할 수 있습니다. 결과물을 작품에 영구적으로 새기지 않고 보관한 다음, 원본 보기와 번역된 보기 사이를 토글(toggle) 할 수 있습니다.
- 추출된 텍스트 검색이 가능합니다. 만화 한 권에서 대화를 찾고 가장 좋아하는 순간을 다시 살펴볼 수 있습니다. 효과음도 읽어낼 수 있습니다.
- OCR 및 번역 파이프라인은 종종 번역되지 않는 문자들인 일본어 의성어(onomatopoeia)도 포착할 수 있습니다.
- 보조 LLM에게 페이지에 대해 질문할 수 있습니다. 컨텍스트로 포함할 내용을 선택할 수 있습니다: 일본어 텍스트, 번역본, 이미지, 또는 세 가지 모두입니다. 단어 선택, 문화적 참조, 또는 가능한 현지화(localization) 옵션에 대해 질문할 수 있습니다.
설정:
The 앱이 도구 내부에서 설정 및 모델 다운로드를 처리합니다. Windows의 경우, 실행 파일이 다운로드 관리를 하므로 각 구성 요소를 개별적으로 설치할 필요가 없습니다.
현재 제한 사항 및 설계 선택:
- 인페인팅(inpainting) 기능은 없습니다: 일본어 텍스트를 보존하는 것이 제가 목표로 하는 독서 경험의 일부이기 때문입니다.
번역 상자가 그림과 자연스럽게 어우러지지 않으며, 글꼴 사용자 정의 기능은 아직 제공되지 않습니다. 이 도구는 만화를 읽고 탐색하는 것을 목표로 합니다. 세련된 조판(typesetting)이나 출판 준비가 된 현지화(localization)를 목표로 한다면 다른 도구가 해당 워크플로우에 더 적합합니다.
다운로드 — v1.00 Windows 10/11 x64 Linux x86_64 — experimental macOS — experimental source package Source code · itch.io submitted by /u/Gladioul666 [link] [comments]