MixTeX - Multimodal LaTeX OCR with CPU Inference

Hugging Face Spaces

Demo Video

image

온라인 데모: https://mineai.top/

MixTeX는 저희 팀이 독자적으로 개발한 혁신적인 멀티모달 LaTeX 인식 미니 프로그램입니다. 로컬 오프라인 환경에서 효율적인 CPU 기반 추론을 수행합니다. LaTeX 수식, 표 또는 혼합 텍스트 등 무엇이든 MixTeX가 쉽게 인식할 수 있으며, 중국어와 영어 처리를 모두 지원합니다. 강력한 기술 지원과 최적화된 디자인 덕분에 MixTeX는 GPU 리소스 없이도 효율적으로 실행될 수 있어 모든 Windows 컴퓨터에 적합하며 사용자 경험을 크게 향상시킵니다.

소스 코드 설정:

시작하기 전에 사용자 계약을 읽었는지 확인하십시오.

1. mixtexgui 디렉터리로 이동합니다: cd mixtexgui
2. 새로운 Conda 환경을 생성합니다: conda create -n mixtex python=3.10.14
3. 환경을 활성화합니다: conda activate mixtex
4. pip install -r requirements.txt를 실행합니다
5. PyInstaller로 애플리케이션을 빌드합니다: pyinstaller mixtex_ui.spec
6. 가능하다면, 다른 플랫폼에서 패키징된 프로그램을 GitHub에 제출해 주시겠습니까? 지원에 감사드립니다!

주요 기능

• LaTeX 수식 인식: 복잡한 LaTeX 수학 공식을 정확하게 인식하여 수학 표현의 정확성을 보장합니다.
• 표 인식: 다양한 표를 효율적으로 처리하고 인식하며, 이에 상응하는 LaTeX 표 코드를 생성합니다.
• 혼합 텍스트 인식: 단어, 공식, 표가 포함된 텍스트를 동시에 처리하여 인식 결과의 완전성과 정확성을 보장합니다.
• 이중 언어 지원: 중국어든 영어든 MixTeX는 높은 정밀도로 인식을 달성하며, 다양한 언어 환경의 요구 사항을 충족합니다.

기술적 특징

• 로컬 오프라인 추론 (Local Offline Inference): 인터넷 연결이 필요 없어 데이터 프라이버시와 보안을 보장하며, 높은 기밀성이 요구되는 사용자 시나리오에 적합합니다.
• 경량 설계 (Lightweight Design): 프로그램 시작 파일 크기가 약 50 MB에 불과하여 빠른 배포 및 시작이 용이합니다.
• 효율적인 작동: 모델 파일 크기는 300 MB로 인해 시작 속도가 다소 느릴 수 있지만, 로드된 후에는 매우 빠르게 작동하여 원활한 사용자 경험을 보장합니다.
• GPU 불필요: CPU에서 효율적으로 실행되므로 고성능 하드웨어 지원이 필요 없는 모든 Windows 컴퓨터에 적합합니다.

사용자 가이드

1. 클립보드 이미지 인식 (Clipboard Image Recognition): 사용자는 Win+V를 눌러 클립보드 기능을 활성화하고, 인식을 원하는 이미지를 클립보드로 복사할 수 있습니다.
2. 스크린샷 인식 (Screenshot Recognition): 내장된 Windows 스크린샷 도구나 키보드의 스크린샷 키를 사용하여 화면을 캡처하고 해당 스크린샷 내용을 직접 인식할 수 있습니다.

사용자

데모

MixTeX는 복잡한 텍스트 인식에 탁월하며, 특히 영어 인식에서 뛰어난 성능을 보이고 중국어와 비교 가능한 결과를 제공합니다. 다음 이미지는 MixTeX의 복잡한 텍스트 인식 기능을 보여줍니다: (권장 이미지 크기: 400 x 500)

환경 요구 사항

MixTeX는 코드 변환을 위해 LaTeX 환경을 사용합니다. 다음 LaTeX 구성을 권장합니다:

\documentclass{ctexart}
\usepackage{amssymb}
\usepackage{amsmath}
...

변경 기록 (Changelog)

사용 중 다음 경고 메시지를 접할 수 있습니다: Error during OCR: Invalid image type. Expected either PIL.Image.Image, numpy.ndarray, torch.Tensor, tf.Tensor or jax.ndarray, but got <class 'list'>.

v1.0.1 [해결됨] 심각: 소프트웨어 실행 중 파일 복사 불가 및 파일 복사가 경고를 유발함.

일관된 경고 메시지: Error during OCR: Unable to infer channel dimension format.

v1.0.2 [해결됨] 최상: 일부 사용자의 모니터가 비(非)RGB 색상을 가진 너무 진보된 디스플레이여서 소프트웨어 사용이 불가능함.

v1.1.2 [최적화] 데이터 수집 기능을 추가하고, 실제 소규모 샘플 300개를 미세 조정했으며, 중괄호 및 표 인식을 최적화했습니다. @github.com/ZLab511에서 제공하는 공식을 포함하여 더 많은 표와 공식이 사전 학습에 추가되었습니다.

v2.1.2 [업그레이드] 합성 손글씨 데이터셋을 구축하고, 실제 원고 100개를 미세 조정했으며, 모델을 재학습시키고, 손글씨 텍스트 혼합 공식 지원을 부분적으로 구현했습니다.

v2.2.3 [업그레이드] 실제 원고 150개 + 300개를 미세 조정하고, 손글씨 텍스트 혼합 공식 및 검은색 배경을 지원하게 되었습니다.

v3.2.4 [업그레이드] 실제 자료 500개를 미세 조정하고, 객관식 문제 OCR을 지원하며, 소프트웨어 측면에서는 아이콘 클릭 후 F2를 눌러 인식을 일시 중지하고, 다시 F2를 눌러 인식을 시작할 수 있습니다. 다중 라인 공식과 본문 내 공식을 $$ 래퍼로 이스케이프 처리하는 기능을 개선했으며, 데이터 수집도 개선되었습니다.

제한 사항 (Limitations)

현재 MixTeX는 중국어와 영어 혼합 공식 및 비교적 간단한 표에 대한 명확하게 인쇄된 글꼴 인식만 지원합니다. 향후 업데이트에서 다음과 같은 기능 확장을 계획하고 있습니다:

• 손글씨 공식 및 텍스트 인식 지원
• 다국어 지원
• 복잡한 표 인식

참고할 점은 저희 모델의 학습 데이터셋이 대부분 합성 및 생성된 데이터를 기반으로 한다는 것입니다. 이로 인해 다소 거칠하고, 균일하며, 제한적인 데이터가 될 수 있습니다. 향후 버전에서는 실제 시나리오를 활용하여 학습 데이터셋을 점진적으로 개선하고 확장해 나갈 계획입니다. 이러한 개선은 인식 정확도를 높이고 시스템의 견고성(robustness)을 증가시키는 결과를 가져올 것입니다.

MixTeX 개발 및 개선에 지속적인 관심을 기울여 주시는 독자 여러분께 감사드립니다. 사용자님의 피드백과 인내심은 저희가 더욱 포괄적이고 다재다능한 도구를 만드는 데 매우 소중합니다.

결론

MixTeX는 사용자들에게 가장 편리하고 효율적인 멀티모달 LaTeX 인식 도구를 제공하기 위해 최선을 다할 것입니다. 사용해 주시고 피드백을 주시면 감사하겠습니다. MixTeX에 대한 제안 사항이나 문제가 발생하면 언제든지 저희에게 연락 주십시오. 최고의 LaTeX 인식 도구를 함께 만들어 나갑시다!