<div align="center">
<img src="https://raw.githubusercontent.com/attevon-llc/OpenTranscribe/HEAD/assets/logo-banner.png" alt="OpenTranscribe Logo" width="400">
AI 기반 전사 및 미디어 분석 플랫폼
</div>
프로젝트 상태 — 활발히 개발 중. 기본 브랜치는 진행 중인 작업 내용을 추적하며, 아직 출시되지 않았거나 진행 중인 기능을 포함할 수 있습니다. 안정적인 배포를 위해서는 게시된 릴리스를 설치하십시오. 아래의 원라인 설치 프로그램은 최신 릴리스를 자동으로 해결하고 배포를 해당 버전으로 고정합니다.
OpenTranscribe는 최첨단 AI 모델을 사용하여 오디오/비디오 파일을 전사하고 분석하는 강력한 컨테이너화된 웹 애플리케이션입니다. 현대적인 기술로 구축되었으며 확장성을 염두에 두고 설계되어, 음성-텍스트 변환(speech-to-text conversion), 화자 식별(speaker identification), 콘텐츠 분석을 위한 엔드투엔드 솔루션을 제공합니다.
참고: 이 애플리케이션은 상용 공급업체의 최첨단 모델을 사용하여 AI가 99.9% 작성했으며, AI 지원 개발의 강력함을 보여줍니다.
📸 간략 보기
<p align="center">
<img src="https://raw.githubusercontent.com/attevon-llc/OpenTranscribe/HEAD/docs-site/static/img/opentranscribe-workflow.gif" alt="OpenTranscribe Workflow" width="800">
</p>
<p align="center"><em>전체 워크플로우: 로그인 → 업로드 → 처리 → 전사 → 화자 식별 → AI 태그 및 컬렉션</em></em></p>
📚 상세 스크린샷 및 시각적 가이드는 Complete Documentation을 참조하십시오.
🗺️ 향후 계획: Roadmap은 이슈 트래커에서 생성되었으며 각 릴리스에 무엇이 포함되어 있는지, 그리고 얼마나 진행되었는지를 보여줍니다. Release Themes에서는 각 버전이 무엇을 위한 것인지와 충족해야 하는 종료 기준(exit criteria)을 설명합니다.
✨ 주요 기능
🎧 고급 전사(Advanced Transcription)
- 고정확도 음성 인식(High-Accuracy Speech Recognition): faster-whisper 백엔드를 사용하는 WhisperX 기반
- 초고속 기본 모델(Ultra-Fast Default Model): large-v3-turbo 모델 (large-v3보다 6배 빠르며, 영어에 대한 우수한 정확도)
- 단어별 타임스탬프(Word-Level Timestamps): 배치 추론을 통해 100개 이상의 언어를 지원하는 네이티브 단어 수준 타이밍
- 100개 이상 언어 지원(100+ Language Support): 선택적 영어 번역과 함께 100개 이상의 언어로 전사 가능
- 구성 가능한 원본 언어(Configurable Source Language): 정확도 향상을 위해 자동 감지 또는 원본 언어 지정
- 번역 토글(Translation Toggle): 원본 언어를 유지할지, 비영어 오디오를 영어로 번역할지 선택 가능
- 배치 처리(Batch Processing): large-v3-turbo 기본 모델을 사용한 GPU 환경에서 ~40배의 실시간 속도 (화자 분리 포함 전체 파이프라인)
- 대용량 전사본 페이지네이션(Pagination for Large Transcripts): 브라우저 멈춤 현상 없이 긴 전사본 효율적 표시
- 오디오 웨이브폼 시각화(Audio Waveform Visualization): 정확한 타이밍과 클릭하여 이동할 수 있는 인터랙티브 웨이브폼 플레이어
- 브라우저 녹음(Browser Recording): 실시간 오디오 레벨 모니터링 기능이 포함된 내장 마이크 녹음
- 녹음 제어(Recording Controls): 지속 시간 추적 및 품질 설정과 함께 일시 정지/재개 녹음
👥 스마트 스피커 관리
-
자동 화자 분리(Automatic Speaker Diarization): PyAnnote v4를 사용하여 향상된 정확도로 다른 화자를 식별합니다.
-
화자 중첩 감지(Speaker Overlap Detection): 고급 PyAnnote v4 기능을 통해 여러 동시 화자를 감지하고 처리합니다.
-
화자 분리 경계 수정(Diarization Boundary Correction): 단어 경계 평활화(기본 활성화, ~−32% 단어 화자 오류율)는 턴 경계에서 짧은 오화자 섬을 무너뜨리고, 또한 음성 지문으로 논란이 되는 단어를 재임베딩하는 선택적 음향 백채널 재확인 기능을 제공합니다. 이 모든 것은 관리 스피치 처리 패널(재시작 불필요)에서 실시간으로 조정할 수 있습니다.
-
크로스 비디오 화자 인식(Cross-Video Speaker Recognition): AI 기반 음성 지문 분석을 통해 다른 미디어 파일 전반에 걸쳐 화자를 식별합니다.
-
화자 프로필 시스템(Speaker Profile System): 모든 전사본에서 지속되는 글로벌 화자 프로필을 생성하고 관리합니다.
-
지능형 화자 제안(Intelligent Speaker Suggestions): 신뢰도 점수와 자동 프로필 매칭을 통해 통합된 화자 식별 기능을 제공합니다.
-
LLM 강화 화자 인식(LLM-Enhanced Speaker Recognition): 대화 맥락 분석을 사용한 콘텐츠 기반 화자 식별입니다.
-
프로필 임베딩 서비스(Profile Embedding Service): 벡터 임베딩을 사용하여 고급 음성 유사도 매칭으로 크로스 비디오 화자 연결을 수행합니다.
-
스마트 스피커 상태 추적(Smart Speaker Status Tracking): UI 최적화를 위한 계산된 필드를 포함하여 포괄적인 화자 검증 상태를 제공합니다.
-
자동 프로필 생성(Auto-Profile Creation): 화자가 레이블링될 때 자동으로 화자 프로필이 생성되고 할당됩니다.
-
소급 화자 매칭(Retroactive Speaker Matching): 높은 신뢰도의 일치에 대해 자동 레이블 전파를 포함한 크로스 비디오 화자 매칭입니다.
-
사용자 정의 화자 레이블(Custom Speaker Labels): 지능형 제안을 통해 화자 이름과 정보를 편집하고 관리합니다.
-
화자 분석(Speaker Analytics): 발화 시간 분포, 크로스 미디어 출현 횟수 및 상호 작용 패턴을 볼 수 있습니다.
-
화자 병합 UI(Speaker Merge UI): 중복된 화자를 단일 프로필로 결합하고 세그먼트를 재할당합니다.
-
파일별 화자 설정(Per-File Speaker Settings): 업로드 또는 재처리 작업별 최소/최대 화자 수를 구성합니다.
-
사용자 수준 화자 선호도 (User-Level Speaker Preferences): 기본 화자 감지 설정 저장 (항상 프롬프트, 기본값 사용, 사용자 정의 값 사용)
-
GPU 가속 클러스터링 (GPU-Accelerated Clustering): GPU 가속 임베딩을 사용한 빠른 화자 클러스터링
-
성별 감지 (Gender Detection): 개선된 라벨링 제안을 위한 자동 화자 성별 감지
-
프로필 아바타 (Profile Avatars): 미디어 라이브러리 전반에 걸친 쉬운 식별을 위한 시각적 화자 프로필 아바타
- 범용 형식 지원 (Universal Format Support): 오디오(MP3, WAV, FLAC, M4A) 및 비디오(MP4, MOV, AVI, MKV)
- 범용 미디어 URL 지원 (Universal Media URL Support): yt-dlp를 통해 1800개 이상의 플랫폼의 영상 처리 (YouTube, Dailymotion, Twitter/X, TikTok 등)
- 스마트 플랫폼 처리 (Smart Platform Handling): 인증이 필요한 비디오에 대한 플랫폼별 안내가 포함된 사용자 친화적인 오류 메시지
- YouTube 재생 목록 처리 (YouTube Playlist Processing): 재생 목록의 모든 비디오를 추출하여 일괄 전사 대기열에 추가
- 대용량 파일 지원 (Large File Support): GoPro 및 고품질 비디오 콘텐츠를 위한 최대 4GB 파일 업로드
- 인터랙티브 미디어 플레이어 (Interactive Media Player): 재생 탐색을 위해 스크립트 클릭
- 사용자 정의 파일 제목 (Custom File Titles): 실시간 검색 인덱스 업데이트와 함께 미디어 파일 표시 이름 편집
- 고급 업로드 관리자 (Advanced Upload Manager): 실시간 진행 상황 추적이 가능한 플로팅, 드래그 가능한 업로드 관리자
- 동시 업로드 처리 (Concurrent Upload Processing): 큐 관리 및 재시도 로직을 갖춘 다중 파일 업로드
- 지능형 업로드 시스템 (Intelligent Upload System): 중복 감지, 해시 검증 및 자동 복구
- 메타데이터 추출 (Metadata Extraction): ExifTool을 사용한 포괄적인 파일 정보
- 자막 내보내기 (Subtitle Export): 접근성을 위한 SRT/VTT 파일 생성
- 파일 재처리 (File Reprocessing): 사용자 댓글 및 주석을 유지하면서 AI 분석 재실행
- 자동 복구 시스템 (Auto-Recovery System): 멈추거나 실패한 파일 처리에 대한 지능적인 감지 및 복구
📁 소스 모니터링 (자동 가져오기)
- 로컬 폴더, S3 및 SMB 감시: OpenTranscribe를 마운트된 폴더, S3 호환 버킷(AWS S3, MinIO, Backblaze B2, Wasabi) 또는 SMB/CIFS 네트워크 공유에 연결합니다. 새로운 미디어는 자동으로 가져와 전사됩니다.
- 예정 스캔 (Scheduled Polling): 각 소스는 자체 간격으로 스캔합니다(Celery Beat). '지금 스캔' 버튼을 누르면 즉시 실행됩니다. 소스를 추가, 편집 또는 비활성화하기 위해 재시작할 필요가 없습니다.
- 3단계 중복 제거: 콘텐츠 지문(imohash)은 단일 소스 내에서, 여러 소스 간에, 그리고 라이브러리에 이미 있는 모든 것과 비교하여 중복을 제거합니다. 중복 파일은 기록되고 연결만 될 뿐, 다시 가져와지지 않습니다.
- 연령 필터: 'N일보다 오래된 파일 건너뛰기' 기능을 사용하여 수년간의 녹음이 담긴 폴더를 추가해도 최근 30/90일치만 처리할 수 있습니다.
- 다중 파트 스티칭 (Multi-Part Stitching): 연결 끊김으로 인해 분리된 녹음(예:
meeting_P001.mp4, meeting_P002.mp4)을 자동으로 감지하여 ffmpeg를 사용해 하나의 파일로 다시 합친 후 전사합니다.
- 자동 정리 (Auto-Organize): 가져온 모든 파일에 태그와 컬렉션을 적용합니다(기존 선택 또는 새롭게 생성).
- 가이드 설정 마법사: 연결 → 처리 → 스티칭 → 정리의 단계별 UI를 제공하며, 인라인 연결 테스트 및 폴더 피커 기능을 갖추고 있습니다. 원본 소스에 있는 파일은 절대 이동하거나 삭제되지 않습니다.
- 이메일 알림 (실험적): 선택적으로 SMTP / Microsoft 365 / Exchange 스캔 요약 이메일을 보낼 수 있으며, 최신 제공업체를 위한 인앱 설정 가이드가 포함되어 있습니다.
🔍 강력한 검색 및 탐색 기능
- 하이브리드 검색 (Hybrid Search): 키워드 검색과 의미론적(semantic) 검색 기능을 결합합니다.
- OpenSearch 신경망 검색 (Neural Search): 고급 벡터 기반의 의미론적 검색을 위한 네이티브 신경망 검색 엔진입니다.
- 전체 텍스트 인덱싱 (Full-Text Indexing): OpenSearch 3.4.0(Apache Lucene 10)으로 번개처럼 빠른 콘텐츠 검색을 제공합니다.
- 9.5배 빠른 벡터 검색: 향상된 신경망 검색 성능을 자랑합니다.
- 25% 빠른 쿼리: 지연 시간(latency)이 낮아진 전체 텍스트 검색 기능입니다.
- 고급 필터링 (Advanced Filtering): 검색 가능한 드롭다운 메뉴를 통해 화자, 날짜, 태그, 지속 시간 등으로 필터링할 수 있습니다.
- 태그 관리 (Tag Management): 컬렉션(Collections) 옆에 완전한 태그 표면(tag surface)을 제공합니다. 태그 생성, 이름 변경, 병합 및 삭제가 가능하며, 영향도 미리보기를 통해 작업할 수 있고, 대규모 라이브러리를 검색하고 정렬할 수 있으며, 해당 태그가 닿는 모든 파일을 확인할 수 있습니다. 이름은 정규화된 정확한 형식(
Q3 Review = q3-review)으로 해결되므로, 하나의 단어가 세 개의 근접 중복물(near-duplicates)이 되는 일이 없습니다.
- 태그 공유 (Tag Sharing): 특정 개인이나 그룹에게 태그를 할당하여 그들이 자체적으로 용어를 만들어내기보다 사용자가 지정한 용어를 사용하게 하거나, 전체 배포판에 게시할 수 있습니다. 이때 동일 이름의 태그는 자동으로 통합됩니다. 또한, 태그는 파일을 복사하는 것이 아니라 파일에서 계산되어 공유 미디어와 함께 자동으로 이동합니다.
- 대량 정리 (Bulk Organizing): 갤러리 선택 영역 전체에 걸쳐 태그와 컬렉션을 적용할 수 있습니다. 하나의 선택된 파일에는 전체 칩 에디터가 제공되고, 여러 개의 파일에는 태그별 커버리지 카운트(coverage counts)를 추가할 수 있습니다.
- 컬렉션 시스템 (Collections System): 관련 미디어 파일을 체계적인 컬렉션으로 그룹화하여 프로젝트 관리를 개선합니다.
- 화자 사용 횟수 (Speaker Usage Counts): 미디어 라이브러리 전체에서 어떤 화자가 가장 자주 등장하는지 확인할 수 있습니다.
- 하이브리드 검색 수정 (Hybrid Search Fixed): OpenSearch 3.4 호환성 관련 중요한 수정 사항입니다. 의미론적/벡터 검색이 이제 완전히 작동하며 결과 품질이 극적으로 향상되었습니다.
