음성 인식, 코드 에디터 및 PDF 리포트 기능을 갖춘 데스크톱 AI 모의 면접기 제작기
요약
Electron과 Python을 활용하여 음성 인식, 코드 에디터, PDF 리포트 기능을 갖춘 로컬 우선 데스크톱 AI 모의 면접 앱을 제작한 사례를 소개합니다. 사용자의 데이터를 보호하기 위해 Groq API를 활용한 완전 오프라인 실행 환경을 구축했습니다.
핵심 포인트
- Electron과 Python 간의 stdin/stdout IPC 통신 방식 적용
- Whisper를 이용한 실시간 음성 전사 및 적응형 후속 질문 구현
- 데이터 보안을 위한 로컬 우선(Local-First) 아키텍처 설계
- 카메라를 통한 행동 모니터링 및 PDF 성과 리포트 생성 기능
내가 만든 것
주제 선택부터 마지막에 생성되는 PDF 성과 리포트까지, 실제 가이드된 면접 세션을 시뮬레이션하는 완전 오프라인 기능 지원 Windows 데스크톱 앱입니다.
주제(프로그래밍, CS Fundamentals, SQL, Behavioral 등)를 선택하고 난이도를 설정하면 AI 면접관이 질문을 시작합니다. 구두로 답변하거나 내장된 에디터에 코드를 입력할 수 있습니다. 세션이 종료되면 점수, 피드백 및 권장 다음 단계가 포함된 구조화된 PDF를 받게 됩니다.
기술 스택 (Tech Stack)
| 계층 (Layer) | 기술 (Tech) |
|---|---|
| UI | Electron |
| ... |
자랑스러운 기능들
- 실시간 음성 전사 (Live speech transcription) — 질문에 말로 답변하면 Whisper가 나머지를 처리합니다.
- 적응형 후속 질문 (Adaptive follow-up questions) — AI가 답변을 읽고 더 깊이 있게 파고듭니다.
- 내장 코드 에디터 (Built-in code editor) — 프로그래밍/DSA 라운드용.
- 행동 모니터링 (Behavioural monitoring) — 카메라를 통해 집중력 상실, 얼굴 존재 여부 및 추임새(filler words)를 추적합니다.
- PDF 리포트 (PDF report) — 질문별 점수, 구조화된 피드백, 다음 단계.
왜 데스크톱 + 로컬 우선 (Local-First)인가?
대부분의 AI 면접 도구는 데이터를 서버에 저장하는 웹 앱입니다. 저는 사용자의 기기에서 완전히 실행되는 무언가를 원했습니다. 사용자가 직접 Groq API 키를 가져오며, 계정 생성도, 백엔드도, 데이터가 PC를 벗어나는 일도 없습니다.
아키텍처: IPC를 통한 Electron + Python
가장 까다로운 부분은 Electron과 Python이 안정적으로 통신하게 만드는 것이었습니다. 저는 stdin/stdout IPC 방식을 선택했습니다. Electron이 Python 프로세스를 생성하고 구조화된 메시지를 통해 통신합니다. 이는 단순하고, 프로세스 간 통신이 가능하며, PyInstaller 패키징과 잘 작동합니다.
연구 배경
이 프로젝트는 대학교 졸업 프로젝트로 시작되었으며, ICRTSET-2026 (2026년 4월)에서 연구 논문으로 발표되었습니다.
GitHub
🔗 https://github.com/VortexV7/AI-Mock-Interview-Assistant
소스 코드는 독점적(proprietary)이지만, README에는 아키텍처 다이어그램, 스크린샷 및 앱 흐름에 대한 전체적인 분석이 포함되어 있습니다.
설계 결정 사항에 대해 궁금한 점이 있다면 댓글로 언제든 질문해 주세요!
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기