Lipwise: 처리 기능이 내장된 스마트 받아쓰기 앱

Lipwise는 Windows, macOS 및 Linux용 [또 다른] 받아쓰기 앱입니다. 단축키를 누르고 말하면 포커스를 가진 어떤 앱이든 텍스트가 입력되지만, 여기에 특별한 기능이 추가되었습니다. 우리 대부분이 컴퓨터와 대화할 때 LLM(대규모 언어 모델)을 사용하여 변환 작업을 수행하기 때문에, 저는 이 두 가지 기능을 한 번의 동작으로 처리할 수 없을까 생각했습니다. Qwen 3.5 9B로 테스트해 본 결과, 모든 것을 로컬에서 빠르고, 그리고 가장 중요하게는 정확하게 처리할 수 있다는 것을 깨달았습니다. 단순한 음성-텍스트 변환(speech-to-text)은 "음, 회의가 화요일에 있어, 아니 잠깐 목요일"과 같이 말한 그대로를 제공하지만, 실제로 이렇게 보내지는 일은 없을 것입니다. Lipwise는 출력하기 전에 전사된 내용을 LLM을 통해 처리하며, 이 과정에서 수정, 구두 구두점(spoken punctuation), 목록화, 그리고 "더 짧게 만들어라"와 같은 지침을 처리하는 프롬프트를 사용합니다. 또한 아무 곳에나 텍스트를 선택하고 그 내용으로 무엇을 할지 말할 수 있는 모드도 있습니다("월요일 이전이 아니라는 의미로 '예'라고 답해줘", "독일어로 번역해줘"). 작동 방식은 다음과 같습니다: 음성 인식은 항상 로컬에서 transcribe.cpp (ggml)를 통해 실행됩니다. 선택할 수 있는 모델이 69가지가 있습니다: Parakeet, Whisper, Canary, Moonshine 등입니다. 저는 영어의 경우 Parakeet 0.6B를 사용합니다. 여기서 영감을 준 Handy에게 감사를 표합니다. - 편집 단계. 배터리가 포함된 설정(batteries included config)으로 로컬에서 실행하고 싶다면, 설정 버튼이 GPU를 확인하고 llama.cpp 빌드와 Qwen3.5 4B 또는 9B를 다운로드하며, 해시값을 검증한 후 백그라운드에서 실행합니다. 그렇지 않다면 Claude, OpenAI, Ollama, LM Studio 또는 OpenAI와 호환되는 모든 곳을 지정할 수 있습니다. - LLM이 작동하지 않거나 느릴 경우, 아무것도 받지 못하는 대신 원본 전사 내용을 받게 됩니다. - 텍스트는 클립보드를 통해 합성 붙여넣기(synthetic paste) 방식으로 입력되며, 이후 클립보드는 복원됩니다. - Rust와 Tauri를 사용했으며 설치 파일 크기는 약 5MB입니다. - 세 가지 모드가 있습니다: Smart Dictation (스마트 받아쓰기), 기본 추천 기능이며 제가 이 앱을 출시하는 이유이기도 합니다. Plain dictation (일반 받아쓰기)은 LLM이 오작동하거나 텍스트를 올바르게 처리하지 못할 때, 또는 단순히 그 몇 밀리초의 시간을 되찾고 싶을 때 사용합니다. 그리고 Command mode(명령 모드)는 변환/비받아쓰기 작업을 위한 것입니다. 이렇게 작은 모델과 간단한 사용 사례임에도 불구하고 할 수 있는 작업들이 정말 대단합니다.

거친 부분: Windows에서는 설치 프로그램에 서명이 되어 있지 않아 SmartScreen 경고가 표시되며, Linux에서는 전역 단축키가 컴포지터(compositor)에 의존합니다. 4B 모델은 또한 명령처럼 들리는 일반 문장을 때때로 명령으로 취급하기도 합니다. 웨이크 워드(wake word)를 설정하여 해당 단어로 시작하는 음성만 지시사항으로 간주하게 할 수 있습니다. https://getlipwise.com/ https://github.com/lnenad/lipwise MIT 라이선스, 계정 필요 없음, 텔레메트리 없음. 프롬프트(prompt), 모델 선택 또는 기타 모든 것에 대해 기꺼이 논의하겠습니다. 제출자: /u/lnenad [링크] [댓글]