로컬 AI가 PC 내에서 앱을 만드는 방법 - ココロネAI for Desktop v0.2.0 공개

서론

안녕하세요, 쿠나마오입니다.

Windows용 AI 어시스턴트 「ココロネAI for Desktop」의 v0.2.0 (알파 버전)을 공개했습니다. 지난 v0.1.0 기사에서 '베타 버전까지 추가 예정'이라고 언급했던 **코딩 모드(Coding Mode)**와, OpenRouter 외 AI 서비스 대응 기능이 포함된 버전입니다.

다운로드: https://github.com/Naokuma005288/KokoroNe-AI/releases/tag/v0.2.0-alpha.1

ココロネ Coding: AI가 폴더 내에서 작업하는 방식

사이드바의 '코딩(Coding)'에서 폴더를 열고 원하는 작업을 적으면, AI가 해당 폴더 내에서 작업을 수행합니다.

• 파일을 읽기/검색/생성/수정하기
• 명령어 실행 (Python, Node.js 등 PC에 설치된 프로그램)
• 개발 서버를 구동하여 오른쪽 브라우저에서 화면을 열고 버튼을 누르거나 하여 동작을 확인하기

소개 영상에서는 이 PC에서 작동하는 로컬 AI (gemma4:e4b)에게 '가위바위보 게임을 index.html 파일 1개로 만들어서, 브라우저에서 동작을 확인해 달라'고 요청했습니다. 파일을 작성하기 전에 확인 절차가 있었고, 생성 후에는 오른쪽 브라우저에서 AI 자신이 가위바위보를 눌러 확인하는 모습을 보여주었습니다.

승인제와 '실행 취소(Undo)' 기능

AI에게 PC 내에서 작업을 시키는 만큼 가장 신경 쓴 부분은 '임의로 이상한 일을 하지 않게 하는 것'이었습니다.

• 승인 모드: 확인하며 진행 (기본값) / 편집 자동 / 계획만 / 전체 접근. 파일 변경이나 명령어는 모드에 따라 실행 전에 확인합니다.
• 실행 취소(Undo): 작업마다 변경 전 파일을 저장해 두고, '이 작업을 실행 취소'로 되돌릴 수 있습니다 (재부팅 후에도 가능). 되돌리기 전에 이후 자신이 수정했던 파일이 있다면 알려줍니다.
• 처리 범위: 열린 폴더 내로 한정됩니다. .env 같은 비밀 정보가 담긴 키 파일은 읽기 전에 매번 확인합니다. PC 전체에 관련된 명령어나 Windows 보호 기능을 끄는 식의 명령어는 실행하지 않습니다.

AI 팀: 리뷰 및 상담을 AI 스스로 요청하는 기능

설정에서 허용한 모델을 'AI 팀', '상담원'으로 등록해 두면, 메인 AI가 스스로 판단하여 리뷰나 상담을 요청합니다. ココロネ(Kokorone)가 매번 자동으로 리뷰를 거치는 것이 아니라, 막히거나 큰 변경을 했을 때 AI가 도움을 요청하는 형태입니다.

누가・어떤 모델로・무엇을 하고 있는지・몇 분 동안 작동했는지, 입출력 토큰이나 로컬 모델의 VRAM은 대화 좌측 상단에 나오는 'AI 팀' 버튼에서 확인할 수 있습니다. 로컬 코드를 클라우드 모델로 보내기 전에는 반드시 확인합니다.

솔직하게 말씀드리고 싶은 점

소개 영상 녹화 중, 작은 로컬 모델 (gemma4:e4b)은 다음과 같은 행동을 했습니다.

• 결과 표시 부분에 ${message}가 그대로 출력되었음에도 '기대대로 작동했습니다'라고 보고함 (표시 오류를 지적하자 다시 읽고 올바르게 수정함) - 레이아웃 조정 중 CSS 닫는 태그를 삭제하여 페이지가 새하얗게 되었는데도 '확인할 수 있었습니다'라고 보고했고, 리뷰 담당의 작은 모델도 이를 간과했습니다.

앱 측에서는 AI에게 '확인한 결과만 보고하도록' 지시하고, 리뷰에 실패했을 때는 '리뷰 완료'라고 보고하지 않도록 설정했지만, 작은 모델은 지시대로 작동하지 않을 때가 있습니다. 마지막에는 반드시 본인의 눈으로 확인해 주십시오. 이 부분은 다음 버전 이후로 앱 측에서도 간과하는 것을 감지할 수 있는 시스템을 강화할 예정입니다.

연결 가능한 AI가 늘어남

v0.1에서는 Ollama와 OpenRouter만 지원했지만, v0.2.0에서는 다음과 같은 AI에 연결할 수 있습니다.

뮤직

• Windows의 미디어 표시(볼륨 키로 나오는 패널 등)에 'ココロネAI' 이름, 곡명, 아티스트, 재킷을 표시
• 가사 타이밍 보정을 ±5분 및 0.1초 단위로 늘리고, 노래에 맞춰 터치만 하면 맞출 수 있는 '터치로 맞추기(タップで合わせる)' 기능 추가
• 아티스트 이름 자동 완성 (자신의 SearXNG 검색 결과를 바탕으로 후보를 만들고 확인 후 작성합니다. 되돌릴 수 있습니다)

제3자 리뷰

공개 전에 OpenAI Codex에 코드 리뷰를 의뢰하여 13건의 지적 사항을 모두 수정했습니다. 예를 들면 다음과 같습니다.

• 브라우저 표시에서 열린 HTML로부터 같은 폴더의 .env 파일을 읽어낼 수 있음 → 파일 조작과 동일한 경계를 거쳐서 전송하고, 비밀 파일이나 숨김 파일은 반환하지 않도록 처리 - PowerShell 이스케이프(```)나 실행 시 조합하는 명령어로 금지 명령어 판정을 우회할 수 있음 → 정규화 및 동적 실행 감지 추가 - 전체 접근 권한을 부여하면 유료 이미지 생성도 확인 없이 실행됨 → 전체 접근 권한에서도 매번 확인

수정할 때마다 회귀 테스트를 추가했습니다 (36건의 .NET, 44건의 화면 테스트가 통과된 상태로 공개했습니다).

기술 구성

구성은 v0.1과 동일하게 C# / .NET 10 + WPF + WebView2이며, 화면은 React / TypeScript를 사용합니다. 코딩 에이전트 부분(도구 호출, 파일 조작 범위 확인, 명령어 위험도 판정, 승인, 체크포인트)은 UI에 의존하지 않는 LumaAI.Core에 배치하고 테스트로 지키고 있습니다.

오른쪽 브라우저는 앱 본체와는 별도의 프로파일을 가진 WebView2를 겹쳐 표시합니다. 열린 폴더의 파일은 가상 호스트로 WebResourceRequested를 통해 전송하며, CSP(Content Security Policy)로 외부 전송을 제한하고 있습니다.

Windows 미디어 표시를 위해 이번 버전부터 Windows SDK 구성 파일(Microsoft.Windows.SDK.NET.dll / WinRT.Runtime.dll)을 동봉했습니다 (Windows SDK 재배포 조건에 따름).

사용하기 전에 알아두면 좋은 점

• 첫 실행 시 'Windows에 의해 PC가 보호되었습니다'라는 메시지가 표시됩니다 (무료 자체 서명 때문). 릴리스 페이지의 SHA-256과 서명자(지문 E6B22D9F6CB71BA9BC815EBAFDD8E9B10A25CEDD)를 확인한 후 '세부 정보' → '실행'을 선택해 주세요 - v0.1.x부터는 새로운 .msi 파일을 열면 그대로 업데이트할 수 있습니다 (대화/설정은 유지됩니다). 이용 조건과 개인정보 보호정책이 업데이트되었기 때문에, 업데이트 후에 한 번만 확인 화면이 나옵니다 - 코딩 과정에서는 AI가 읽은 파일 내용이나 명령어의 출력이 선택한 AI 연결처로 전송됩니다. 로컬 AI만 사용하면 PC 외부로는 보내지 않습니다
• 광고, 접근 분석, 개발자에게 대화나 로그를 자동으로 전송하지 않습니다
• 삭제해도 대화/설정/API 키는 삭제되지 않습니다

다음에 하고 싶은 것

• Quick Chat / Mini Chat (어디서든 호출 가능한 작은 채팅)
• PC 성능(메모리・GPU)에 맞춘 로컬 모델 사용 분배, 긴 작업 목록과 재개
• 음성 입력・읽기

계획은 변경될 수 있습니다.

맺음말

'로컬 AI에서도 단순히 채팅창에 코드를 붙여 끝내는 것이 아니라, 실제로 파일을 만들고 구동하는 곳까지'를 목표로 만든 버전입니다. 작은 모델의 한계를 포함하여 사용해 본 감상이나 오류 보고를 주시면 감사하겠습니다.

보고하실 때는 OS・앱 버전・모델명・재현 절차를 함께 기재해 주세요. API 키・대화 전문・개인 정보・코드의 비밀 정보는 포함하지 말아 주세요.

• GitHub: https://github.com/Naokuma005288/KokoroNe-AI
• 소개 영상: 【YouTube URL】
• 개발자: くなまお - 문의: [email protected]

읽어주셔서 감사합니다.

Discussion