C# 앱 매뉴얼 작성을 Gemini Flash Lite로 자동화해 보기 (성공과 진흙탕의 검증 기록)

Windows용 데스크톱 애플리케이션(C# / .NET)을 개인 개발하면서, 기능 구현만큼이나 비용이 드는 것이 바로 **'릴리스 후 매뉴얼/문서 작성'**입니다.

• 스크린샷을 한 장씩 찍고,
• 페인트 툴로 빨간 상자나 화살표를 여기저기 넣고,
• 이미지를 배열하며 절차 문장을 생각하고,
• 파라미터 설명표를 처음부터 만드는 작업.

"코드를 짜는 건 즐거운데, 문서 작성의 무게감 때문에 출시가 귀찮아진다..."

"어쨌든 AI를 사용해서 철저하게 게으름 피우고 싶다!"

이러한 동기에서 '화면 캡처 × 멀티모달 AI'를 통한 매뉴얼 자동 생성 워크플로우를 검증해 보았습니다.

결론부터 말하자면, 텍스트나 파라미터 표의 추출 및 구조화는 신이 내린 수준이었지만, 이미지에 대한 '자동 빨간 상자 오버레이'에서는 대대적으로 진흙탕에 빠졌습니다. 그 실험 기록입니다.

🛠️ 이번 스택 / 툴 구성

• ClickCapture (자가 제작 툴) - 포터블로 동작하는 Windows용 경량 캡처 유틸리티.

• 마우스 왼쪽 클릭과 연동하여 클릭 순간을 빠르게 연속 캡처할 수 있으며, Ctrl + Drag로 필요한 영역만 잘라내는 기능이 있는 자작의 파트너.

• Robocopy Scheduler (자가 제작 툴) - 이번 매뉴얼의 주제가 된 앱. Windows 표준의 강력한 파일 복사 명령어인 'Robocopy'를 GUI에서 관리 및 스케줄 실행할 수 있는 C# 기반 데스크톱 애플리케이션.

• Gemini 2.0 Flash-Lite - 폭속으로 동작하는 멀티모달 AI. 이미지 인식과 텍스트 구조화 능력이 높음.

🟢 검증 1: 파라미터 표 및 절차의 자동 구조화 (대성공)

우선 캡처 이미지에서 텍스트나 표를 얼마나 자동으로 생성할 수 있는지 검증했습니다.

워크플로우

• ClickCapture의 왼쪽 클릭 연동 기능을 사용하여, Robocopy Scheduler 설정 흐름(작업 추가 ➔ 복사 원본/대상 지정 ➔ 백업 방식 ➔ 스케줄 설정 ➔ 저장)에 따라 화면을 연속 캡처했습니다. - 이미지 장수가 많아 전편/후편으로 나누어 첨부하고 Gemini Flash Lite에 다음 프롬프트를 입력했습니다.

이 이미지들을 바탕으로, 파라미터 표가 포함된 세팅 절차서를 작성해 주세요.
전반의 이미지를 첨부했으니 나머지는 다음에 첨부하겠습니다.
세팅 절차서는 모든 이미지가 첨부된 후에 생성해 주세요.

결과

이미지를 다 보내고 2분도 채 되지 않아, 완벽하게 구조화된 문서의 기반이 탄생했습니다.

• 파라미터 표 자동 추출: 화면상의 /MIR나 /COPYALL /SECFIX 같은 전문적인 설정값을 정확히 읽어내어 '설정 항목', '설정 값', '개요/비고'의 깔끔한 테이블로 정리.
• 단계별 구성: 이미지 시퀀스를 올바르게 인식하여 적절한 제목과 절차 해설을 작성.
• 체크리스트 추가: 사용자가 설정 누락을 일으키지 않도록 체크 항목까지 자동으로 생성.

💡

얻은 지식: 수동으로 할 경우 1~2시간이 걸리는 '화면을 보면서 파라미터를 글로 옮기는 작업'이, 이미지를 던져주는 것만으로 순식간에 끝난다.

🟡 검증 2: 빨간 상자 오버레이 (좌표 지정) 자동화 (실패/진흙탕화)

기본 문서와 표가 너무 완벽했기 때문에, 더 나은 경량화를 목표로 욕심을 부렸습니다.

"화면 내에서 클릭해야 할 위치(UI 요소)에 자동으로 '빨간 상자 하이라이트'를 그려서 삽입해 주지 않을까?"

추가로 다음 프롬프트를 투입했습니다.

선택 부분이 눈에 잘 띄도록 오버레이로 틀 등을 추가해서 초보자도 이해하기 쉬운 매뉴얼로 만들어 주세요.
선택 부분의 틀은 어긋나지 않게 세심한 주의를 기울여서 생성해 주세요.

결과: 아슬아슬하게 위치가 어긋나는 빨간 상자

현실은 녹록치 않았습니다. 생성된 이미지를 확인해보니, 빨간 상자는 노린 버튼에서 미묘하게 벗어나거나, 입력란의 글자 위에 겹쳐져서 '아깝다! 거기가 아니잖아!' 싶은 결과였습니다.

왜 진흙탕에 빠졌나 (고찰)

현재 멀티모달 LLM에게는 '이미지 내의 컨텍스트(무엇이 쓰여 있는지)'를 해석하는 것은 능숙하지만, '픽셀 단위의 절대 좌표를 정확하게 계산하여 그 위치에 핀포인트로 도형을 그리고 합성하는' 작업은 정밀도 면에서 아직 큰 벽이 있습니다.

「원 버튼으로 비주얼까지 100% 완전 자동화」를 목표로 하는 것은, 현시점에서는 오히려 효율을 떨어뜨리는 것임을 알게 되었습니다.

💡 요약: 개인 개발에서의 AI 문서 생성의 '경계선'

이번 검증을 통해 발견한 AI 자동화의 분리(경계선)는 다음과 같습니다.

| 작업 | AI에게 맡기기 (자동화) | 사람이 해야 할 것 |
|---|---|
| 화면으로부터 설정값・파라미터 읽어내기 | ✅ | - |
| ... |
「만드는 것은 좋아하지만 문서 작성은 귀찮다」는 개인 개발자분들은, 100%의 완전 자동화를 목표로 하기보다는 '귀찮은 텍스트 추출과 테이블화는 AI에게 초고속으로 맡긴다'라는 선을 긋는 것이 가장 비용 효율적이라고 느꼈습니다.

마찬가지로 개인 개발에서 게으르고 싶은 분들께 참고가 되기를 바랍니다!

관련 링크

• 화면 캡처 도구: ClickCapture
• 백업 도구: Robocopy Scheduler

Discussion