C# 앱으로 만든 프로그램 매뉴얼을 Gemini Flash Lite로 자동화시키니, 텍스트와 표는 완벽했지만 '빨간색 사각형 좌표 지정'에서

개인 개발로 Windows용 데스크톱 애플리케이션(C# / .NET)을 만들다 보면, 기능 구현만큼이나 골치 아픈 것이 바로 **'릴리스 후 매뉴얼/문서 작성'**입니다.

'애플리케이션 본체는 겨우 완성했는데, 문서 작성의 진입 장벽이 너무 높아 릴리스하기가 꺼려진다……'

개발자들이 영원히 고민하는 이런 문제를 해결하고자, '화면 캡처 × 멀티모달 AI'를 이용한 매뉴얼 자동 생성 워크플로우를 검증해 보았습니다.

결론부터 말하자면, 텍스트나 파라미터 표의 생성은 신이 났다(神がかっていた) 수준이었지만, 이미지에 대한 '자동 빨간색 사각형 오버레이'에서는 크게 난관에 봉착했습니다. 그 시행착오 기록입니다.

ClickCapture (자작 유틸리티) - 포터블로 동작하는 Windows용 경량 화면 캡처 도구입니다.

Robocopy Scheduler (자작 유틸리티) - 이번 매뉴얼의 소재가 된 프로그램. Windows 표준의 강력한 파일 복사 명령어 'Robocopy'를 GUI에서 관리하고 스케줄 실행할 수 있는 앱입니다.

Gemini Flash Lite - 매우 빠르고 간편하게 사용할 수 있는 멀티모달 AI입니다. 이미지 인식 능력과 컨텍스트 이해도가 매우 뛰어납니다.

우선 정석적인 접근 방식부터 검증했습니다.

ClickCapture의 왼쪽 클릭 연동 캡처를 활용하여, Robocopy Scheduler의 설정 흐름(작업 추가 ➔ 복사 원본/대상 지정 ➔ 백업 방식 ➔ 스케줄 설정 ➔ 저장)에 따라 클릭하면서 리듬감 있게 화면을 캡처했습니다. - 장수가 많았기 때문에 전편과 후편 두 번에 나누어 이미지를 첨부하고, Gemini Flash Lite에 다음 프롬프트를 던졌습니다.

입력 프롬프트 예시:

"이 이미지들을 바탕으로 파라미터 표가 포함된 설정 절차서를 작성해 주세요. 전반의 이미지를 첨부했으니 나머지는 다음에 첨부하겠습니다. 설정 절차서는 모든 이미지가 첨부된 후에 PDF로 생성해 주세요."

이미지 전달을 마치고 채 2분도 안 되어 생성된 내용을 확인했을 때, 다음 점들이 완벽하게 충족되었습니다.

파라미터 표 자동 구축: 화면상의 /MIR나 /COPYALL /SECFIX 같은 전문적인 설정값을 정확히 읽어내어 '설정 항목', '설정 값', '개요/비고'의 깔끔한 테이블로 정리되어 있었습니다. - 단계별 구조화: 보낸 이미지 순서에 따라 적절한 제목과 해설 텍스트가 구성되었습니다. - 완료 체크리스트 자동 부착: 사용자가 설정 누락을 일으키지 않도록 하는 체크리스트까지 자발적으로 생성되었습니다.

'이미지를 찍고 한마디만 덧붙여도, 수동으로는 1~2시간이 걸릴 기반 자료가 몇 분 만에 얻어진다'는 강력한 느낌을 받았습니다.

기본 문서가 너무 깔끔하게 만들어져서 흥분했는지 다음 욕심이 생겼습니다.

'이렇게 된 김에, 이미지 안에 '여기를 클릭!'이라는 빨간색 사각형 오버레이(하이라이트)까지 자동으로 써주면, 초보자에게 더 친절한 완벽한 매뉴얼이 되지 않을까……?'

그래서 AI에게 추가로 이렇게 지시했습니다.

추가 프롬프트:

"선택 부분이 잘 보이도록 오버레이로 테두리 등을 추가해서 초보자도 이해하기 쉬운 매뉴얼로 만들어 주세요. 선택 부분의 틀은 어긋나지 않게 세심한 주의를 기울여서 생성해 주세요."

결과는 어땠을까요. 핵심인 빨간색 사각형은 노린 버튼이나 입력란에서 미묘하게 벗어나거나, 글자 위에 겹쳐져 '아쉽다! 거기가 아니잖아!' 하는 절묘한 위치에 자리 잡고 있었습니다.

현재 멀티모달 AI에게는 **'이미지 내 UI 요소의 픽셀 좌표를 정확히 계산하여 의도한 위치에 깨끗한 빨간색 사각형을 덮어 그리는 것'**이 아직 상당히 어려운 과제였던 것 같습니다.

'전부를 완전 자동화해서 원 버튼으로 끝내는 건, 아직 조금 이르지 않을까……!'라는, 좋은 의미의 한계(실패담)를 경험하게 되었습니다.

이번 검증을 통해 개인 개발에서 문서 작성 효율화에 있어 'AI가 잘하는 것과 못하는 것의 경계선'이 명확히 보였습니다.

⚠️ [IMG:N] 형식 토큰은 이미지 placeholder 입니다. 번역하지 말고 원래 위치에 그대로 유지하세요.

AI에게 맡겨야 할 영역 (매우 자신 있는 분야)

인간이 개입해야 할 영역 (현재는 사람이 해야 하는 부분)

"문서 작성하기가 귀찮아서 개발이 멈추기 일쑤..." 하시는 분들은, 완벽한 자동화(원버튼 전자동)를 너무 목표로 삼지 마시고, 우선은 텍스트나 파라미터 테이블의 기초 골격을 AI에게 초고속으로 만들게 하는 스타일부터 적용해 보시는 것을 추천합니다!