
Claude Code에 눈을 달아주었습니다: 안드로이드 카메라를 통해 실제 하드웨어와 디스플레이를 볼 수 있는 기술 - UI 수정 중 완전
요약
Claude Code가 안드로이드 카메라를 통해 하드웨어 디스플레이를 직접 관찰하고 UI 버그를 수정할 수 있도록 하는 'claude-code-eyes' 기술을 소개합니다. 개발자가 스크린샷을 수동으로 전달할 필요 없이, Claude가 실시간 카메라 프레임을 분석하여 폰트 오류나 하드웨어 연결 상태를 스스로 확인하고 수정합니다.
핵심 포인트
- 카메라 피드를 통해 Claude Code가 물리적 디스플레이의 렌더링 오류를 직접 감지
- 수동 스크린샷 전달 루프를 제거하여 하드웨어 디버깅 워크플로우 혁신
- 흐릿한 이미지나 빈 프레임에 대해 스스로 판단하고 요청하는 지능적 설계
- Bash 스크립트와 SKILL.md 기반의 오픈소스 도구로 구현
저는 사지마비 개발자이며, Claude Code가 ESP32 프로젝트를 엔드 투 엔드(end-to-end)로 구축할 수 있는지 확인하고 싶었습니다. Claude Code는 펌웨어(firmware), 릴레이(relay), OTA, 자체 테스트까지 모두 해냈습니다. 하지만 저를 놀라게 한 순간은 따로 있었습니다. 작은 디스플레이에 텍스트가 잘못 렌더링되고 있었는데, Claude가 오래된 휴대폰 카메라로 화면을 직접 보면서 이를 수정했습니다. Claude는 깨진 출력을 확인하고, 폰트 버그를 찾아낸 뒤, 폰트를 교체하고, 다시 플래싱(reflash)했습니다.
그전까지 "Claude에게 보드를 보여주는 것"은 매우 고통스러운 수동 루프를 의미했습니다: 스크린샷 촬영 → WhatsApp으로 나에게 전송 → 다운로드 → Claude Code에 붙여넣기. 매 반복마다 이 과정을 거쳐야 했습니다. 그래서 저는 이를 하나의 기술(skill)로 만들었습니다: claude-code-eyes.
작동 방식: 스냅샷 카메라를 보드, 브레드보드(breadboard) 또는 디스플레이에 비추기만 하면 됩니다. IP Webcam이 실행 중인 오래된 Android 기기, Pi cam, 또는 말 그대로 어떤 스냅샷 URL이든 잘 작동합니다. Claude는 프레임을 가져와 다른 파일처럼 읽은 다음, 수정하고, 다시 플래싱하고, 다시 확인합니다. 이것이 바로 Claude가 단위 테스트(unit test)로는 잡을 수 없는 것들을 포착하는 방식입니다: 문자가 조용히 누락되는 폰트, 패널 가장자리에서 잘리는 텍스트, 잘못된 구멍에 꽂힌 와이어, 이전 버전과 현재 버전의 렌더링 차이 등 말이죠.
제가 자랑스럽게 생각하는 부분은, 이 기술이 자신이 무엇을 볼 수 있고 무엇을 볼 수 없는지 알도록 설계되었다는 점입니다. Claude는 흐릿하거나 너무 멀리 있는 프레임은 추측하는 대신 거절하고 더 가까이 조준해 달라고 요청하며, 빈 프레임은 "안 돼"라고 하는 대신 "카메라가 실제로 작동하는지 증명하라"고 처리합니다. (이것은 실제 고통에서 나온 결과입니다. 한 번은 설치조차 되어 있지 않은 tcpdump가 저에게 "깨끗한" 캡처를 전달했고, Claude는 자신 있게 틀린 결론을 내린 적이 있었습니다.)
약 100줄의 bash 스크립트와 SKILL.md로 구성되어 있습니다. MIT 라이선스입니다. 한 번의 명령으로 설정이 가능하며, LAN에서 IP Webcam을 스캔할 수도 있습니다. 데모(25초) + 저장소: https://github.com/fcavalcantirj/claude-code-eyes 트리거 문구, 설정, 또는 시각적 검증(visual-verify) 워크플로우에 대해 더 자세히 알고 싶으시다면 기꺼이 공유하겠습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/ClaudeAI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기