ドット絵の仙人が虫めがねで画面のバグを照らしている。「ユーザーは、バグを報告してくれない。」人からの報告32件、自分のチェックで発見1,069件
개인적으로 앱을 만들고 있습니다. Cursor와 Claude Code를 사용해서 대부분의 코드를 작성했으며, 현재 8개의 앱이 작동하고 있습니다. 개발은 혼자 진행하고 있습니다.
곤란했던 부분은 제가 한 줄씩 직접 작성하지 않은 코드의 버그였습니다. '작동하지 않는다'는 말을 들어도 어디부터 봐야 할지 모르는 경우가 있었습니다. 그래서 버그 리포트를 AI에게 읽히고, 수정 PR(Pull Request)을 AI 에이전트가 생성하도록 했습니다. 시스템 구조는 이전 글에 적었습니다.
처음에는 잘 작동하는 것처럼 보였습니다. 테스트도 통과했습니다. 하지만 자세히 살펴보니 '수정되지 않은' 내용이 섞여 있었습니다.
두 번째 AI에게 리뷰 요청하기
城門の前で仙人が手を上げ、修正を運ぶロボットを止めている。「その修正、まだ通さぬ。」AIレビュー839回、「マージするな」305回
그래서 수정 PR이 병합(merge)되기 전에, 다른 모델에게 '원래의 버그 리포트'와 '차이점(diff)'을 나란히 읽게 하고, '병합해도 좋다', '먼저 고쳐라', '병합하지 마라' 중 하나를 이유와 함께 반환하도록 했습니다.
최근 60일간의 수치입니다 (10월 29일 기준, 제 앱만). 공개 페이지에서 언제든지 볼 수 있습니다.
- 리뷰 839회, 그중 '병합하지 마라'가 305회
- 병합된 수정 사항 234건
막았던 사례 중 하나를 소개합니다. 관리 화면에 '모두 분류됨(すべて仕分け済み)'이라는 배너가 표시되고 있음에도 불구하고, 그 아래의 '다음으로 분류할 3개 항목' 목록에는 여전히 보고서가 남아있다는 버그였습니다. 에이전트의 수정은 배너가 계산하는 대상을 넓혔을 뿐, 목록 자체는 전혀 건드리지 않았습니다. 테스트는 통과했습니다.
AIレビューのコメント「Hold: don't merge this as it is」。報告の問題を直していない、と判定している
실제 리뷰 코멘트입니다. 1번째 줄의 'Fixes the report: No'가 판정입니다.
리뷰 AI는 이를 '보고서 문제를 고치지 않았다'고 판단하여 막았습니다. 이 PR과 리뷰는 GitHub에서 그대로 읽을 수 있습니다.
오류를 일으키지 않는 버그
仙人が赤い大きなバグのボスと対決している。「エラーは出ない。でも、バグはいる。」
또 다른 예시는 어학 앱(glot.it)입니다. 초기 안내 화면에서 누군가가 '건너뛰기' 버튼을 3번 연속으로 눌렀습니다. 에러는 아무것도 발생하지 않았습니다. 그 사람은 보고도 하지 않았습니다. Sentry가 '연타'로 포착한 것을 Mushi Mushi가 읽고 원인을 추정하여 작성했습니다.
実際の診断画面。エラーもネットワークの失敗もないので原因は推測だと書き、自信度は50%と表示している
실제 진단 내용입니다. 증거가 없으므로 추측이며, 자신감도는 50%라고 제가 적었습니다.
이 건은 순조롭게 해결되지 않았습니다. 에이전트는 3번 실패했고, 네 번째에 나온 PR을 병합했습니다.
가장 의외였던 점
夜の村で人影が黙って去っていく。「村人は、何も言わずに去っていった……」マージした修正234件のうち、ユーザーの報告から1件
사용자는 버그를 거의 보고해주지 않습니다. 60일 동안 8개 앱에서 실제 사람으로부터의 보고는 32건이었습니다 (게다가 일부는 제 테스트입니다).
반면, 제가 직접 설치한 체크(AI 코드 감사, Sentry, 사이트 순회, 제가 작성한 보고)를 통해 발견된 버그는 1,000건을 넘었습니다. 병합된 수정 사항 중 사용자의 보고에서 시작된 것은 단 1건에 불과합니다.
버그는 대체로 보고되지 않습니다. 곤란한 사람은 조용히 떠나갑니다.
현재 개발 중인 것
이 시스템을 Mushi Mushi라는 오픈소스 도구로 만들고 있습니다 (SDK는 MIT, 서버는 AGPL). 앱에 보고 버튼을 두면, 보고 건마다 원인을 쉬운 말로 설명하고 Cursor나 Claude Code에 그대로 전달할 수 있는 수정 지시를 만듭니다. 보고서를 기다리지 않고도, 처음 사용자인 척하며 헤매는 장소를 찾는 테스트나, 사이트 감시, 알려진 취약점 체크도 수행합니다.
아직 초기 단계라 사용하는 것은 거의 저 자신입니다. 설정 과정도 너무 복잡하다고 생각합니다.
AI가 작성한 앱을 사람들에게 사용하게 하는 분들께 여쭙고 싶습니다. 사용자들은 버그를 보고해주나요? AI의 수정 내용을 어떻게 신뢰하고 계신가요?
토론