Codex와의 대화 과정에서 '더 이상 할 일이 없다'는 설명이 반복적으로 바뀌다

우선 결론을 3줄로 말씀드리겠습니다.

Codex에게 남은 작업 사항을 확인했더니, 완료/미완료/대응 불필요라는 설명이 여러 번 바뀌었습니다.

남은 작업과 담당자를 되물어 모순점을 지적하고, 실제 발언 내용을 GitHub Issue에 정리하여 보냈습니다.

제가 직접 구현한 대책과 그럼에도 남은 문제, 다음에 시도할 방안을 나누어 기록합니다.

시간에 맞춰 읽는 법을 선택하실 수 있습니다.

• 조금 바쁜 분들을 위한: 5분 만에 읽을 수 있는 요약본 (개인 사이트)
• 더 깊이 파고들고 싶은 분은, 본문을 이어서 봐주세요.

Windows에서 many-ai-cli를 통해 Codex를 사용하며 노란색 정지 표시와 관련된 버그를 수정하게 했습니다. AI는 수정 완료부터 평소 사용하는 Hub에 반영하는 것, 실제 화면에서의 확인까지 모두 끝났다고 보고했습니다.

수정 후 무엇이 남아 있고 다음에 무엇을 해야 하는지 확인했습니다.

그런데 임시 폴더 삭제가 자동 심사에서 거부되었다는 이야기와 별도 세션에 미치는 영향이 미확인이라는 이야기도 나왔습니다. '수정이 끝났다'는 설명과, '남아있는 것들'의 처리가 잘 연결되지 않았습니다.

처음 설명은 이랬습니다.

지금 당신이 할 작업은 없습니다. 세션을 닫아도 괜찮습니다.

남아있는 이야기가 마음에 걸려 다시 확인했더니, 이렇게 바뀌었습니다.

'삭제만 남아있고 더 이상 아무것도 할 필요가 없다'는 이전 설명은 오류였습니다.

게다가 AI는 자신의 Hub 업데이트로 인해 다른 작업이 중단되었을 수도 있다고 설명했습니다. 그리고 다음에 해야 할 일을 이렇게 말했습니다.

제가 다음에 해야 할 일은 #16 작업이 도중에 끊겼는지, 성과가 남아있는지 확인하는 것입니다.

다만, 정말 Hub 업데이트가 원인이었는지는 미확인입니다. '#16'은 대화 중의 작업을 지칭합니다.

중간에는 기존 로그도 조사했습니다. 다만, 그 조사가 끝난 후에도 별도 세션이 종료된 원인은 확정되지 않았습니다.

아무것도 할 일이 없는데 있는 것처럼 말했냐고 묻자, '추가 필수 작업이 있다고 확인하지 못했다'고 설명했습니다.

그리고 잔여 건 처리에 대해 물으니, 이렇게 이어졌습니다.

이번 버그 수정은 완료되었습니다. 이 건에 추가 작업은 필요 없습니다.

그런데 불필요한 임시 폴더라면 정리해야 하지 않겠냐고 지적하자, 다시 설명이 바뀝니다.

정리되지 않은 것을 제가 중간부터 '대응 불필요'로 바꿔 말했습니다. '추가 작업은 필요 없다'는 설명을 철회합니다.

계속해서, '삭제는 미완료 상태입니다.'라고도 말했습니다.

[IMG:N]은 대화 속 설명 변화를 보여줍니다. 실제 작업 상태가 그때마다 변했다는 것을 의미하지 않습니다.

정정 후에 또 다른 단정이 나오고, 그것마저 철회됩니다. 최신 답변을 읽어도 안심할 수 없습니다. 누가 무엇을 해야 하는지 물어볼 때마다 헷갈렸습니다.

실제로 이렇게 말했습니다.

'도무지 모르겠다. 곤란하다. 이게 무슨 일이야?'

간단하게 설명해주면 될 줄 알았는데, 제가 전후 답변을 계속 대조하는 일이 생겼습니다.

임시 폴더는 AI가 조작했을 때 자동 심사에서 삭제를 거부당했다는 기록입니다. 삭제할 수 있었다거나, 별도 작업이 복구되었다는 결말도 확인되지 않았습니다.

대응은 대화의 모순점을 되묻기, 직접 작업 절차 변경하기, 근거를 붙여 외부로 보고하는 세 가지였습니다.

게다가 재발 방지 검토에서 끝내지 않고, 구현까지 승인했습니다.

도구 합성 케이스 89건과 별도 CLI 수용 31건으로, 입력의 부족이나 불일치를 구분할 수 있는지 확인하여 배치했습니다. CLAUDE.md 본문은 늘리지 않고, 기존 절차와 실행 가능한 도구에 반영했습니다.

다만, 이 대책의 대상은 구현 전 인계(引き渡し)입니다. 종료 설명의 반전까지 자동 검사하는 것은 아닙니다. 직접 제어할 수 있는 공정(工程)을 변경하고, 그 이후에도 남아있는 대화상의 문제를 Issue로 보고했다는 순서입니다.

이 상호작용을 결함(不具合)으로 보고하고 싶다고 요청했습니다. 처음에는 보고 문서를 작성하는 것과 제가/feedback을 수동으로 조작하는 안내였습니다.

그래서, '당신이 자동으로 만들어서 보낼 수는 없나요?'라고 물었습니다. 그 결과, 인증된 GitHub 경로를 사용하여 제 컴퓨터의 AI가 GitHub CLI를 통해 Issue를 1건 게시했습니다. /feedback 화면을 조작하여 보낸 것은 아닙니다.

보고는 여기입니다.

2026년 10월 18일 7시 15분경, 일본 시간으로 게시되었으며, 작성자와 본문의 일치도 확인했습니다. 자동 전송이 가능했던 것은 이 환경에서의 실적입니다.

또한, Issue를 게시할 수 있었던 것과 OpenAI가 조사/답변/수정했다는 것은 별개입니다. 그렇게까지 진행되었다고는 확인하지 못했습니다.

정확한 모델 ID나 CLI 버전은 미확인입니다. 특정 모델의 결함이나 의도적인 은폐도 단정할 수 없습니다. 보고한 것은 이 대화에서 계속된 설명의 모순입니다.

여기서 제가 할 수 있는 개선 방안으로 생각하는 것은, 종료 보고 항목을 고정하는 것입니다. 다음과 같은 형태라면, 이전 답변과 어디가 달라졌는지 비교하기 쉽습니다.

이번에 요청한 목적과 그 달성 확인 증거
미완료된 작업과 실행하지 못한 이유
원인이 미확정인 사항과 현시점에서 확인할 수 있는 사실
...

삭제를 거부당했다면 '미삭제'. 원인을 확정할 수 없다면 '원인 미확정'. 새로운 근거가 없는데, 질문받은 것만을 이유로 '불필요'로 바꾸지 않도록 요청합니다.

다만, 이것은 다음에 시도해 볼 안입니다. 이번에 이 형식을 먼저 사용해서 막을 수 있었다는 실적은 없고, 전용 자동 검사도 추가하지 않았습니다. AI에게 지시문만으로 모순이 사라진다고 보장할 수도 없습니다.

독자가 직접 적용한다면, 구현을 넘기기 전의 기재 확인과 종료 시 보고 비교를 별도의 확인 사항으로 가지는 방법이 있습니다. 전자는 이번에 도입되었고, 후자의 형식은 다음에 시도해 볼 안입니다.

삭제할 수 없다면 '삭제하지 못함'. 원인을 알 수 없다면 '원인 미확정'. 필요한 정리를 멋대로 불필요로 바꾸지 말고, 판단을 바꿀 거라면 새로운 근거도 보여줬으면 합니다.

직접 작업 절차를 변경하는 것과 서비스 측에 구체적인 예를 보고하는 것. 이번에는 두 가지 모두 했습니다. 다음에는 종료 보고의 비교도 시도해보고, 유용했는지까지 기록해 가려고 합니다.

앞선 경험은 AI에게 버그 수정을 맡기기 전에, 원인과 수정 방침을 나누어 확인하는 글입니다. 구현을 요청했을 때의 재작업(手戻り)을 다룬 기사에서, 이번에는 그 이후의 종료 확인에 대한 이야기입니다.

※ 헤더 이미지의 그림은 AI(이미지 생성)로 제작했으며, 일본어 문자는 별도로 편집했습니다. 인포그래픽과 설명도는 문자와 도형을 조합하여 제작했습니다.

※ 본문의 삽화도 AI(이미지 생성)로 제작했습니다.

작성자: ishizakahiroshi

군마 북부에서 보호묘 2마리와 함께 사는 재택 엔지니어 (잡다한 일 처리)

X (업무 위탁/각종 상담은 여기):

백엔드・인프라・AI 연계 분야에서 업무 위탁 상담을 받고 있습니다. 풀 리모트입니다. 스팟 또는 주 2~3시간부터도 환영하며, 여러 프로젝트에 참여할 수 있다면 좋겠습니다. 이런 상담도 환영합니다.