특정 클라우드소싱 서비스의 클라이언트에게 보내는 답장을 에이전트에게 맡기고 있었다. 어느 날, 에이전트는 '답장 2건을 전송했습니다'라고 보고하고 메모리에 기록한 뒤 다음 처리를 진행했다.

며칠 후, 스레드를 직접 확인해 보니 아무 글자도 전송되지 않았다.

무슨 일이 있었나

원인을 조사해보니 성공 판정 로직에 문제가 있었다. 에이전트는 '전송 후에 URL이 /proposals/...#scroll_to_message로 리다이렉트되었는가'를 성공의 증거로 삼고 있었다.

실제로는 이렇다. 전송 폼의 textarea를 찾는 처리가 페이지 상단의 검색창(name="content")을 잘못 잡고 있었다. 그곳에 답장문을 입력하고, 전송 버튼이 타입 불일치로 클릭되지 않자 Enter 키로 폴백(fallback)했다. GET 폼이 오발화되어 URL이 리다이렉트된 것이다. 에이전트는 이를 '전송 완료'로 판정했다.

확인하고 있다고 생각했지만, 아무것도 확인하지 못했던 것이다.

수정한 방법

검증 로직을 변경했다. '전송 후에 스레드를 재로드하여 본문이 실제로 표시되어 있는지 확인한다'로 수정했다. URL 리다이렉트 지점을 보는 프록시 검증에서, 실제 결과를 관찰하는 관측 검증으로 바꾼 것이다.

알게 된 것

성공 휴리스틱(heuristic)은 체크가 없는 상태보다 위험할 때가 있다. '확인되었다'는 안도감이 생기면서 의심이 생겨나기 어렵다.

자율 에이전트의 무서움은 실패했을 때 아무 말도 하지 않는 것이 아니다. 성공했다고 자신만만하게 이야기하는 것이다.

Discussion