AI가 코드를 작성해 줄 수 있게 되었더라도, 개발을 진행하기 위한 관리나 검증까지 자동으로 되는 것은 아닙니다.
저 자신도 비엔지니어로서 AI로 서비스를 만들고 출시 예정일을 3개월 늦추었지만, 이상적으로 완성된 상태에 도달하지 못했던 경험이 있습니다.
그때의 문제를 생각하는 단서가 된 것이 바로 AI 에이전트의 '하네스(Harness)'입니다.
본 글에서는 하네스를 AI의 실행, 상태 인계, 검증, 다음 작업으로의 이행을 지원하는 주변 메커니즘으로 다룹니다.
제 개발 지연의 원인을 단정 짓는 글이 아니라, 공식적인 개발 사례와 비엔지니어로서의 경험을 대조해 본 고찰입니다.
한 번의 지시만으로는 전체 개발을 관리할 수 없다
앱 개발은 한 번 코드를 생성하고 끝내는 작업이 아닌 것 같습니다.
요구사항을 확인하고, 변경하고, 작동시키고, 결과를 보고, 다시 변경하는 과정입니다.
대화나 작업일, 리밋을 넘어서게 되면, 지난번 어디까지 진행되었는지도 인계할 필요가 있습니다.
Anthropic은 장시간 구동되는 에이전트 실험에서, 한 번에 구현하려고 시도하면서 중간 상태를 남기는 것과, 일부 구현만 보고 빨리 완료 처리하는 것을 보고했습니다.
알고 있다면, 자동으로 질문하도록 MCP나 skill을 배포해 주었으면 좋겠다고 바라게 됩니다.
그렇지만 없는 것이 없기에, 대응책으로 기능 목록, 진행 상황 기록, Git 히스토리, 단계적 구현, 브라우저를 사용한 검증을 조합했습니다.
여기서 읽어낼 수 있는 것은 모델의 출력뿐만 아니라, 개발을 지속하기 위한 환경 설계가 결과에 영향을 미치는 것 같습니다.
이는 보고된 실험 조건에서의 지식이며, 모든 모델이나 툴이 동일하게 작동한다는 의미는 아닙니다. 또한 비엔지니어가 AI와 함께 검증한 수준입니다.
하네스를 네 가지 작업으로 파악하기
비엔지니어의 입장에서 이해한다면, 다음 분류가 도움이 됩니다.
| 작업 | 답변하는 질문 | 남기는 것의 예시 |
|---|
| 작업을 한정하기 | 이번에 어디까지 변경할까 | 대상 기능, 변경 범위 |
| ... | | |
| ※이 표는 공식 기고를 참고하여 AI와 제가 정리한 것입니다. 특정 제품의 표준 사양은 아닙니다. | | |
긴 프롬프트 전체를 작성할 수도 있지만, '쓰여 있다'는 것과 '그 절차가 실행되는' 것은 다릅니다. 애초에 장문은 꽤 건너뛰어지기 마련입니다.
확인 결과가 다음 판단에 사용될 때까지 연결해야 합니다.
비엔지니어는 어디까지 설계해야 하는가
여기서 첫 번째 질문으로 돌아갑니다.
AI에게 개발을 의뢰하는 사용자(비엔지니어)가 이 네 가지를 처음부터 설계해야 할까요. AI에 맡긴다고 해도, '그림의 문어' 같은 설계밖에 만들어 주지 못합니다.
즉, 불가능합니다!
누구에게 무엇을 제공하고 싶은지, 어떤 동작을 기대하는지는 사용자(비엔지니어)가 전달할 필요가 있습니다.
반면, 어떤 로그를 조사할지, 어떤 코드가 사용되는지, 지난번 변경 사항을 어떻게 인계할지는 도구 측에서 지원할 여지가 있습니다.
필요한 것은 이 분담을 구체화하는 것입니다. (아니, 이건 할 수 있어야 합니다)
・'xxxxxx로 해주세요'로 끝내는 것이 아니라, 부족한 정보가 무엇인지 되묻기.
・확인된 것을 근거와 함께 돌려주기.
・판단이 어려운 부분을 사용자(비엔지니어)가 상담할 수 있는 형태로 만들기.
하네스 이야기는 AI를 오래 구동하는 방법뿐만 아니라, 사람이 무엇을 짊어질 것인가에 대한 설계 이야기이기도 합니다.
미완성 앱에는 현재 위치를 파악하는 입구가 필요하다
새롭게 개발을 시작할 경우에는 처음부터 진행 상황이나 검증 메커니즘을 준비할 수 있습니다.
반면, 이미 코드가 있고 개발 도중에 막힌 경우에는, 현재 상태를 파악하는 것부터 시작합니다. 어디가 구현되었는지, 어떤 변경이 반영되었는지, 무엇이 미확인인지. 그 정보가 없으면 다음 작업을 적절하게 넘기기 어렵기 때문입니다.
저는 이 중간 참여의 어려움에 관심이 있습니다. 개발 시작 시점부터 완벽한 운영을 하고 있지 않아도, 도중에 상황을 재정리할 수 있는 지원이 필요합니다.
하네스를 구성하는 메커니즘과 미완성 앱을 점검하는 메커니즘은 역할이 다르지만, 확인 결과를 다음 개발로 넘기는 부분에서 접점이 있습니다.
진행 중인 작업
이 경험을 통해 지인의 엔지니어와 'copid_'를 준비하고 있습니다. 현재는 개발 도중의 앱을 점검하여 리포트를 생성하는 프로토타입이 완성된 단계입니다.
AI로 개발하다 막힌 앱으로 시험해 주실 분을 찾고 있습니다. 관심 있으시면 댓글로 알려주세요. 시용 조건은 개별적으로 안내드리겠습니다.
[서비스 소개・샘플 화면]
참고 자료
논의
