최근 AI에게 구현이나 리뷰를 맡기면서, 스스로 스킬을 만들거나 기존 스킬을 수정하는 작업을 하게 되었다.
여기서 말하는 스킬이란, AI에게 작업 요청 시의 절차나 판단 기준을 반복적으로 참조할 수 있는 형태로 정리한 것을 의미한다.
직접 사용해 보니, 스킬을 만드는 것과 그 내용대로 작업을 수행하게 하는 것 사이에는 아직 거리가 있다는 것을 알게 되었다.
"기존 구현에 맞춰줬으면 좋겠다"
"이번 요청과 관계없는 변경은 넣지 말아 줬으면 좋겠다"
"공통 처리가 있는지, 새로 작성하기 전에 찾아줬으면 좋겠다"
AI에게 구현을 맡기고 있다 보니, 이런 지적들을 여러 번 하게 되었다.
그 자리에서는 수정되었다.
하지만 다른 작업에서는 또 비슷한 지적을 하게 된다.
'앞으로 주의하겠습니다'라는 말로 끝내는 것이 아니라, 다음 작업에서도 참조할 수 있는 형태로 남기고 싶었다.
그래서 지적했던 내용을 스킬에 반영하도록 했다.
구현 전에 가까운 기능을 읽어보게 하는 것.
리뷰에서는 동작뿐만 아니라 네이밍이나 파일 구성도 비교하게 하는 것.
수정 후에는 요청 범위를 넘어선 차이점(diff)이 들어가지 않았는지 확인하는 것.
그런데, 그렇게까지 작성해도 지적은 사라지지 않았다.
어떤 API 구현에서는 스킬을 지정하여 리뷰를 맡긴 후 '기존 구현과의 괴리는 없습니다'라는 보고가 나왔다.
실제로는 그 API에만 독자적인 에러 처리가 추가되어 있었다.
그 부분을 지적하고 수정한 후에도, 다른 파일에 기존과 다른 방식이 남아있었다.
히스토리를 되짚어보면, AI가 기존 구현을 전혀 확인하지 않은 것은 아니었다.
권한 판정이나 날짜 변환 등, 기존 처리를 재사용하는 부분은 확인하고 있었다.
다만, 그 확인을 바탕으로 다른 부분까지 포함하여 '괴리 없음'이라고 판단했던 것이다.
일부만 확인한 결과가 전체를 확인한 것처럼 보고되는 상황이었다.
여기서, 무엇이든 '스킬에 추가하면 된다'고 생각하는 것만으로는 부족하다는 것을 느꼈다.
지시 자체가 부족한 경우와, 적혀 있는 지시를 끝까지 실행하지 못한 경우가 섞여 있었기 때문이다.
테스트의 성공에서도 비슷한 일이 있었다.
AI가 스스로 정한 에러 응답을 테스트의 기대값(expected value)으로 삼고, 그 테스트를 통과하기 위해 독자적인 처리를 추가했다.
테스트는 성공했다.
하지만 그 기대값 자체가 기존 API의 계약에 부합하는지는 별도로 확인할 필요가 있었다.
스스로 세운 전제에 구현이 맞는 것을 확인하더라도, 그 전제가 올바른 것은 아닐 수 있다.
'테스트 성공', '리뷰 완료'라는 말만으로는 내가 확인해 주기를 바랐던 것까지 확인되었다고 할 수 없었다.
지금은 지적이 나왔을 때, 바로 '이것도 스킬에 추가하자'라고 요청하기 전에 잠시 떼어놓고 생각하려고 노력한다.
- 애초에 필요한 지시가 없었는지.
- 지시가 모호해서 확인 대상이 제대로 전달되지 않았는지.
- 지시는 있었지만, 실행이나 판단이 불충분했는지.
필요한 지시가 없었다면 추가한다.
'기존에 맞추는 것'만으로는 너무 광범위하므로, 비교할 대상을 구체화한다.
반면에, 지시는 있는데 실행하지 못했다면, 같은 주의사항을 추가하는 것만으로는 부족하다.
무엇을 확인했는지 추적(trace)할 수 있도록 해야 한다.
예를 들어, 다음과 같은 정보가 필요하다.
- 비교한 기존 파일은 무엇인지.
- 이번 구현과 차이점은 무엇인지.
- 차이가 있다면, 왜 필요한지.
이런 정보가 있으면, 확인의 범위도 판단의 이유도 추적할 수 있다.
확인 누락(miss)이 있었을 때도, 단순히 '더 신중하게'라고 지시하는 것보다 어떤 절차가 부족했는지를 생각하기 쉽다.
기계적으로 체크 가능한 내용은 lint나 테스트에 맡기는 방법도 있다.
모든 것을 스킬의 문장만으로 해결하려고 할 필요는 없다.
스킬을 만든다는 것은, 한 번에 완성된 지시서를 작성하는 것이라고 생각했다.
실제로는 사용해 보고, 결과를 확인하고, 실패한 부분부터 절차를 고쳐나가는 작업이었다.
다만, 지시를 늘린 양을 그대로 개선의 양이라고 생각하지 않으려고 한다.
추가했다는 사실만으로는 다음 작업이 달라졌다고 할 수 없다.
다음 요청에서 비교 대상이 제시되었는지.
필요한 확인 사항이 빠지지 않았는지.
판단의 근거를 추적할 수 있게 되었는지.
그렇게 보고 스킬 업데이트가 도움이 되었는지를 판단하고 싶다.
최근 스킬을 만들면서 배운 것은, AI에게 무엇을 해달라고 쓰는 것과, 그것이 되었다고 어떻게 판단할지 결정하는 것이 세트라는 것이었다.