Opus 5가 오늘 출시되었습니다. 직접 사용해 보고, 그날 바로 AI 에이전트 운용 방식을 하나 변경했습니다. 사후 보고가 아닌, 당일의 기록입니다.

먼저 말씀드리자면, 벤치마크를 측정하지는 않았습니다. 모델 통합을 결심할 수 있는 수준이라고 판단한, 그 판단에 대한 기록입니다.

변경한 점은, 메인 세션에서 사용하는 모델을 하나로 고정한 것입니다. 다만, 모델을 구분해서 사용하는 것 자체를 그만둔 것은 아니며, 선택이 일어나는 위치를 옮겼습니다.

구분해서 사용하는 것이 최적화라고 생각했다

여러 개의 AI 코딩 에이전트를 일상적으로 병용하고 있습니다. 작업 전체를 총괄하여 지시를 내리는 메인 세션, 이른바 오케스트레이터 (Orchestrator) 측의 모델을 그날의 작업 성격에 따라 선택해 왔습니다. 어려운 설계 판단이 필요할 때는 최상위 모델, 구현 시에는 다른 벤더의 CLI, 브라우저 조작 시에는 경량 모델을 사용하는 식입니다.

모델마다 특기 분야가 다르기 때문에, 용도에 맞추는 것이 더 좋은 결과를 내는 상황이 실제로 존재합니다. 구성 측면에서는 논리적이었고, 스스로는 최적화라고 생각했습니다.

보이지 않는 비용은 선정 판단이었다

문제는 출력의 질이 아니라, 선정 판단이 매번 인간의 몫으로 남아 있었다는 점에 있었습니다. 작업을 시작하기 전에 "오늘은 어떤 모델로 시작할까"를 고민해야 했고, 선택지가 늘어날수록 착수 단계가 무거워졌습니다. 한 번 선택한 후에도 "다른 모델이 더 나았을지도 모른다"라는 망설임이 작업 내내 남아 있었습니다.

이 부하를 측정하지는 않았습니다. 토큰 비용도 소요 시간도 수치화하지 않은 체감상의 기록입니다. 다만, 스스로 설계한 구조였기에 이를 비용으로 자각하기까지 시간이 걸린 것은 사실입니다. 선택지를 늘린 것은 바로 나 자신이었고, 그만큼의 판단을 매번 내가 떠맡고 있다는 사실은 의식 밖에 있었습니다.

이 전제는 명명 규칙에까지 침투해 있었습니다. 어떤 역할(Role)의 이름에는 담당할 예정이었던 모델의 이름이 앞에 붙어 있었는데, 메인을 고정하자마자 부자연스러워졌기에 당일에 모델명을 뺀 일반적인 역할명으로 개칭했습니다. 바꾸기 전까지는 그 이름에 위화감조차 느끼지 못했습니다.

그만둔 것은 구분 사용이 아니라, 나의 판단이다

Opus 5를 접하고 모델 통합을 결심할 수 있는 수준이라고 판단한 시점에서, 메인 세션의 모델을 고정했습니다. 여기서는 더 이상 선택하지 않습니다.

반면, 서브 에이전트 (Sub-agent)에게 할당하는 모델은 지금도 구분해서 선택하고 있습니다. 구동할 때 그 작업의 성격—실제로 브라우저를 조작하는지, 대량의 기계적인 처리인지—에 따라 할당되는 모델은 달라집니다. 바뀐 점은, 그것을 착수할 때마다 인간이 판단하던 것을, 구동 시 자동으로 결정되도록 만든 것입니다.

구조적으로는 판단 발생 위치의 이동입니다. 이전에는 "어떤 모델을 사용할 것인가"가 작업을 시작할 때마다 실행 시점의 인간 측에서 발생했습니다. 지금은 작업의 성격과 모델의 대응을 미리 정해 두어, 구동 시에는 그 대응이 적용될 뿐입니다. 판단의 총량을 줄인 것이 아니라, 매번 실행할 때마다 이루어지던 판단을, 단 한 번의 사전 약속으로 판단이 일어나는 위치를 옮긴 형태입니다. 구분 사용의 이점은 그대로 유지하면서, 사라진 것은 착수할 때마다 발생하는 인지 부하(Cognitive Load)였습니다.

배움

• 선택지를 늘리는 최적화는 선정 비용을 인간 측에 전가한다. 게다가 전가한 본인에게는 잘 보이지 않는다.
• "구분 사용을 그만두는 것"과 "선택하는 위치를 옮기는 것"은 다르다. 착수할 때마다 하는 인간의 판단을, 구동 시 결정되는 약속으로 내리면, 구분 사용의 이점은 남긴 채 인지 부하만 제거할 수 있다.

내릴 수 없는 판단이 마지막에 남는다

모델 선택 판단은 사전 약속으로 옮길 수 있었습니다. 하지만 인간 측의 판단이 제로가 되는 것은 아닙니다. 서브 에이전트로의 위임이 늘어날수록, 이번에는 "이것을 실행해도 되는가"라는 승인 판단이 한꺼번에 인간에게 돌아옵니다. 무엇을 맡길지는 사전에 결정할 수 있어도, 맡긴 결과를 승인할지 말지는 그 자리에서 인간이 결정할 수밖에 없습니다. AI 에이전트로부터의 승인 요청을 통합하여 처리하는 서비스로 okgate가 있으며, 무료로 시작해 볼 수 있습니다.

Discussion