AI에게 코드를 개선하도록 요청하면, 변경된 코드와 함께 '테스트가 통과했습니다'라는 보고서가 돌아옵니다. 속도 향상이 목적이라면, 여기서 한 가지 더 확인할 수 있는 것이 있습니다. 정말로 채택할 만큼의 속도가 되었는지 여부입니다.
이번에는 직접 만든 실험 워크플로우인 'AI 탐구 연구소(AI探求ラボ)'에서 팟캐스트 선정에 사용되는 클러스터링 처리의 대체 구현을 시도했습니다. 출력 비교는 통과했지만, 속도는 사전에 설정한 기준에 도달하지 못했고, 측정된 총 10세트 모두 기존 버전보다 느렸습니다.
남은 것은 '속도 목적으로 교체할 근거가 없다'는 판단과, 그 판단을 추적할 수 있는 기록입니다.
이 글에서는 2026년 9월에 진행했던 실험을 되돌아보며, AI에게 구현과 검증을 맡길 때 어떤 조건과 기록을 남겼는지 소개합니다. 이 글 작성 시 성능 측정을 재실행한 것은 아닙니다.
대상은 기사 후보 벡터를 평균 연결법(平均連結法)으로 통합하는 Node.js 처리입니다. 클러스터 간의 유사도를 비교하여 순차적으로 결합하고, 각 클러스터의 대표 기사나 멤버를 반환합니다.
기존 버전은 기사들 간의 유사도와 클러스터 간의 유사도의 합계를 유지하고 있습니다. 결합할 때마다 모든 멤버 조합을 다시 계산하는 것이 아니라, 유지된 합계를 업데이트하는 구현입니다.
대체 버전에서도 이 계산 방침은 유지하되, 내부 데이터 표현 등을 변경했습니다. 예를 들어, 기존 버전의 Float64Array를 사용한 행렬을 일반 Array로 대체했습니다. 멤버 배열 결합에도 변경이 있습니다.
따라서 이번 비교는 단순히 'TypedArray와 Array 중 어느 것이 더 빠른가'라는 실험으로 다룰 수 없습니다. 여러 변경 사항을 포함하는 두 구현 전체의 비교입니다.
이번 실험에서는 구현과 측정을 시작하기 전에 지지 조건을 고정했습니다. 결과에 따라 좋은 숫자에 판단 기준을 맞추지 않기 위한 절차입니다.
- 동일한 입력에 대해 필요한 출력이 일치한다.
- 허가된 변경 범위를 지킨다.
- 비교 가능한 측정을 2배치 × 5세트, 총 10세트를 확보한다.
**각 배치에서 대체 버전의 시간 중앙값이 기존 버전보다 10% 이상 짧다.**10세트에 대응하여 계산한 부트스트랩(bootstrap) 95% 구간의 하한도 단축률 10% 이상이 되어야 한다.
10%는 이번 실험에서 설정한 판단 기준입니다. 속도 향상 실험이라고 해서 항상 이 숫자가 맞는 것은 아닙니다.
그림 1: 코드를 작성하기 전에 무엇을 확인할지, 어떻게 판단할지를 고정했다.
구현하는 장소도 분리했습니다. 기존 버전과 기존의 인수 테스트(受入テスト)를 격리된 작업 공간으로 복사했으며, 추가 가능한 것은 대체 모듈과 벤치마크의 두 파일뿐입니다. 의존성 추가와 네트워크 연결은 하지 않았고, 원본 두 파일의 해시가 변하지 않은 것도 확인했습니다.
여기서 지키고자 했던 것은 비교 대상을 도중에 바꾸지 않고, 시도한 변경 사항과 측정 결과를 대응시킬 수 있다는 점입니다.
출력 일치는 다음 3가지 종류의 고정 입력으로 확인했습니다.
| 입력 | 확인할 내용 |
|---|
| 기존 인수 케이스 | 원래 기대했던 결과를 망치지 않았는지 |
| ... | |
| 비교한 것은 클러스터 수만은 아니었습니다. 대표 기사, 클러스터 ID, 멤버의 순서, 반올림된 유사도, 구현 메타데이터를 포함하는 반환값을 깊이 비교했습니다. 결과는 3가지 케이스 모두 일치했습니다. | |
예를 들어, 클러스터 내용물이 같더라도 대표 기사가 다르면, 후속 단계에서 읽을 기사가 달라질 가능성이 있습니다. 동점일 때의 순서도 재현 가능한 출력을 원한다면 사양의 일부입니다.
하지만 3가지 케이스에서 일치했다는 것이 모든 입력에 대해 등가하다는 증명은 아닙니다. 경계값, 잘못된 입력, 대규모 무작위 입력까지 망라한 차분 테스트(差分テスト)는 이 실험 범위 외입니다.
속도 측정에는 동등성 확인에도 사용했던 32개의 고정 입력을 사용했습니다. 벤치마크 코드를 읽어보면 조건은 다음과 같습니다:
| 항목 | 이번의 조건 |
|---|
| CPU | Intel Core i7-10700 |
| ... | |
| 실제 기사에서 만든 고차원 임베딩(high-dimensional embedding)을 대량으로 처리한 측정은 아닙니다. 파일 읽기나 임베딩 생성까지 포함하지 않고, 입력이 준비된 후의 클러스터링 함수 호출만을 측정하고 있습니다. 따라서 팟캐스트 제작 전체가 몇 초 단축되는지에 대한 수치도 아닙니다. | |
각 배치에서는 기존 버전 → 대체 버전, 대체 버전 → 기존 버전 순서를 번갈아 가며 실행했습니다. 먼저 돌아가는 구현이 항상 같아지는 것은 피했지만, 각 배치가 5세트이므로 전체적으로는 기존 버전 선행이 6세트, 대체 버전 선행이 4세트입니다. 완전히 균등한 순서 설계는 아닙니다.
측정 전에는 동등성 확인 실행 외에도, 각 고정 입력 및 각 구현에 대해 한 번씩 집계하지 않는 워밍업 호출(warm-up call)이 있습니다. 충분히 JIT가 안정된 정상 상태를 확인했다고 볼 수 없습니다.
원본 측정값은 다음 그림과 같습니다. 한 개의 막대는 함수를 25회 호출한 총 시간입니다.
그림 2: 저장된 원본 측정값을 도식화. 단위는 밀리초(ms)이며, 짧을수록 빠릅니다.
배치별 중앙값을 정리하면 다음 결과가 나왔습니다.
| 배치 | 현행 버전 중앙값 | 대체 버전 중앙값 | 시간 단축률 |
|---|
| 1 | 5.1830 ms | 7.5127 ms | -44.95% |
| 2 | 5.3432 ms | 8.8978 ms | -66.53% |
시간 단축률은 다음 수식입니다.
const reduction = (baselineTime - alternativeTime) / baselineTime;
플러스(+)라면 시간이 짧아졌고, 마이너스(-)라면 길어졌다는 의미입니다. 배치 1의 -44.95%는 중앙값으로 비교했을 때 대체 버전의 처리 시간이 약 1.45배였다는 뜻입니다.
집계에서는 유사한 두 가지 숫자를 구분하고 있습니다.
- 표의 단축률: 배치 내에서 현행 버전과 대체 버전의 중앙값을 각각 구하여 그 비율로부터 계산합니다.
- 부트스트랩(Bootstrap): 각 그룹의 단축률을 구한 후, 10개의 그룹으로부터 복원 추출하여 그 중앙값 분포를 만듭니다.
후자는 고정된 seed로 10,000회 재표본화(resampling)하여 얻은 95% 분위수 구간입니다. 결과는 **-86.10%~-32.97%**였습니다. 각 배치의 중앙값에 따른 단축률도 이 구간의 하한선에도 미치지 못합니다.
따라서, 이번 기록을 근거로 한 판단은 '속도 개선 가설은 지지되지 않음'입니다. 측정된 조건에서는 속도를 이유로 현행 버전을 대체할 근거를 얻지 못했습니다.
실험 기록에는 실행이 completed(완료), 품질 검증이 passed(통과), 완료 조건이 met(충족)이라고 쓰여 있습니다. 반면, 가설의 평가는 지지되지 않습니다.
이 두 가지는 대상이 다릅니다.
그림 3: 절차를 완료한 것과 기대했던 개선을 관측할 수 있었던 것을 별도로 기록합니다.
실험의 완료 조건은 변경 범위, 테스트, 측정, 환경, 평가의 기록을 모두 갖추는 것이었습니다. 고속화 지지 조건은 그것들이 모두 갖춰진 상태에서 속도의 임계값(threshold)을 충족하는 것입니다.
이 구분을 하지 않고 '테스트 성공', '품질 검증 passed'만을 짧게 요약하면, 기대했던 성능 개선까지 달성한 것처럼 읽힐 수 있습니다. 결과를 반환할 때는 최소한 다음을 별도 항목으로 분리하는 것이 좋을 것 같습니다.
{
"experiment_status": "completed",
"equivalence_on_tested_inputs": true,
...
}
이는 기사용으로 간략화된 표현입니다. '무엇이 끝났는지'와 '무엇을 알게 되었는지'를 별도의 항목으로 남기려는 의도를 보여줍니다.
이번 측정에는 명확한 한계점도 있습니다.
- 입력 범위가 좁습니다. 속도 측정은 32개의 후보, 4차원, 임계값 0.8의 단일 케이스입니다. 후보 수, 차원, 임계값을 변경하여 비교하지 않았습니다.
- 실행 환경의 영향을 제거하지 못했습니다. CPU affinity나 부하 격리(load isolation)는 설정하지 않아 JIT(Just-In-Time), GC(Garbage Collection), OS 스케줄링, 동시에 작동하는 처리의 영향이 남아 있습니다.
- 기록 수가 적습니다. 동일한 프로세스 내에서 연속으로 측정한 10개 그룹입니다. 부트스트랩을 10,000회 수행하더라도, 원래 관측치가 10개라는 점이나 측정 조건의 편향성은 해소되지 않습니다.
- 느려진 원인까지는 구분하지 못했습니다. 배열의 종류뿐만 아니라 결합 처리(joining process) 등도 변경되었습니다. 프로파일러나 변경별 비교를 통한 원인 분석은 다음 과제입니다.
따라서, '일반적인 Array는 느리다', 'AI에 의한 최적화는 도움이 안 된다'와 같은 일반론으로 확장할 수 없습니다. 이번에는 이 대체 구현이, 이 조건에서, 속도 목적으로 채택할 근거가 없었다는 선까지입니다.
같은 주제를 이어간다면, 우선 실제 사용 조건에 가까운 입력을 확보하는 것부터 시작해야 합니다. 후보 수와 벡터 차원을 변경하고, 프로세스를 분리한 반복이나 실행 순서의 균등화를 도입해야 합니다. 안정적인 상태를 측정하려면 워밍업(warm-up) 방법도 재설계해야 합니다. 그 위에 변화점을 하나씩 비교하면, 느려진 이유를 조사하기 쉬워집니다.
이것들은 향후 개선안이며, 이번에 실시한 내용은 아닙니다. 첫 결과를 임의로 해석하는 것이 아니라, 새로운 조건의 별도 실험으로 다루어야 합니다.
AI에게 고속화를 맡길 때 남겨두고 싶은 5가지는 다음과 같습니다.
- 비교할 구현체와 변경해도 되는 범위.
- 지켜야 할 출력과 그것을 확인한 입력.
- 결과를 보기 전에 결정한 판단 기준.
- 집계값의 원인이 된 원본 데이터, 측정 순서, 실행 환경.
- 합격/불합격 여부와 아직 확인하지 않은 조건.
이번에는 빠른 코드를 얻을 수 없었습니다. 다만, 변경하지 않겠다는 판단을 직감이나 느낌이 아닌, 확인된 조건과 숫자로 설명할 수 있었습니다. AI에게 실험을 맡기는 시스템에서는 이와 같은 결과도 놓치지 않고 남길 수 있도록 하고 싶습니다.