Show HN: Echo – 오픈 가중치 모델을 사용하여 Fable 수준의 결과를 1/3 비용으로 달성

저는 여러 개의 오픈 가중치(open-weight) 모델 풀에서 하나의 AI 시스템을 만드는 실험인 Echo (https://echo.tracerml.ai/)를 구축해 왔습니다. 이는 단일 모델을 선택하여 모든 작업에 사용하는 방식이 아닙니다. 처음에는 간단한 실험으로 시작했습니다. 저는 GLM-5.2, Kimi K2.7 등을 포함한 여러 모델 그룹을 가져와 동일한 평가를 실행했습니다. 그런 다음 각 문제에 대해 어떤 모델들이 유용할지, 그리고 그 출력들을 어떻게 결합해야 하는지를 미리 안다고 가정했을 때 무슨 일이 일어날지 측정했습니다.

이 가상의 시스템은 풀 내의 개별 모델들보다 훨씬 더 나은 성능을 보였습니다. 물론, 이는 결과가 나온 후에 어떤 결정이 좋았는지 알아야 하므로 실제로 배포할 수 있는 것은 아닙니다. Echo는 이러한 정보를 미리 알지 못하는 상황에서도 그 이점의 일부를 회복하려는 저의 시도입니다.

요청마다 Echo는 얼마나 많은 계산을 할당해야 하는지, 어떤 모델들이 참여해야 하는지, 그리고 그 작업들을 어떻게 결합해야 하는지를 결정합니다. 어떤 프롬프트는 비교적 적은 추론(inference)만 필요할 수 있는 반면, 다른 프롬프트들은 여러 모델이 문제의 다른 부분에 대해 작동하는 것에서 이점을 얻습니다.

구축 과정에서 저를 놀라게 한 점 중 하나는 모델들이 얼마나 상호 보완적인가 하는 것이었습니다. 전반적으로 명확히 약한 모델이라도 특정 문제나 조합의 일부로서는 매우 유용할 수 있습니다.

저의 첫 번째 평가 믹스(evaluation mix)에서 Echo는 풀 내 최고의 개별 모델보다 일관되게 더 나은 성능을 보였습니다. 또한, 제가 강력한 비교 시스템 중 하나로 사용했던 Fable과 비슷한 총체적인 결과에 도달했는데, 그 비용은 추론 비용 기준으로 약 3분의 1 수준이었습니다.

Echo가 잘못된 할당 또는 조합 결정을 내리는 경우도 여전히 존재합니다. 저는 현재 이러한 실패 사례들을 이해하는 데 많은 시간을 보내고 있으며, 또한 각 결정의 품질을 측정하기가 훨씬 어려워지는 코딩 및 에이전트(agentic) 작업에서도 동일한 접근 방식이 유지되는지 테스트하고 있습니다.

저는 시스템을 평가 환경 밖에서도 테스트할 수 있도록 채팅 인터페이스(echo.tracerml.ai)와 OpenAI 호환 API(https://echo.tracerml.ai/docs/api)를 구축했습니다.

작동 방식에 대한 짧고 개괄적인 영상은 여기에서 확인하실 수 있습니다:

평가 방법론, 개별 모델 결과, 비용 및 현재 한계점은 여기에서 정리했습니다: https://echo.tracerml.ai/eval

여러분께서 사용해 보셨으면 좋겠습니다! 특히 이상한 실패 사례나 할당이 직관적이지 않은 부분이 있다면 알려주시면 감사하겠습니다.