지난 몇 주 동안 저는 많은 AI 빌더(AI builders)들이 공통적으로 겪고 있을 것으로 의심되는 문제와 씨름해 왔습니다. 제 연구 보조 에이전트(research assistant agent)는 똑똑했지만, 금붕어 같은 기억력을 가졌고 신탁 자금(trust fund)을 가진 아이처럼 돈을 쓰는 습관이 있었습니다.

제가 AI/ML 주제에 대한 연구 논문을 찾는 것을 도와달라고 요청할 때마다, 에이전트는 제가 이미 읽은 기사들을 추천하곤 했습니다. 단 한 번의 대화 속에서 똑같은 논문을 세 번이나 제안하기도 했습니다. 더 심각한 것은, 더 단순한 모델로도 충분히 해결할 수 있는 상황에서도 모든 쿼리(query)에 GPT-4를 사용하고 있었다는 점입니다.

그래서 저는 더 나은 것을 만들었습니다. 제가 무엇을 읽었는지 실제로 기억하고, 실행하기 전에 각 쿼리의 비용이 얼마나 들지 고민하는 연구 보조 도구입니다.

제가 어떻게 구현했는지 소개하겠습니다.

문제점: 건망증은 비용이 많이 듭니다

제가 무엇을 의미하는지 보여드리겠습니다.

기억력(memory)과 비용 제어(cost controls)를 추가하기 전, 제 연구 에이전트는 다음과 같이 작동했습니다:

python
# 이전: 기억력 없음, 모든 쿼리가 GPT-4로 전송됨
...