지난 약 10개월 동안 저는 '릭 모티'의 리크 차고 같은 제대로 된 비서(assistant)를 만들 수 있도록 메모리 시스템을 개선해 왔습니다. 제가 최신 버전을 테스트해 봤는데, 제가 아는 어떤 시스템보다도 높은 점수(LongMemEval-S에서 500점 만점에 470점)를 기록했으며, 토큰 효율성 면에서도 훨씬 뛰어나고 비용도 저렴합니다. 전체 파이프라인, 즉 저장 및 검색 과정은 Qwen3 235B A22B Instruct 2507을 기반으로 하며, 답변 모델로는 사용자가 선택할 수 있습니다. 가장 어려웠던 부분은 아키텍처를 짜는 것이 아니라, 이 작은 모델들에서 발생하는 셀 수 없이 많은 설명할 수 없는 오류들 때문에 시스템을 신뢰성 있게 만드는 것이었습니다. 제 시간의 약 90%는 이것이 작동하도록 프롬프트 조정(prompt tweaking)과 가드레일(guards)에 할애했다고 말씀드릴 수 있습니다😭😭 정말 훌륭한 모델이지만, 때로는 다루기 너무 까다롭습니다. 제가 작성한 글은 여기입니다: https://c137.ai/research/overhaul 그리고 제가 실행한 모든 질문과 프롬프트를 볼 수 있는 테스트 뷰어는 여기 있습니다: https://c137.ai/research/bench-viewer 마지막으로, 점수가 조작되지 않았는지 확인하기 위해 공식 채점기(official grader)를 사용하여 제 프롬프트에 대해 다시 실행해 볼 수 있는 저장소(repo)를 오픈 소스했습니다: https://github.com/ra1ngod/c137-runner 저는 프로덕션 환경에서 다른 프롬프트를 사용하는데, 왜냐하면 이 프롬프트 스캐폴드들이 gemini에 너무 최적화되어 있었기 때문입니다😭😭 테스트는 뷰어와 러너 저장소에 표시된 정확한 프롬프트로 실행되었습니다. 다만, 어떤 프롬프트에도 정답(gold)을 넣지는 않았습니다. 항상 일반적이거나 인접한 예시를 사용했으며, 모든 프롬프트가 거기에 있으므로 이를 확인할 수 있습니다. 글은 읽는 데 약 20분이 걸리니 궁금한 점이 있으면 시간을 아끼기 위해 여기서 답변해 드릴 수 있습니다. 만약 누군가 이 앱을 사용해 보기로 결정한다면(물론 무료입니다), 어떤 피드백이라도 정말 감사하겠습니다. 저에게 DM을 주시면 기꺼이 모든 기능, 기존 채팅 가져오기 방법, 겪는 문제 해결 또는 추가하고 싶은 기능을 설명해 드리겠습니다. /u/MontyOW가 제출했습니다. [링크] [댓글]