MemoraX AI의 10개 논문이 NeurIPS 2026에 채택되었음을 기쁘게 알려드립니다.

이 논문들은 견고한 자체 학습(self-training), 강화학습 (reinforcement learning), 난이도 인식 추론 (difficulty-aware reasoning), 확산 모델 (diffusion models), 장기 에이전트 메모리 (long-term Agent Memory) 및 AI 시스템의 지속적인 진화 등 다양한 주제를 다루고 있습니다.

논문들이 서로 다른 기술적 문제를 다루지만, 공통된 연구 질문을 공유합니다:

AI 시스템은 어떻게 경험으로부터 학습하고, 계산 자원을 더 효과적으로 사용하며, 시간이 지남에 따라 계속 개선될 수 있을까요?

더 큰 모델을 넘어서 (Beyond Bigger Models)

AI 시스템이 더 길고 복잡한 작업을 처리할 수 있게 되면서, 단순히 모델 크기를 늘리는 것만으로는 충분하지 않습니다.

유능한 AI 시스템은 다음 또한 할 수 있어야 합니다:

• 문제가 깊은 추론을 필요로 하는지 인식하는 능력;
• 노이즈가 많은 피드백보다는 신뢰할 수 있는 경험으로부터 학습하는 능력;
• 실패했던 전략을 반복하지 않는 능력;
• 학습 개선 사항을 실제 추론 성능과 정렬시키는 능력;
• 장기간 실행되는 작업에 걸쳐 유용한 정보를 유지하고 재사용하는 능력.

이러한 관점이 MemoraX AI 연구의 많은 부분을 이끌고 있습니다.

더 견고한 학습 시스템 구축 (Building More Robust Learning Systems)

하나의 연구 분야는 대규모 언어 모델(large language models)의 자체 학습 신뢰성 향상에 초점을 맞춥니다.

“Beyond Correctness: Robustness-Driven Evolutionary Self-Training for Large Language Models” 논문에서, 저자들은 훈련 과정 중 정확한 해답이 어떻게 더 신뢰성 있게 선택되고 진화할 수 있는지 연구합니다.

핵심 아이디어는 유용한 해답은 단지 한 번 정확하기만 해서는 안 된다는 것입니다. 또한 견고하고(robust), 안정적이며(stable), 관련 문제로 전이 가능해야 합니다.

이 연구는 정확성 피드백을 사용하여 새로운 해법 궤적의 생성 및 선택을 안내하는, 견고성 기반 진화적 자체 학습 프레임워크를 소개합니다. 이를 통해 모델은 취약한 해답에 과적합(overfitting)될 위험을 줄이는 동시에 고품질 추론 경로로부터 학습할 수 있도록 도움을 받습니다.

실제 추론(Inference)에 맞춘 학습(Training) 정렬

또 다른 연구 방향은 학습 시점의 개선과 추론 시점의 동작 사이의 격차를 연구합니다.

논문 “The Mirage of Optimizing Training Policies: Monotonic Inference Policies as the Real Objective for LLM Reinforcement Learning”에서 저자들은 언어 모델을 위한 강화학습(Reinforcement Learning)에서 흔히 발생하는 문제를 조사합니다. 즉, 학습 정책을 개선하는 것이 실제로 모델이 배포될 때 더 나은 동작으로 이어지지 않을 수 있다는 것입니다.

이 논문은 단조 추론 정책 개선(monotonic inference policy improvement)을 최적화하는 아이디어를 소개합니다. 제안된 프레임워크는 학습 측 업데이트를 추론 측 검증과 분리하여, 잠재적으로 해로운 업데이트가 감지되고 거부될 수 있도록 합니다.

이 연구 흐름은 중요한 질문을 던집니다:

우리는 학습 중에 사용되는 지표(metric)를 최적화하고 있는 것인가, 아니면 실제로 사용자가 추론 시점에 경험하는 동작을 개선하고 있는가?

추론(Reasoning)을 더 컴퓨팅 효율적으로 만들기

AI 시스템은 매우 다른 난이도의 문제에 동일한 양의 연산(computation)을 사용하는 경우가 많습니다.

“Does Your Large Language Model Have an Intuitive Sense of the Difficulty of a Question?”는 모델이 추론 전략을 확정하기 전에 문제의 난이도를 추정할 수 있는지 조사합니다.

이 연구는 모델이 다양한 추론 강도(reasoning intensities)를 동적으로 선택하는 데 도움을 주는 난이도 인식 메커니즘을 제안합니다. 쉬운 문제는 더 빠른 경로로 처리할 수 있는 반면, 어려운 문제에는 추가적인 연산을 할당받습니다.

이러한 방향은 정확성과 효율성이 균형을 이루어야 하는 실제 AI 시스템에 특히 중요합니다. 더 나은 난이도 인식(difficulty awareness)은 응답의 품질을 단순히 낮추지 않으면서 토큰 효율성을 개선할 수 있습니다.

강화학습을 위한 새로운 정책 모델 탐색

MemoraX AI는 또한 확산 모델(diffusion models)을 온라인 강화학습(online reinforcement learning)에 어떻게 사용할 수 있는지 연구합니다.

“온라인 강화학습에서 어떤 종류의 확산 모델이 필요할까?”(What Kind of Diffusion Models Do We Need in Online Reinforcement Learning?) 논문은 계산 효율성, 표현력, 분포 커버리지를 포함하여 고차원 액션 공간에서 확산 정책을 사용하는 것의 어려움을 탐구합니다.

이 논문은 표현력 있는 정책 모델링을 유지하면서 최적화 효율성을 개선하도록 설계된 구조적 접근 방식인 Coupled Flow를 소개합니다.

이 연구는 생성 모델(generative models)이 복잡한 환경에서 더 유능한 의사 결정 시스템을 지원할 수 있는지 이해하려는 광범위한 노력에 기여합니다.

장기 에이전트 메모리

MemoraX AI의 핵심 연구 분야 중 하나는 장기 에이전트 메모리(long-term Agent Memory)입니다.

AI 에이전트가 짧은 상호작용에서 더 긴 실행 작업으로 이동함에 따라, 메모리는 단순한 편의를 넘어섭니다. 이는 시스템이 경험으로부터 학습하는 능력 자체의 일부가 됩니다.

실제 소프트웨어 프로젝트를 수행하는 에이전트는 다음 사항들을 기억해야 할 수 있습니다:

• 특정 아키텍처가 선택된 이유;
• 이미 실패한 구현 경로들;
• 이전에 버그가 어떻게 수정되었는지;
• 어떤 프로젝트 규칙들이 안정적인지;
• 팀이 코드를 구조화하고 검토하는 것을 선호하는 방식.

이것이 바로 코딩 에이전트(Coding Agents)를 위한 저희의 장기 메모리 플러그인인 MemoraX Code의 배경입니다.

MemoraX Code는 코딩 에이전트가 프로젝트 컨텍스트, 역사적 결정, 디버깅 경험, 실패한 접근 방식, 검증된 수정 사항, 그리고 재사용 가능한 개발 워크플로우를 유지하고 재사용하도록 돕습니다.

이는 Codex, Claude Code, OpenCode, Trae, WorkBuddy와 같은 코딩 에이전트와 함께 작동하도록 설계되었습니다. 목표는 개발자가 선호하는 에이전트를 대체하는 것이 아니라, 장기간의 개발 작업 전반에 걸쳐 에이전트가 연속성을 유지하도록 돕는 것입니다.

연구에서 평가로

메모라X AI는 메모리 시스템 구축뿐만 아니라 에이전트 메모리가 어떻게 평가되어야 하는지에도 주력하고 있습니다.

에이전트 메모리 리더보드(Agent Memory Leaderboard)를 통해, 저희는 다양한 시나리오에서 메모리 시스템을 비교할 수 있는 개방적이고 재현 가능한 평가 프레임워크를 탐구하고 있습니다. 이 시나리오에는 다음이 포함됩니다:

• 긴 대화 및 세션 간 기록(cross-session history);
• 코딩 메모리 및 역사적 엔지니어링 경험;
• 멀티모달 메모리;
• 사실 회상 및 다단계 추론(multi-hop reasoning);
• 시간적 이해(temporal understanding);
• 개인화 및 규칙 준수(rule following);
• 메모리 거버넌스 및 안전한 사용.

공유 평가 프레임워크는 연구원과 개발자들이 모호한 주장들을 넘어, 다양한 메모리 시스템이 실제로 무엇을 할 수 있는지 더 잘 이해하는 데 도움을 줄 것입니다.

지속적으로 진화하는 AI를 향하여

발표된 10편의 논문은 더 큰 연구 의제의 여러 부분을 대표합니다. 일부는 모델이 어떻게 학습하는지에 초점을 맞추고, 일부는 계산 자원을 어떻게 할당하는지 연구하며, 다른 일부는 강화학습(RL) 과정에서 정책이 어떻게 개선되는지 또는 에이전트가 시간이 지남에 따라 유용한 경험을 어떻게 유지할 수 있는지 검토합니다.

이 모든 것은 AI 개발의 더 넓은 방향을 제시합니다:

미래의 AI 시스템은 단순히 답변을 생성하는 것 이상이어야 합니다. 경험으로부터 학습하고, 언제 깊이 추론해야 하는지 이해하며, 신뢰할 수 있는 지식을 재사용하고, 상호작용을 통해 지속적으로 개선해야 합니다.

메모라X AI는 근본적인 연구와 MemoraX Code 및 에이전트 메모리 리더보드(Agent Memory Leaderboard)와 같은 실질적인 시스템 모두를 통해 이 방향을 계속 탐구하고 있습니다.

앞으로 몇 주 동안 발표된 논문, 공개 벤치마크, 오픈 연구 프로젝트에 대한 더 많은 세부 정보를 공유할 수 있기를 기대합니다.

더 알아보기

• MemoraX AI: 공식 웹사이트
• MemoraX Code: 제품 웹사이트
• GitHub: MemoraX AI on GitHub

ai #machinelearning #agents #reinforcementlearning #llm #opensource