Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
PulsarLM은 컨텍스트 창에서 오래되고 중요하지 않은 토큰을 제거하여, 대화 세션의 크기를 제한하면서도 학습된 한계를 뛰어넘는 추론 엔진입니다. 이 엔진은 커스텀 어텐션 커널로 작동하며, 낮은 어텐션 질량을 가진 페이지를 정기적으로 제거합니다. RoPE 재회전 및 컨텍스트 스냅샷 캐싱 기능을 통해 효율성을 높였습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Reddit AI Engineering의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기우리 뇌의 단기 기억 방식에서 영감을 받아, 저는 PulsarLM이라는 추론 엔진을 만들었습니다. 이 엔진은 컨텍스트 창에서 오래되고 중요하지 않은 토큰들을 제거하여 크기를 제한하면서도 대화가 학습된 한계를 훨씬 넘어갈 수 있도록 합니다. Qwen3 8b 모델을 5090 GPU로 실행했을 때, 프리필(prefill) 과정에서는 초당 6.7k 토큰, 디코드(decode) 과정에서는 초당 89 토큰을 얻었습니다. 배치 디코드를 지원하며, 동시 요청 16개를 사용했을 때는 초당 1.2k 토큰을 얻습니다. 이 엔진은 각 토큰 페이지별로 어텐션 질량(attention mass)을 누적하는 커스텀 어텐션 커널을 사용하여 작동합니다. 정기적인 간격으로 낮은 어텐션 질량을 받는 페이지는 제거됩니다. 분포를 벗어난 위치(out-of-distribution positions) 문제를 해결하기 위해, 토큰 위치가 연속적으로 유지되고 컨텍스트 제한을 초과하지 않도록 임베딩이 재회전(re-rotated, RoPE 기준)됩니다. 컨텍스트 창에서 토큰을 제거하는 것은 일반적으로 프리픽스 캐시(prefix caches)를 깨뜨리지만, PulsarLM은 불필요한 재프리필을 방지하기 위해 컨텍스트 스냅샷을 캐싱하는 기능도 제공하지만, 이는 추가 RAM을 사용합니다. 또한 이러한 스냅샷을 영구적으로 저장할 수 있는 옵션도 있습니다. 현재는 더 작고 오래된 모델들만 구현되었으며, 엔진 자체에도 아직 다듬어야 할 부분이 많습니다. 이 테스트는 linux x86_64 환경에서만 진행되었습니다. 피드백 환영합니다! 또한 어떤 모델을 사용해보고 싶으신가요? 여기 링크입니다: https://github.com/cosmonomic/pulsarlm 수정: 예전에 bm25 + 어텐션 점수를 사용하는 검색(recall) 메커니즘이 있었지만, 너무 많은 KVs를 저장하는 것이 의미가 없어 제거했습니다. 따라서 현재는 외부 메모리 시스템/RAG와 함께 사용될 때 가장 효과적입니다. 또한, 현재 벤치마크를 진행 중이며 결과가 나오는 대로 업데이트하겠습니다. /u/hhderder 작성