맥락 언어 모델(Context Language Models) 논문 요약

논문 링크 - 맥락 언어 모델 이 논문의 핵심 아이디어는 믿을 수 없을 만큼 간단합니다. 모델에게 파일처럼 실행 중에 자체 컨텍스트를 편집할 수 있는 능력을 부여하는 것입니다. 이는 작업 성능, 컨텍스트 관리(메모리), 심지어 계산 효율성(실제 시간 및 총 FLOPs)에 큰 이점을 가져다줍니다. 그들의 논문은 대부분의 이점과 상대적으로 작은 단점만을 보여줍니다. pi용 플러그인으로 사용해 볼 수 있습니다! 요약하자면, 장점과 단점 장점: 장기 실행 작업에서 결과 개선 코딩 및 심층 연구 작업 개방형 탐색 문제(장기 지평 연구 작업, /목표 루프 등) 추론이 더 계산 효율적이고 실제 시간 효율적일 수 있음 참고: 이는 추론 엔진의 캐싱 최적화에 달려 있습니다. 컨텍스트 블로트가 훨씬 적어 (V)RAM 효율성이 높아짐 느리고 신뢰할 수 없는 압축(compacts) 문제가 없음 단점: 캐시 최적화는 SGLang에만 존재함 프롬프트 주입(환각된 지침 포함)이 잊힐 가능성이 훨씬 줄어들어 위험 증가를 초래함 하네스 사용자 정의가 필요함 (저자들이 pi 플러그인을 제공함) 일부 더 많은 컨텍스트 이 접근 방식은 컨텍스트에 파일처럼 접근할 수 있도록 하네스를 수정하여 작동합니다. 모델은 다른 모든 파일처럼 컨텍스트를 편집할 수 있습니다. 그들은 qwen3.6 9b와 같은 작은 모델뿐만 아니라 qwen3.8 27b 및 claude sonnet 4.6과 같은 모델에서도 이 접근 방식을 테스트했습니다. 별도의 추가 작업 없이, 즉 시스템 프롬프트에 약간의 추가와 컨텍스트를 파일처럼 편집하는 도구만으로도, 작업 성능, 컨텍스트 관리 및 효율성 측정은 거의 동일하거나 약간 개선됩니다. 특히 더 작은 qwen3.6 9b 모델은 효율성이 약간 떨어지는 것을 보여주어, 더 크고(더 똑똑한) 모델에서 더 잘 작동함을 시사합니다. 저자들이 수행한 RL 학습을 통해 성능이 대폭 향상될 수 있습니다. 한번 사용해 보시겠어요?

지금 바로 사용해 볼 수 있습니다. pi를 사용한다면 플러그인 https://github.com/lolipopshock/pi-clm을 설치하세요. 이 플러그인은 저자들로부터 직접 받은 것입니다. 설치 후, /clm settings로 설정을 조정하세요: 'steering'은 house-brief.md로 설정합니다 (시스템 프롬프트를 수정하는데, 저는 이것이 RL(강화학습) 모델에만 비활성화 상태로 두어야 한다고 생각합니다. 현재는 그런 모델이 없습니다). 'One tool per turn'을 활성화하세요. 이 기능은 성능에 중요합니다. 'Size trailer'를 활성화하세요. 이것은 모든 도구 결과 후에 컨텍스트 사용량을 추가합니다. 이것 없이는, 모델들이 대규모 도구 호출 시 실시간으로 컨텍스트를 수정하려는 경향이 훨씬 적습니다. 후... 어떻게 되는지 알려주세요! 마지막으로, 논문 외에도 YouTube의 'Prompt Engineering' 채널에서 이 비디오도 참고했습니다:

/u/Combinatorilliance가 제출한 [링크] [댓글]