롱컨텍스트 LLM 서빙할 때 GPU 메모리 터지는 병목 확실하게 잡고 싶을 때 뜯어볼 만한 오픈소스 저장소임. Llama-3.1-8B 기준으로 32K 컨텍스트에서 성능 저하 없이 KV 캐시를 11.2배까지 압축해 주는데 알맹이가 꽤 단단함. K값은 RoPE 풀고 PCA 돌리고 V값은 아다마르 변환에 벡터 양자화 섞은 하이브리드 구조라 추후 자체 인프라 설계할 때 가이드라인으로 꺼내 쓰기 딱인 듯..

It's the story of ShareX, built and maintained single-handedly by a Turkish developer for 18 years, but the real meat of it is brutally impressive. He crammed in every feature from commercial tools that charge $63 a year, yet the program size is a mere 4.6MB. Even when Steam came