LLMs가 단어 없이 서로 대화할 수 있게 되었습니다.

요약

중국 연구진이 LLM 간의 통신 방식을 혁신한 Cache-to-Cache (C2C) 통신 패러다임을 공개했습니다. 이 방식은 텍스트 토큰을 거치지 않고, 신경망을 통해 소스 모델의 'kv-cache'를 타겟 모델로 직접 투영하고 융합하여 의미 손실과 지연 시간을 극복합니다.

핵심 포인트

• 단어 출력 없이 캐시를 직접 전송하는 C2C 통신 방식 도입
• 텍스트 기반 에이전트 대비 정확도 최대 14.2% 향상
• 중간 텍스트 생성 지연 시간 및 토큰 단위 지연 시간 회피
• 기존 방식 대비 전체 속도 2.5배 향상