LatComm: 대규모 언어 모델 간 잠재적 통신을 위한 재사용 가능한 컨텍스트 압축

요약

본 논문은 여러 LLM 간의 잠재적 통신을 위한 LatComm이라는 컨텍스트 압축 인터페이스를 제안합니다. 이 방식은 컨텍스트를 한 번 인코딩하여 고정 크기 패킷으로 압축하고, 수신자가 게이트 메커니즘을 통해 필요한 부분만 선택적으로 읽어 처리하는 것이 핵심입니다. 이를 통해 기존 대비 정확도를 높이고 입력 크기를 대폭 줄이며 속도를 개선했습니다.

핵심 포인트

• LatComm은 컨텍스트를 한 번 인코딩하여 패킷으로 압축합니다.
• 수신자는 게이트 메커니즘을 이용해 필요한 정보만 선택적으로 읽습니다.
• 기존 방식 대비 정확도가 최대 10.2 포인트 향상되었습니다.
• 입력 크기를 57배 줄이고 답변 속도를 3배 빠르게 합니다.