EndPrompt: 터미널 앵커링(Terminal Anchoring)을 통한 효율적인 긴 문맥 확장

요약

EndPrompt는 대규모 언어 모델(LLMs)의 문맥 창 확장 시 발생하는 높은 계산 비용 문제를 해결하기 위해 제안된 방법론입니다. 이 방식은 전체 길이의 긴 입력 시퀀스를 학습할 필요 없이, 짧은 초기 문맥과 터미널 프롬프트라는 두 개의 세그먼트를 결합하여 목표 문맥 길이 근처에 위치 인덱스를 할당합니다. 이론적 분석을 통해 EndPrompt가 의미론적 연속성을 유지하면서 국소 및 장거리 상대적 거리를 효과적으로 도입할 수 있음을 입증했으며, 실제 벤치마크 테스트에서 기존의 긴 시퀀스 학습 방식들보다 우수한 성능과 효율성을 보여주었습니다.

핵심 포인트

• EndPrompt는 LLM 문맥 확장 시 발생하는 이차 함수적 계산 비용 문제를 해결합니다.
• 전체 길이 입력 대신 짧은 초기 문맥과 터미널 프롬프트라는 이중 세그먼트 구성을 사용합니다.
• 이 방법론은 의미론적 연속성과 국소/장거리 상대적 거리를 동시에 유지할 수 있습니다.
• RoPE와 Bernstein 부등식 기반의 이론적 분석을 통해 위치 보간 및 외삽에 대한 안정성을 입증했습니다.
• LLaMA 계열 모델 적용 결과, LCEG, LongLoRA 등 기존 방법론 대비 높은 성능과 효율성을 달성했습니다.