FocuSFT: 희석 인식(Dilution-Aware)을 위한 이중 레벨 최적화 기반 장문 컨텍스트 파인튜닝

요약

본 논문은 LLM이 긴 컨텍스트에 걸쳐 분산된 정보를 효과적으로 활용하는 데 어려움을 겪는 문제(어텐션 희석)를 해결하기 위해 FocuSFT라는 새로운 이중 레벨 최적화 프레임워크를 제안합니다. FocuSFT는 내부 루프에서 관련 콘텐츠에 주의를 집중시키는 매개변수 메모리를 형성하고, 외부 루프에서 이를 조건으로 SFT를 수행하여 모델의 장문 컨텍스트 능력을 향상시킵니다. 이 방법은 다양한 벤치마크에서 높은 정확도 개선을 보여주었습니다.

핵심 포인트

• LLM의 긴 컨텍스트 처리 능력은 위치 편향과 어텐션 싱크로 인해 발생하는 '훈련 시간 어텐션 희석' 문제에 의해 제한됩니다.
• FocuSFT는 내부 루프(매개변수 메모리 형성)와 외부 루프(정제된 표현 기반 SFT)의 이중 레벨 최적화 구조를 채택하여 문제를 해결합니다.
• 이 프레임워크는 컨텍스트 토큰에 대해 양방향 어텐션을 적용하고 인과 비대칭성을 줄여 모델의 주의 집중도를 높입니다.
• 실험 결과, FocuSFT는 4K~32K 컨텍스트 길이에서 최대 +14pp의 정확도 향상 및 에이전트 도구 사용 등 복잡한 작업에서 높은 성능 개선을 입증했습니다.