Loong: 관찰 및 행동 적응형 컨텍스트 선택을 통한 인간 유사 장문 문서 번역 에이전트

문서 수준의 번역 (Document-level translation)은 대규모 언어 모델 (LLM)에게 가장 도전적인 과제 중 하나로 남아 있습니다. LLM은 전역적 응집성 (global cohesion)을 저해하는 제한된 컨텍스트 창 (context windows)의 제약을 받는 동시에, 번역 품질을 저하시키는 중복된 컨텍스트 정보로 인해 어려움을 겪습니다. 이를 해결하기 위해, 우리는 요약, 문장 쌍, 그리고 엔티티 (entity) 기록을 이력 컨텍스트 (historical context)로 저장하기 위해 3E 메모리 모듈 (Essence-Exemplar-Entity)을 활용하는 인간 유사 장문 문서 번역 에이전트인 Loong을 제안합니다. Loong은 모든 이력에 수동적으로 주의를 기울이는 대신, 번역 가이드를 위한 최적의 컨텍스트를 적응적으로 식별하기 위해 심층 추론 (deep reasoning)을 수행합니다. Loong은 자체적으로 샘플링된 관찰 및 행동 (observe-and-act) 추론 궤적 (trajectories)에서 도출된 선호 데이터 (preference data)를 활용하여 강화학습 (RL)을 통해 컨텍스트 정책을 최적화합니다. 실증적 평가 결과, Loong은 영어 $\Leftrightarrow$ 중국어, 독일어, 프랑스어 방향에서 상당한 번역 품질 향상을 달성하였으며, 세 가지 평가 지표 전반에 걸쳐 평균 최대 13.0포인트의 이득을 보였습니다. 또한, Loong은 초장문 문서 번역에서 놀라운 안정성을 유지하면서, 다양한 도메인에 걸친 강력한 일반화 성능과 컨텍스트 노이즈 (contextual noise)에 대한 강건성 (robustness)을 보여줍니다. 우리의 코드는 https://github.com/YutongWang1216/LoongDocMT에 공개되어 있습니다.