비동기 흐름 맵 언어 모델

요약

본 글은 비동기 흐름 맵 언어 모델(aFMLMs)을 제안하며, 기존의 자기회귀적 방식이 아닌 원스텝 병렬 모델링에서 순서 정보를 활용하는 방법을 제시합니다. aFMLMs는 비동기 흐름의 흐름 맵 학습을 통해 예측 순서를 통합하고, 토큰별 시간 스케줄로 노이즈 제거 진행 정도를 제어합니다. 이 모델은 단일 포워드 패스로 모든 토큰 생성이 가능하며, Sudoku 및 GSM8K 등에서 최첨단 성능을 달성했습니다.

핵심 포인트

• aFMLMs는 비동기 흐름 맵 학습으로 예측 순서를 원스텝 모델링에 통합합니다.
• 토큰별 시간 스케줄을 통해 노이즈 제거 진행 정도를 제어하는 것이 특징입니다.
• 내부 은닉 계산에 순서 정보를 인코딩하여 단일 포워드 패스로 토큰 생성이 가능합니다.
• Sudoku 풀이 및 GSM8K 수학 문제 코드 생성에서 SOTA 성능을 달성했습니다.