자기회귀 연쇄를 깨다: 효율적인 LLM 기반 속성 값 추출을 위한 하이퍼-병렬 디코딩

요약

본 논문은 여러 개의 독립적인 시퀀스를 동시에 디코딩해야 하는 속성 값 추출(AVE)과 같은 작업의 효율성을 높이기 위해 하이퍼-병렬 디코딩(HPD)이라는 새로운 알고리즘을 제안합니다. HPD는 위치 ID 조작을 통해 토큰 생성을 순서에 얽매이지 않게 하여, 병렬 처리를 극대화하고 추론 속도를 혁신적으로 가속화합니다. 이 방법은 모든 LLM과 호환되며, AVE 작업뿐만 아니라 독립적인 출력 구조를 가진 다양한 시나리오에 적용 가능하여 산업적 활용도가 매우 높습니다.

핵심 포인트

• 표준 자기회귀 디코딩의 순차적 한계를 극복하고 병렬성을 활용하는 하이퍼-병렬 디코딩(HPD) 알고리즘을 제시함.
• AVE 작업에서 속성-값 쌍은 조건부 독립임을 입증하여, 값 생성 과정을 프롬프트 내에서 병렬화할 수 있음을 보여줌.
• 단일 프롬프트에 여러 문서를 쌓아 최대 96 토큰까지 높은 수준의 병렬 디코딩을 실현함.
• HPD는 모든 LLM과 호환되며, 출력 품질 저하 없이 추론 비용 및 시간을 최대 13.8배까지 절감할 수 있음.