도움 제공 시점과 제안 내용을 결정하는 방법: 단일 소형 디코더를 이용한 결합 게이팅 및 메모리 기반 힌트 생성

능동형 비서(Proactive assistants)는 대화 중 언제 도움을 줄지, 무엇을 제안할지를 결정하며 짧고 메모리 기반의 힌트를 제공합니다. 현재 시스템들은 이 기능을 게이트와 더 큰 생성기(generator)로 분리하고 있습니다. 우리는 28,058개의 의사결정 지점(decision points)에서 두 가지를 함께 평가했습니다.

단계별 생성 점수는 오라클 게이트(oracle-gate)의 상한선입니다: 실제 게이트를 사용했을 때, 종단 간(end-to-end) 정확히 일치하는 값은 0.2971의 상한선 대비 0.2619이며, 종단 간 정밀도(precision)는 0.2387로 상당한 여유 공간을 남깁니다.

게이트는 정밀도와 컴퓨팅(compute) 측면에서 이점을 제공하며, 그 절감 효과는 8B 생성기에서는 4.39배에서 1B 생성기에서는 1.38배로 감소합니다.

메모리 프로파일(memory profile)이 힌트 품질을 주도합니다: 이를 제거하면 정확히 일치하는 값에서 24.7점을 잃게 됩니다 (재조정된 BERTScore가 0.57에서 0.35로 감소). 반면, 검색(retrieval)과 더 큰 생성기는 정확히 일치하는 값에 아무것도 추가하지 못합니다.

단일 1B 디코더는 중간 레이어에서 게이팅을 수행하고 동일한 패스(pass)에서 생성함으로써 두 가지 기능을 모두 수행할 수 있습니다. 최종 체크포인트에서는 자동화된 종단 간 측정 항목에서 일치하는 1B 파이프라인보다 1.31~1.76배 적은 실제 경과 시간(wall-clock time)으로 성능을 맞추거나 능가합니다. 세 가지 시드(seeds)에 걸쳐, 이 디코더의 더 깊은 출구는 별도의 게이트와 동등한 수준입니다.

인간 평가(32개 대화에 걸친 1,144개의 평점)는 메모리 효과를 뒷받침하며, 단일 모델 수준을 일치하는 1B 파이프라인과 동등하게 평가하고 8B 모델보다 낮은 수준으로 평가했습니다. 등급화된 측정 항목(Graded metrics)과 LlamaPIE의 네이티브 심사관(native judge)은 정확히 일치하는 값보다 인간 평가를 더 가깝게 추적하며, 우리는 이를 엄격한 하한선(strict lower bound)으로 보고합니다.