대조 학습 (Contrastive training)은 데이터 요구량이 많음에도 불구하고 여전히 밀집 검색 (Dense retrieval) 분야를 지배하고 있습니다. DREAM은 미리 구축된 양성 및 음성 쌍 (Positive and negative pairs) 대신, 동결된 LLM (Frozen LLM)의 다음 토큰 예측 (Next-token prediction) 목적 함수로부터 직접 감독 (Supervision)을 도출함으로써 차별화된 접근 방식을 취합니다.[1]

DPR, ANCE 또는 ColBERT와 같은 대부분의 밀집 리트리버 (Dense retrievers)는 채굴된 쿼리-문서 쌍 (Query-document pairs)으로부터 구축된 대조 손실 (Contrastive loss)에 의존하며, 이는 종종 수십억 개의 예시와 비용이 많이 드는 채굴 파이프라인을 필요로 합니다.

0.5B, 1B, 3B 파라미터의 세 가지 백본 (Backbone) 크기로 학습한 DREAM은 BEIR 및 RTEB에서 기존 베이스라인 (Baselines)을 지속적으로 능가합니다.[1]

이 방법은 동결된 LLM의 선택된 어텐션 헤드 (Attention heads)에 리트리버 점수를 주입하는 것에 달려 있으며, 이는 리트리버를 LLM의 어텐션 메커니즘 (Attention mechanism)과 통합하는 비표준적인 수정 방식입니다.[1]. 또한 이 접근 방식이 멀티모달 코퍼스 (Multimodal corpora)나 3B를 초과하는 초거대 모델로 얼마나 잘 확장될 수 있는지는 아직 해결되지 않은 과제로 남아 있습니다.

만약 이 주장이 사실로 밝혀진다면, 검색 증강 생성 (Retrieval-augmented generation, RAG)의 기본 파이프라인은 대조 데이터 구축 단계를 생략하고, 동결된 LLM 감독 리트리버 (Frozen-LLM supervised retriever)를 새로운 베이스라인으로 채택할 수 있습니다.

References

1. DREAM: Dense Retrieval Embeddings via Autoregressive Modeling