DebiasRAG: 검색 증강 생성(RAG)을 통한 대규모 언어 모델의 공정성 확보를 위한 튜닝 프리(Tuning-free) 방법론

요약

DebiasRAG는 대규모 언어 모델(LLMs)의 사회적 편향 문제를 해결하기 위해 제안된 튜닝 프리(tuning-free) 방식의 RAG 프레임워크입니다. 미세 조정 없이도 모델의 고유한 표현 능력을 보존하면서, 쿼리 특정적인 편향 제거 컨텍스트를 생성하고 재순위화하여 공정성을 높입니다. 이를 통해 인종, 성별, 연령 등과 관련된 편향된 응답을 효과적으로 완화합니다.

핵심 포인트

• 추가적인 미세 조정(fine-tuning) 없이 작동하는 튜닝 프리(tuning-free) 방법론 제안
• 모델의 본래 성능 저하를 최소화하며 사회적 편향(social biases) 완화
• 쿼리 특정적(query-specific)인 동적 편향 제거 컨텍스트 활용
• 편향 제거 후보 생성, 컨텍스트 풀 구축, 그래디언트 업데이트 기반 재순위화의 3단계 프로세스