DebiasRAG: 검색 증강 생성(RAG)을 통한 대규모 언어 모델의 공정성 확보를 위한 튜닝 프리(Tuning-free) 방법론

대규모 언어 모델 (LLMs)은 뛰어난 생성 능력 덕분에 전례 없는 성공을 거두었습니다. 하지만 이 모델들은 학습 코퍼스 (training corpora)에 응축된 지식에 의존하기 때문에, 환각 (hallucinations), 고정관념, 그리고 사회적으로 편향된 콘텐츠를 생성할 수 있습니다. 특히 LLMs는 인종, 성별, 연령과 관련된 편견 섞인 응답을 내놓기 쉬우며, 이를 통칭하여 사회적 편향 (social biases)이라고 합니다. 기존 연구들은 LLMs의 이러한 편향을 완화하기 위해 미세 조정 (fine-tuning)과 프롬프트 엔지니어링 (prompt engineering)을 사용해 왔으나, 이러한 방법들은 추가적인 학습 자원이나 프레임워크 설계를 위한 도메인 지식을 필요로 합니다. 더욱이, 이러한 방식은 LLMs의 본래 능력을 저하시킬 수 있으며, 더 공정한 추론을 위한 동적인 편향 제거 컨텍스트 (debiasing contexts)의 필요성을 간과하는 경우가 많습니다.

본 논문에서는 검색 증강 생성 (RAG)을 기반으로 하는 새로운 튜닝 프리 (tuning-free) 및 쿼리 특정적 (query-specific) 동적 편향 제거 프레임워크인 DebiasRAG를 제안합니다. DebiasRAG는 표현 능력 (representation ability)과 같은 LLMs의 고유한 특성을 보존하면서 공정성을 향상시킵니다. DebiasRAG는 다음의 세 단계로 구성됩니다: (1) 쿼리 특정적 편향 제거 후보 생성; (2) 컨텍스트 후보 풀 구축; (3) 그래디언트 업데이트 기반의 편향 제거 가이드 컨텍스트 조각 재순위화 (reranking).

첫째, DebiasRAG는 정기적인 검색을 통해 쿼리와 관련된 자기 진단된 편향 컨텍스트를 활용하며, 여기서 편향 컨텍스트는 DebiasRAG 제공자에 의해 오프라인으로 준비됩니다. 쿼리 특정적 편향 컨텍스트가 주어지면, DebiasRAG는 이를 역으로 사용하여 편향 제거 컨텍스트를 생성하며, 이는 LLM 출력에 대한 추가적인 공정성 제약 조건으로 제공됩니다. 둘째, 일반적인 RAG 검색 프로세스는 청크 단위로 나누어진 Wikipedia 데이터셋과 같은 일반적인 RAG 문서 데이터베이스로부터 쿼리 관련 컨텍스트를 생성합니다.