FutureBench: LLM의 지식-맥락 충돌 평가를 위한 재활용 가능한 프레임워크
요약
논문은 LLM의 지식과 맥락 간 충돌을 평가하는 재활용 가능한 프레임워크인 FutureBench를 소개합니다. 이 프레임워크는 타임스탬프 질문, 통제된 구절 삼중항 등을 활용하여 모델의 거짓 답변 채택률을 분석합니다. 테스트 결과, Adversarial-Aware 방식이 대체되었던 사전 차단 답변들을 높은 비율로 복원하는 능력을 보여주었습니다.
핵심 포인트
- FutureBench는 지식-맥락 충돌 평가를 위한 재활용 가능한 프레임워크입니다.
- Verify 기능은 사전 차단 이벤트에서 거짓 답변 채택률을 높이는 경향이 있었습니다.
- 사후 차단 질문에서는 구절 우선순위 사용이 Verify보다 효과적이었습니다.
- Adversarial-Aware 방식은 대체된 답변의 높은 복원력을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기