증거 인식 개체 동물 식별을 위한 반사실적 검색(Counterfactual Retrieval)

요약

개별 동물 자동 식별 분야가 파운데이션 모델로 발전하고 있으나, 기존 평가는 검색 정확도가 실제 증거 기반인지 아니면 개체와 관련된 지름길을 사용했는지 구분하지 못하는 한계가 있습니다. 이를 해결하기 위해 '반사실적 전경 검색(CFR)'이라는 새로운 평가 프로토콜이 제안되었습니다. CFR은 전체 이미지, 전경만, 지름길만 등 다양한 시점에서 성능을 측정하여 모델의 증거 기반 능력을 분석합니다.

핵심 포인트

• 기존 평가는 높은 검색 정확도가 증거 사용 여부를 보여주지 못하는 한계가 있습니다.
• '반사실적 전경 검색(CFR)' 프로토콜로 평가를 개선했습니다.
• 전체 이미지, 전경만, 지름길만 3가지 시점을 통해 성능을 측정합니다.
• 검색 점수를 '증거 프로필'로 변환하여 모델의 신뢰도를 분석합니다.