신뢰도 격차 해소: 테스트 시간 프롬프트 튜닝을 위한 온도 스케일링

원문 발행 2026. 09. 16. 01:25원문 언어 영어AI 한국어 번역arXiv cs.LG (Machine Learning) 원문 보기

요약

본 논문은 테스트 시간 프롬프트 튜닝(TPT)이 야기하는 신뢰도 격차 문제를 해결하기 위해 CoTS라는 사후 보정 방법을 제안합니다. CoTS는 온도 스케일링을 적용하여 적응된 예측과 제로샷 예측 간의 신뢰도 차이를 최소화하며, 이를 약한-강한 앙상블 전략에 결합한 E-CoTS를 통해 높은 정확도와 우수한 보정 성능을 동시에 달성함을 입증했습니다.

핵심 포인트

E-CoTS는 온도 스케일링 기반의 사후 보정 방법입니다.
TPT의 신뢰도 격차 문제를 효과적으로 완화합니다.
ImageNet 변형에서 평균 예상 보정 오차를 크게 줄였습니다.
높은 정확도를 유지하면서 보정 성능을 향상시킵니다.

테스트 시간 프롬프트 튜닝(Test-time prompt tuning, TPT)은 단일 테스트 인스턴스에서 적응을 가능하게 하여 정확도를 향상시키지만, 종종 보정 성능(calibration performance)을 희생합니다. 기존의 대부분의 보정 방법들은 텍스트 임베딩 전반에 걸쳐 분산을 촉진하고 보정 오차를 줄이기 위해 추가적인 정규화 항을 도입하지만, 이러한 방법들은 정확도 하락을 겪는 경우가 많습니다. 제로샷 예측의 잘 보정된 특성에 영감을 받아, 우리는 정확도를 유지하는 간단하면서도 효과적인 사후(post-hoc) 보정 방법인 CoTS를 제안합니다. 구체적으로, CoTS는 온도 스케일링(temperature scaling)을 적용하여 적응된 예측과 제로샷 예측 사이의 신뢰도 격차(confidence gap)를 최소화합니다. 적응 과정에서 여러 증강(augmentation)의 잠재력을 완전히 활용하기 위해, 우리는 정확도를 더욱 높이는 약한-강한 앙상블 전략(weak-strong ensemble strategy)을 도입합니다. 그런 다음 이 앙상블에 CoTS를 적용하여 E-CoTS라고 명명하고, 이를 통해 잘 보정된 속성을 유지합니다. 다양한 데이터셋과 백본(backbones)에 대한 광범위한 실험 결과는 우리의 접근 방식이 주된 정확도를 손상시키지 않으면서 오보정(miscalibration)을 효과적으로 완화함을 보여줍니다. 예를 들어, E-CoTS는 ImageNet 변형에서 TPT의 평균 예상 보정 오차(average expected calibration error)를 11.90%에서 5.38%로 줄이는 동시에, 정확도를 60.74%에서 62.95%로 높입니다. 더욱이, 기존 보정 방법들과 통합될 때, E-CoTS는 일반적으로 정확도와 보정을 동시에 향상시킵니다.

AI 자동 생성 콘텐츠

원문 바로가기

신뢰도 격차 해소: 테스트 시간 프롬프트 튜닝을 위한 온도 스케일링

요약

핵심 포인트

댓글