Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM의 신뢰도 점수 부여 방식에 대한 비판과 개선 방안을 논합니다. 단순한 0~100점 척도 대신 다중 평가 축이나 이진 선택이 더 효과적이며, 명확한 채점 기준(루브릭) 설정이 필수적입니다. 또한 RLCR 같은 고급 훈련 기법으로 모델의 확신 점수 출력을 보정할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 RSS: GeekNews (한국어)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기LLM에는 내부적으로 일관된 잠재적 확신 개념이 있고 이를 표현할 능력도 있지만, 글쓴이가 가장 나쁜 질문 방식을 택한 것임. 사람에게든 LLM에게든 0100점 척도를 쓰기보다는, 문제를 여러 평가 축으로 나누고 각 축에 의미가 분명한 소수의 선택지나 더 단순한 척도, 가능하면 이진 선택을 주는 편이 나음.5점 평가를 없앤 것도 사람들이 그 척도를 어떻게 써야 할지 몰랐기 때문임.
그 결과를 가중 합산하면 확신을 훨씬 의미 있게 표현하게 됨. YouTube가 1
일관된 잠재적 확신 개념이 LLM에 있다는 근거를 보고 싶으며, 사실로 입증된 명제라고 믿지 않음. LLM은 일반적으로 자기 활성화 함수의 출력을 보고할 수 없음. 소프트맥스 출력을 확률 점수로 받아들이는 건 박사과정 1년 차가 하는 오해로 여겨짐.
이를 뒷받침할 신뢰할 만한 참고 자료가 있는지?
LLM이 기준이 정해지지 않은 라벨링 작업에 어려움을 겪는다는 연구가 있음. 반면 점수 매기는 방법을 명시하면 사람과 크게 다르지 않게 평가할 수 있다는 연구도 있음. 지침을 생략하면 분류 기준 자체가 열려 있는 셈이라 잘 작동하지 않을 가능성이 큼.
실제로 어떻게 적용했는지 예시를 보여줄 수 있는지? 꽤 유망해 보임.
확률에도 0~100 척도가 나쁜 선택인지?
LLM이 확신 점수를 잘 매기도록 훈련하는 방법이 궁금하다면 이 글의 5절을 읽어보길 권함. https://magazine.sebastianraschka.com/i/217935364/51-on-cali....
원문은 LLM이 정답 여부로 평가받은 적 없다고 하지만, 이는 최적화 과정에 대한 가정임. 사전학습은 다음 토큰을 평가하고, RLHF·RLVR의 이진 보상도 확신의 보정을 직접 개선하지 않는다는 점에서는 어느 정도 맞음.
하지만 모델이 확신을 출력하도록 하고 그 정확성을 훈련할 수 있음. RLCR은 보상에 브라이어 페널티 (q-c)^2 를 추가해 정답률만으로 성능을 평가하지 않음. TypeSafeAI의 RLCD도 비슷할 것으로 추정하지만 공개된 자료는 없음.
이 방식은 원문이 지적한 “항상 30%라고 답하기”의 허점을 없애줌. 정답률 60%인 모델이 항상 확신 0.6을 출력하면 기대 페널티는 0.6×0.16 + 0.4×0.36 = 0.24임. 반면 절반은 정답률 90%인 쉬운 문제, 나머지는 정답률 30%인 어려운 문제로 구별해 각각 0.9와 0.3을 출력하면 기대 페널티는 (0.09+0.21)/2 = 0.15로 낮아짐.
두 전략 모두 확신과 실제 정답률이 일치하도록 보정되어 있지만, 개별 문제의 정보를 활용하는 쪽이 더 좋은 보상을 받음. 실제 LLM의 전략을 묘사한 것은 아니며, 훈련으로 개별 사례에 맞는 확신을 유도할 수 있다는 뜻임.
통계학 학위를 받을 때는 모형 구축에 10%, 출력의 올바른 해석에 90% 정도의 시간을 썼던 것으로 기억함. 당시에는 통계가 주로 자연과학·금융·보험계리에 쓰였고, 기계학습의 무법지대는 아직 시작되지 않았는데 지금은 다르게 가르치는지 궁금함.
표본 수가 수천만에 이르자 오차가 너무 작아 평균을 사실상 확실히 알 수 있다고 여기며 해석에 덜 신경 쓰게 됨. 그 과정에서 확신 점수가 무엇인지, 반복 검정으로 알파 오류가 얼마나 빠르게 불어나는지 잊은 것 같음.
다른 LLM 활용과 마찬가지로 적절한 맥락과 평가 기준을 주면 확신 점수도 잘 작동함. 직접 측정할 수 있는 것은 채점 스크립트를 쓰고 LLM은 그 결과를 다루게 함. 덜 명확한 것은 A~F 등급의 조건을 명시한 평가표를 쓰며, 보통 A에서 시작해 특정 결함이 발견될 때마다 감점함.
확신을 수학적으로도 평가 기준표로도 정의할 수 없다면 구현자부터 스스로 질문해야 함. 무엇을 측정할지도 모르는 목표를 세운 것이므로, 이 단계에서는 LLM이 문제가 아님. 사람에게 맡겨도 감으로 숫자를 만들어낼 뿐임.
만점에서 시작하는 감점식 평가표가 점수의 일관성을 높이는 데 도움이 됨. 문체나 누락된 사실 등 구체적인 항목별로 감점하게 하면, 내 경우에는 평가표와 예시만 주는 것보다 최종 점수의 편차가 훨씬 작아짐. 코딩할 때 명확한 지침을 주는 것과 근본적으로 다르지 않음.
검증 장치 없이 LLM이 스스로 생성한 확신 점수를 맹신하는 건 무모하고 조금 게으르다고 느껴짐. 평가를 가능한 한 여러 차원으로 분해하는 편이 사실에 근거한 확신 점수를 만드는 데 더 나음.
보정용 데이터셋 없이 모델의 확신을 보정할 수는 없음. 확신은 라벨이 있는 데이터셋을 기준으로 구간별로 검증하는 집단 수준의 속성이며, 예측 하나만으로는 확인할 수 없음. 개별 사례에 부여하되 집단 단위로 검증하는 것임.
Jev를 소개하는 방식은 교묘하게 느껴짐. 앞으로 우리가 수행할 모든 작업을 알 수도 없는데, 작업별 보정용 데이터셋 없이 “모델을 대신 보정해뒀다”고 할 수는 없음.
Jev는 그 LLM의 학습 시점 이후에 등장한 것임.
기계학습 모형을 보정해 확률 추정치를 얻는 데에는 확립된 방법론이 있음. https://scikit-learn.org/stable/modules/calibration.html.
나는 BERT → 풀링 → 확률 보정된 SVM으로 좋은 결과를 얻었음. 더 단순하게는 단어 가방 모형 → 로지스틱 회귀도 가능함. 특정 토큰으로 “yes”나 “no”를 답하게 한 LLM 뒤에 전통적인 ML 모형을 붙이고, 나머지는 고정한 채 마지막 몇 개 층만 작업 데이터로 재훈련하는 방법도 있음.
분류 작업이라면 학습 데이터가 필요함. ChatGPT에 프롬프트만 쓰는 제로샷 방식은 5,000개 정도의 표본으로 학습한 더 작은 모형보다 성능이 떨어질 수 있음. 또 확률 추정치는 입력 데이터의 분포에 좌우됨. 분류 대상에 특정 클래스가 얼마나 흔한지라는 사전분포가 적절한 확신 수준을 바꾸므로, 학습 데이터와 실제 데이터가 크게 다르면 보정도 나빠짐.
완성된 형태의 제품을 원한다면 “Decision Models”를 참고하면 됨. https://docs.liquid.ai/lfm/models/decision-models.
Jev의 훈련이 개선하려는 게 바로 이것 아닌지? 다음 토큰 자체가 아니라 다음 토큰의 분포를 예측하도록 훈련하는 것으로 알고 있음.
이름을 직접 밝히지는 않았지만 Jev를 겨냥한 글로 보임. Jev는 이런 문제를 피하려고 일반적인 LLM과 다르게 훈련됨.
LLM의 확신 점수 품질이라는 흥미로운 주제를 꺼냈다면, 아첨 성향 때문에 나쁘다고 단정하기보다 실제 정확도 데이터를 보여주길 기대했음. 측정 가능한 작업으로 데이터를 모으면 LLM의 확신 숫자가 실제 값에서 크게 벗어나지 않을 것이라고 걸어볼 만함.
그런 실험을 직접 했지만 상업적 작업이라 데이터를 공개할 수는 없음. 대체로 글의 내용과 비슷했으며, 모델·용도·미묘한 표현 변화에 따라 점수의 보정 수준이 달라짐.
꽤 잘 작동하게 만든 적도 있어 글쓴이보다는 낙관적임. 다만 SaaS LLM으로 제품화하는 것은 권하지 않음. 공급업체가 사용 중인 모델을 종료할 때마다 깨지고, 새 모델에서 다시 맞추는 과정이 끔찍하게 어려울 것임.
최근 나온 이 사전 공개 논문 같은 자료를 말하는 것인지? https://arxiv.org/html/2607.20526v1.
완벽하지는 않지만 전반적으로 꽤 긍정적인 결과임. 추론에 더 많은 노력을 들일수록 확신의 정확도가 높아진다는 고무적인 결과도 있음.
언급된 일을 떠올리지 않을 수 없으니, 실제보다 가능성을 높게 잡는 쪽으로 기울 것 같음. 그래도 추측보다는 데이터가 훨씬 좋음.
사람도 일어날 수 있다고 아는 저확률 사건을 10배 이상 과대평가하곤 하므로, 개인적인 AI 파국 확률을 볼 때도 이를 염두에 둘 필요가 있음. 흥미롭게도 사람은 확률을 말로 표현할 때보다 그 확률에 근거해 실제 결정을 내릴 때 더 정확한 확률에 가깝게 행동하는 경향이 있음.
핵심은 아첨 성향이 아니라 실제 데이터에 근거하지 않은 예측임. 우연히 맞더라도, LLM이 하든 사람이 하든 근거 없는 예측은 나쁜 예측임.
지난 10년간 매년 1,000시간 농구를 하고 기록한 자유투 성공률이 70%인 사람이 다음 자유투에 70% 확신을 보이는 건 좋은 예측임. 반면 30년간 자유투를 던지지 않은 내가 숫자를 제시한다면 근거가 빈약함. 추론이나 페르미 추정으로 시작해 나이·키가 비슷한 초보자의 자료를 모으면 나아지겠지만, 내 실제 수행 기록만큼 좋지는 않음.
이는 증거의 위계와 인식론의 문제임. 아직 없는 데이터를 수집하며 기다리고, 그동안 답을 모른다고 인정해야 하는 질문도 있음. 원래도 부족했던 태도인데, 만물박사처럼 답하는 도구의 시대에 더 부족해지고 있음.
LLM은 다음 단어·토큰 예측기라는 점을 계속 되새길 필요가 있음. 실행 틀로 감싸고 서로 연결하고 가중치와 시스템 프롬프트로 단어의 가능성을 바꿔도, 결국 할 수 있는 것은 그것뿐임. 추론하는 게 아니라 추론이 어떤 모습일지 예측하는 것임.
유용한 도구가 될 수 없다는 뜻은 아님. 다만 실패할 때는 그 이유를 되짚고, 궁극적으로 무엇을 할 수 있는지 스스로 정직하게 바라볼 필요가 있음.
그렇게 보면 인간의 뇌도 전기와 연쇄적으로 작동하는 뉴런의 집합일 뿐임. 그것만으로 유용한 도구가 될 수 없다는 결론이 나오지는 않으며, 실패할 때 구성 원리를 되새기자는 논리도 그대로 적용 가능함.
튜링 머신은 자기 헤드가 달린 테이프일 뿐이고, 인간의 뇌는 화학 물질 속의 지방 덩어리일 뿐이라고 계속 상기하는 것과 마찬가지임.
추론하는 것과 추론이 어떤 모습일지 예측하는 것은 어떻게 다른지?
“다음 단어 예측기”라고 부르면 단어 하나를 만드는 데 몇 초에서 몇 분이 걸리는 느린 과정처럼 들림. 원리상 같다고 보는데, 왜 문장 예측기나 문단 예측기라고 부르지 않는지? 동영상을 “그림을 순서대로 보여주는 장치”라고 부르는 것과 비슷함.