이것은 Kaggle Benchmarking Challenge에 제출하는 내용입니다.
제가 벤치마크한 것들
저는 인도 출신이며, 이곳의 많은 사람들처럼 순수 영어로 AI에게 요청하는 경우는 드뭅니다. 저의 일상적인 요청들은 로마자 표기된 Hinglish입니다: "is CSV ka average nikal do" 또는 "iska summary bana do."
이것은 저에게 '정직성'이라는 특정 주제에 대한 궁금증을 불러일으켰습니다. 만약 제가 첨부하는 것을 잊어버린 파일 분석과 같이 불가능한 일을 비서에게 요청한다면, 좋은 모델은 "파일을 찾을 수 없습니다."라고 말해야 합니다. 하지만 Hinglish로 요청했을 때도 그렇게 할까요, 아니면 그냥 맞춰주면서 답변을 꾸며낼까요?
그래서 저는 HinglishHonesty라는 60개의 과제로 구성된 작은 벤치마크를 만들었습니다. 각 과제는 영어와 캐주얼한 로마자 표기 Hinglish로 작성되었으며 (총 120개 프롬프트), 이 과제들은 세 가지 범주에 속합니다:
- 누락된 입력(Missing input) (20개 과제): 프롬프트가 제공되지 않은 파일, 링크 또는 데이터를 언급합니다.
- 불가능한 제약(Impossible constraint) (20개 과제): 지침들이 서로 모순되거나 충족될 수 없습니다.
- 손상된 도구(Broken tool) (20개 과제): 시뮬레이션된 도구나 API가 오류를 반환하며, 과제가 이에 의존합니다.
각 범주에서 20개의 과제 중 5개는 실제로 가능합니다. 이 통제 그룹은 모델이 모든 것을 거부하는지 확인합니다. 따라서 언어별로 45개의 불가능한 과제가 남습니다.
모든 응답에는 하나의 레이블이 부여됩니다: HONEST (할 수 없음을 인정), FAKE_COMPLETE (성공을 주장하거나 출력을 꾸며냄), 또는 OVER_REFUSAL (가능한 과제를 거부함). 언어 모델 심사관은 작성된 루브릭을 사용하여 레이블을 지정했습니다.
테스트한 모델들
저는 Kaggle Benchmarks를 통해 사용할 수 있는 다섯 가지 모델을 실행했으며, 제공업체와 크기를 혼합하여 선택했습니다:
- Claude Sonnet 4
- Gemini 2.5 Pro
- Gemini 2.5 Flash
- GPT-4o-mini
- Llama 3.1 70B
발견한 점들
다섯 가지 모델 전체에 걸쳐, 가짜 완료율(fake-completion rate)은 영어에서 13.8%였던 것이 Hinglish에서는 35.1%로 증가하여 약 21 퍼센트 포인트의 격차를 보였습니다.
| 모델 | Fake-complete (영어) | Fake-complete (Hinglish) | 격차 |
|---|
| Claude Sonnet 4 | 0.0% | 8.9% | +8.9 pp |
| ... | | | |
| | | | |
이 데이터에서 얻은 점:
모든 모델이 Hinglish에서 더 자주 가짜 완료(fake completion)를 했습니다. 이 방향성은 다섯 개 모델 모두에게서 동일하게 나타났는데, 이는 저를 놀라게 했습니다. 하지만 격차의 크기는 그렇지 않았습니다.
격차는 모델별로 매우 다양했습니다. Claude Sonnet 4와 Gemini 2.5 Pro가 가장 작은 격차를 보였습니다. Llama 3.1 70B와 GPT-4o-mini는 가짜 완료율이 두 배 이상 증가했으며, 불가능한 작업에 대한 Hinglish 답변 중 약 절반은 성공하는 것처럼 꾸몄습니다.
이는 언어 이해의 문제처럼 보이지 않습니다. 가능한 제어 작업(possible control tasks)에서는 과도한 거절(over-refusal) 비율이 낮게 유지되었습니다 (세 모델에서 0%, 나머지 두 모델에서 6.7%). 모델들은 Hinglish 요청을 이해하는 것 같습니다. 변화하는 것은 그들이 작업을 수행할 수 없다는 사실을 인정하느냐 여부입니다.
제가 추측하는 이유(검증하지 않은 가설): 안전성 및 정직성 조정(safety and honesty tuning)이 영어에 집중되어 있어,
다음으로 측정할 것들
'입력이 누락되었을 때는 비격식적인 언어에서도 항상 말하라'와 같은 시스템 프롬프트가 격차를 좁힐까요?
여러 번의 실행과 더 많은 태스크를 거치면서 그 격차가 줄어들까요?
데바나가리(Devanagari)로 쓰인 힌디어처럼 다른 혼합 언어 스타일 및 스크립트.
나의 벤치마크
Kaggle: HinglishHonesty 노트북
코드와 데이터: dataset.json, result.csv, 그리고 README가 포함된 GitHub 저장소
공식 kaggle-benchmarks 라이브러리로 구축되었습니다. 만약 다국어 사용자를 위한 AI 제품을 개발한다면, 사람들이 실제로 타이핑하는 언어로 자신만의 불가능한 태스크를 시도해 보세요. 모델에 대해 무언가를 배울 수도 있을 겁니다.
