인간의 입력은 타이핑하거나 말하는 방식으로 언어 모델(Language Models)에 도달하며, 각 채널은 고유한 특징을 남깁니다. 키보드의 경우 철자 오류(orthographic noise)가 발생하며, 음성의 경우 전통적인 전사(transcription) 과정에서의 비유창성(disfluency)이나 AI 기반 받아쓰기 도구에 의한 구조 재편이 발생합니다. 이러한 요소들이 LLM의 성능에 어떤 영향을 미칠까요? 본 논문에서는 음성 전사 섭동(voice transcription perturbations)과 QWERTY 키보드 섭동(QWERTY keyboard perturbations) 세트인 HIVE(Human Input-Variation Engine)를 제시합니다. 우리는 HIVE를 사용하여 모델들이 이러한 섭동에 얼마나 강건(robust)한지 평가합니다. 우리는 일곱 가지 발견 사항을 제시합니다. (i) 음성 전사 섭동은 테스트한 모든 지시어 튜닝(instruction-tuned) 모델의 정확도를 낮추며, 비용을 발생시키는 것은 채움말(fillers)보다는 전사의 구조입니다. (ii) QWERTY 키보드 섭동은 비용이 더 적게 들며, 모델은 정확도가 떨어지기 전까지 많은 섭동을 흡수합니다. (iii) 두 경우 모두 하나의 원인, 즉 질문의 토큰(tokens) 중 얼마나 많은 토큰이 섭동에서 살아남느냐로 귀결됩니다. 토큰을 파괴하는 것이 해롭고, 그 옆에 새로운 토큰을 추가하는 것은 비용이 거의 들지 않습니다. (iv) 두 채널 사이의 격차는 답변을 구성하거나 추론해야 하는 경우에만 나타나며, 객관식 문제에서는 차이가 없습니다. (v) 피해는 오로지 테스트 세트 오염(test-set contamination)에서만 오는 것이 아닙니다. (vi) 경량 적응(lightweight adaptation)으로는 이를 해결할 수 없습니다. (vii) 사고 예산(thinking budget)은 키보드 채널의 성능을 거의 완전히 회복시키지만, 음성 레지스터(spoken registers)는 그대로 두며, 압축된 음성(compressed speech)은 사고 예산을 사용했을 때 더 악화됩니다.