IH-Benchmark: LLM 애플리케이션의 지시 계층 구조 강건성을 위한 충돌 중심 벤치마크

원문 발행 2026. 07. 29. 02:06원문 언어 영어AI 한국어 번역arXiv Codex (cs.SE) 원문 보기

요약

LLM이 상충하는 지시를 받았을 때의 계층 구조 강건성을 측정하는 새로운 벤치마크인 IH-Benchmark를 제안합니다. 시스템, 사용자, 도구 간의 충돌 시나리오를 통해 37개 모델을 평가한 결과, 모델별로 계층 준수율이 크게 다름을 확인했습니다.

핵심 포인트

시스템-사용자(S>U) 및 사용자-도구(U>T) 충돌을 측정하는 IH-Benchmark 제시
37개 모델 평가 결과, 계층 준수율이 20.5%에서 98.2%까지 큰 편차를 보임
S>U 준수 능력이 반드시 U>T 강건성을 보장하지는 않음을 발견
노골적인 위험보다 미묘한 지시 충돌 상황에서 모델의 실패가 더 빈번함

언어 모델이 서로 다른 우선순위 수준으로부터 상충하는 지시(conflicting instructions)를 받았을 때, 모델은 실제로 어떤 지시를 따를까요? 이 질문은 신뢰할 수 있는 LLM 배포의 핵심에 있습니다. 기존의 벤치마크들은 단일 계층 에지(hierarchy edge)에 집중하거나 도구 사용(tool-use) 범위가 제한된 공개 데이터셋을 조정하는 방식으로 이 질문에 부분적으로만 답하고 있습니다. 우리는 직접적인 시스템-사용자 충돌(S>U) 및 도구를 매개로 한 사용자-도구(U>T) 충돌 전반에 걸쳐 지시 계층 구조 강건성(instruction-hierarchy robustness)을 측정하는 충돌 중심 벤치마크인 IH-Benchmark를 제시합니다. IH-Benchmark는 일반(generic), 의료(health), 금융(finance), 소매(retail), 코딩(coding) 설정에 걸쳐 인간이 작성한 44개의 제약 조건 패밀리(constraint families) 분류 체계를 기반으로 구축되었으며, 술어 DSL(predicate DSL)과 카테고리 범위의 LLM 판사(LLM judges)를 결합한 균일한 이진 통과/실패(pass/fail) 프로토콜로 시나리오를 평가합니다. 평가된 37개 모델에서 계층 준수율(hierarchy compliance)은 98.2%에서 20.5% 사이로 나타났습니다. 우리는 강력한 S>U 준수가 U>T 강건성을 보장하는 신뢰할 수 있는 대리 지표(proxy)가 아님을 발견했습니다. 여러 모델이 직접적인 사용자 충돌 상황에서는 시스템 제약 조건을 유지하지만, 상충하는 지시가 도구 출력(tool outputs)에 나타날 때는 성능이 급격히 저하됩니다. 제약 조건 강화(Constraint hardening) 실험 또한 모델 간의 차이를 드러냈습니다. 일부 실패 사례는 더 강력한 경고를 통해 대부분 해결되는 반면, 다른 사례들은 모든 엄격도 수준에서 지속되었습니다. 마지막으로, 가장 시사점이 큰 실패는 노골적으로 위험한 경우보다는 미묘한 경우에서 자주 발생했습니다. 모델은 주입된 면책 조항(disclaimers)이나 작은 사실 왜곡(factual distortions)보다 승인되지 않은 구매나 대량 티켓 종료(bulk ticket closure)에 더 신뢰성 있게 저항했습니다. 이러한 결과는 지시 계층 구조 강건성이 단일한 능력이 아니라, 충돌 표면(conflict surfaces), 제약 조건 유형, 그리고 공격 제시 방식(attack presentations)에 걸쳐 평가되어야 하는 일련의 행동임을 시사합니다.

AI 자동 생성 콘텐츠

원문 바로가기

IH-Benchmark: LLM 애플리케이션의 지시 계층 구조 강건성을 위한 충돌 중심 벤치마크

요약

핵심 포인트

댓글