Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.CL (NLP) 1803건필터 해제
arXiv논문
REFLECT할 시간: 증거 기반 연구 에이전트를 위한 LLM 판사(LLM Judges)를 신뢰할 수 있는가?
심층 연구 에이전트의 성능을 평가하기 위해 LLM을 판사로 사용하는 'LLM-as-judge' 방식의 신뢰성을 검증하는 연구를 소개합니다. 연구진은 통제된 개입을 통해 세밀한 실패 탐지를 수행하는 메타 평가 벤치마크인 REFLECT를 제안하였으며, 실험 결과 현재의 LLM 판사들이 증거 검증 등 주요 지표에서 매우 낮은 정확도를 보임을 밝혀냈습니다.
5월 20일0
arXiv논문
관점: LLM에서의 불확실성 정량화(Uncertainty Quantification)는 단지 비지도 클러스터링(Unsupervised
현재 LLM의 불확실성 정량화(UQ) 방법론들이 모델의 외부적 정확성이 아닌 내부적 일관성만을 측정하는 비지도 클러스터링에 불과하다는 점을 지적합니다. 이로 인해 모델이 틀린 답변을 확신 있게 내놓는 '확신에 찬 환각'을 감지하지 못하는 문제가 발생하며, 이를 해결하기 위해 객관적 진실에 기반한 새로운 패러다임 전환이 필요함을 주장합니다.
5월 20일0
arXiv논문
언어 모델의 구획화 문제 (Language models struggle with compartmentalization)
본 연구는 대규모 언어 모델(LLMs)이 학습 데이터 내에서 동일한 잠재 개념의 다양한 표현들 사이에서 통계적 강점을 식별하고 공유하는 데 어려움을 겪는 '구획화(compartmentalization)' 현상을 분석합니다. LLM은 각 개념의 표현에 대해 병렬적인 내부 표현을 학습하여 모델 용량이 중복성으로 포화되고 샘플 효율성이 감소할 수 있습니다. 또한, 합성 병렬 데이터만으로는 이 문제를 해결하기 어려우며, 개입 효과가 표현의 수에 따라 달라지는 상전이 현상을 보인다는 점도 밝힙니다.
5월 20일0
arXiv논문
STAR-PólyaMath: 지속적인 메타 전략적 감독 하의 멀티 에이전트 추론
STAR-PólyaMath는 수학적 추론이 필요한 장기적인 멀티 에이전트 문제 해결을 위해 설계된 새로운 프레임워크입니다. 이 시스템은 메타 수준의 감독과 구조화된 Reasoner-Verifier 상호작용을 통해 기존 시스템의 신뢰성 문제를 해결합니다. 핵심적으로, 지속적인 Meta-Strategist가 시도 간 메모리를 유지하고 고수준 전략적 지침을 제공하여 비생산적인 루프를 방지하며, 오케스트레이션된 상태 머신과 재계획 기능을 통해 오류 전파를 효과적으로 제한합니다.
5월 20일0
arXiv논문
느린 fMRI를 이용한 언어 인코딩 모델의 미세 조정(Fine-tuning)이 빠른 ECoG 예측 성능을 향상시킨다
비침습적 fMRI 데이터를 활용하여 미세 조정(Fine-tuning)을 수행함으로써, 고해상도인 ECoG의 언어 인코딩 모델 성능을 향상시키는 방법을 제안합니다. fMRI의 낮은 시간 해상도에도 불구하고, 이 방식은 ECoG의 예측 성능을 높일 뿐만 아니라 데이터 양에 따라 성능이 꾸준히 확장됨을 입증했습니다.
5월 20일0
arXiv논문
단계별 신뢰도 귀속 (Stepwise Confidence Attribution)을 통한 블랙박스 LLM의 다단계 추론 실패 진단
본 논문은 블랙박스 LLM의 다단계 추론 과정 중 어느 단계에서 오류가 발생하는지 진단하기 위한 '단계별 신뢰도 귀속(SCA)' 프레임워크를 제안합니다. 정보 병목(Information Bottleneck) 원칙을 활용하여 추론 단계별 신뢰도를 할당하며, 비매개변수적 방식인 NIBS와 그래프 기반 방식인 GIBS를 통해 오류 지점을 식별합니다. 실험 결과, SCA를 활용한 자기 수정 방식이 기존 답변 수준의 피드백보다 수정 성공률을 최대 13.5% 향상시킴을 입증했습니다.
5월 20일0
arXiv논문
FormalASR: 종단간(End-to-End) 구어체 중국어의 문어체 텍스트 변환
FormalASR은 구어체 중국어를 격식 있는 문어체 텍스트로 직접 변환하는 종단간(End-to-End) 음성 인식 모델입니다. 기존의 ASR과 LLM을 결합한 2단계 방식 대신 0.6B 및 1.7B 규모의 컴팩트한 모델을 사용하여 지연 시간과 메모리 비용을 줄였습니다. 이를 통해 온디바이스 환경에서도 효율적인 구어체-문어체 전사 솔루션을 제공합니다.
5월 20일0
arXiv논문
언어 접근성에서의 AI 기술: AI에 대한 태도와 언어 접근성 관리자의 인간적 가치
본 논문은 AI 기술의 급격한 발전이 언어 접근성(Language Access) 분야의 번역 실무와 이론에 미치는 영향을 분석합니다. 의료, 법원, 공공 서비스 분야의 관리자들을 대상으로 한 인터뷰를 통해, 이들이 AI 도입에 대해 위험을 인지하면서도 인간의 감독과 가치를 중시하는 '조건부 낙관론'을 보이고 있음을 밝힙니다.
5월 20일0
arXiv논문
DECOR: 정보 조작 이론 (Information Manipulation Theory)을 통한 LLM 기만 행위 감사
DECOR는 정보 조작 이론(Information Manipulation Theory)을 기반으로 LLM의 미묘한 기만 행위를 미세한 입도(fine-grained)로 감사하는 멀티 에이전트 프레임워크입니다. 입력 컨텍스트를 원자적 정보 단위로 분해하여 네 가지 조작 차원을 분석함으로써, 어떤 정보가 어떻게 왜곡되었는지 해석 가능한 조작 프로필을 생성합니다. 실험 결과, DECOR는 15개의 프런티어 모델을 대상으로 한 벤치마크에서 기존 베이스라인을 능가하는 최첨단(SOTA) 성능을 입증했습니다.
5월 20일0
arXiv논문
OpenCompass: 대규모 언어 모델 (LLMs)을 위한 범용 평가 플랫폼
OpenCompass는 기존 정적 벤치마크의 한계를 극복하기 위해 제안된 확장 가능하고 높은 동시성을 지원하는 범용 LLM 평가 플랫폼입니다. 모듈화된 설계를 통해 높은 호환성과 유연성을 제공하며, 다양한 도메인의 벤치마크를 통합하여 모델의 강점과 약점을 정밀하게 분석할 수 있도록 돕습니다.
5월 20일0
arXiv논문
해석의 미궁: 교차 언어적 설명에서의 그럴듯함과 충실도 간의 트레이드오프 (Trade-off)
다국어 LLM이 비영어권 입력을 영어로 설명할 때 발생하는 유창함과 충실도 사이의 트레이드오프를 분석한 연구입니다. 영어 피벗 설명은 인간의 근거와 높은 구간 일치도를 보이지만, 모델의 예측에 대한 인과적 근거인 포괄성과 충분성은 모국어 조건보다 현저히 낮게 나타납니다. 연구 결과, 영어 설명은 실제 결정 추적보다는 의사소통 요약에 가까우며, 입력 언어로 직접 감사할 것을 권장합니다.
5월 20일0
arXiv논문
근거(Rationales)는 필수적이며 충분한가? 설명 가능한 오정보 탐지를 위한 LLM 튜닝
본 연구는 소셜 미디어의 오정보 탐지(MD)를 위해 설명 가능한 근거를 생성하는 전용 LLM 미세 조정 파이프라인을 제안합니다. 기존의 단순 레이블 기반 필터링 방식이 가진 불충분한 근거 생성과 과잉 검증 문제를 해결하기 위해, 근거의 필요성과 충분성을 정량화하여 평가하는 새로운 데이터 합성 파이프라인인 LONSREX를 도입했습니다.
5월 20일0
arXiv논문
문서 파서(Document Parsers)는 어떻게 고장 나는가? 문서 지능(Document Intelligence)의 구조적 취약성 감사
본 논문은 RAG 및 문서 질의응답 시스템의 기반이 되는 문서 레이아웃 분석(DLA) 파이프라인의 구조적 취약성을 평가하기 위한 새로운 감사 프레임워크를 제안합니다. 기존의 영역 중심적 평가 방식에서 벗어나, 블록 수준 구조 손실률(B-SLR)과 구조 인식 진단을 통해 섭동이 레이아웃 구조와 상호작용하며 실패를 전파하는 방식을 정밀하게 분석합니다.
5월 20일0
arXiv논문
독해 문항 생성 시 특징 제약 기반 난이도 조절을 위한 멀티 에이전트 프레임워크
기존의 단일 에이전트 방식이 가진 난이도 조절 제약 조건 미준수 문제를 해결하기 위해, 멀티 에이전트 프레임워크인 MAFIG를 제안합니다. MAFIG는 여러 LLM 에이전트와 특징별 평가자가 협력하여 문항을 생성하고 반복 수정함으로써 목표 난이도에 부합하는 문항을 생성합니다. 실험을 통해 MAFIG가 기존 방식보다 높은 제약 조건 준수율과 강력한 난이도 조절 성능을 보임을 입증했습니다.
5월 20일0
arXiv논문
HalluWorld: 참조 세계 모델 (Reference World Models)을 통한 환각 (Hallucination) 제어 벤치마크
HalluWorld는 LLM의 환각 문제를 체계적으로 측정하기 위해 명시적인 참조 세계(Reference World)를 기반으로 설계된 확장 가능한 벤치마크입니다. 그리드월드, 체스, 터미널 작업 등 다양한 합성 환경을 통해 모델의 관찰 가능성과 시간적 변화에 따른 환각 양상을 세분화하여 분석합니다. 연구 결과, 프론티어 모델들은 단순 지각적 환각에는 강하지만 다단계 상태 추적 및 인과적 시뮬레이션에서는 여전히 취약함을 보여줍니다.
5월 20일0
arXiv논문
검색 증강 언어적 교정 (Retrieval-Augmented Linguistic Calibration)
본 논문은 LLM의 언어적 확신 표현을 정교하게 조정하기 위한 '검색 증강 언어적 교정(RALC)' 프레임워크를 제안합니다. 기존의 스칼라 방식 대신 확률 분포를 사용하여 언어적 단서의 가변성을 포착하며, 새로운 지표인 충실도 발산(FD)을 통해 모델의 신뢰도를 정량화합니다. 실험 결과, RALC는 다양한 LLM에서 충실도와 교정 성능을 대폭 향상시켰음을 입증했습니다.
5월 20일0
arXiv논문
IMLJD: 인도 혼인 소송 분석을 위한 계산용 데이터셋
인도의 혼인 관련 법적 분쟁을 분석하기 위해 3,613개의 법원 판결문을 포함하는 IMLJD 공개 데이터셋을 제안합니다. 이 데이터셋은 인도 대법원과 Karnataka 고등법원의 판결을 포함하며, 구조화된 레이블, 메타데이터, 지식 그래프를 제공하여 법적 결과 분석을 지원합니다.
5월 20일0
arXiv논문
PAVE: 생성형 에이전트 사회에서의 정당한 위반을 위한 인지 아키텍처 (Cognitive Architecture)
LLM 기반 생성형 에이전트가 비상 상황 등에서 규칙을 정당하게 위반할 수 있도록 설계된 새로운 인지 아키텍처 PAVE를 제안합니다. PAVE는 지각, 평가, 판결, 모사의 4개 모듈을 통해 상황의 심각성을 판단하고, 권위를 존중하면서도 필요한 경우에만 제한된 범위 내에서 규칙을 위반하는 구조화된 의사결정을 수행합니다.
5월 20일0
arXiv논문
SciCustom: 대규모 언어 모델(LLM)의 과학적 역량 맞춤형 평가를 위한 프레임워크
SciCustom은 기존 벤치마크가 LLM의 세밀한 과학적 역량을 반영하지 못하는 한계를 극복하기 위해 제안된 맞춤형 평가 프레임워크입니다. 온톨로지 기반의 지식 단위와 다중 모델 합의 방식을 활용하여, 대규모 과학 데이터로부터 특정 애플리케이션에 특화된 벤치마크를 자동으로 구축합니다. 화학 및 의료 분야 실험을 통해 전문가의 주석 없이도 LLM의 과학적 역량 차이를 효과적으로 식별할 수 있음을 입증했습니다.
5월 20일0
arXiv논문
사고 과정 제어하기: 적응형 LLM 추론을 위한 조건부 엔트로피 셰이핑 (Conditional Entropy Shaping)
조건부 엔트로피 셰이핑(CES)은 LLM의 추론 과정에서 토큰 수준의 엔트로피를 동적으로 제어하여 응답의 길이를 조절하고 정확도를 높이는 프레임워크입니다. 쉬운 문제에서는 간결한 답변을, 어려운 문제에서는 심층적인 탐색을 유도함으로써 기존 방식의 응답 길이와 정확도 간의 트레이드오프 문제를 해결합니다.
5월 20일0