Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
강도 인의 사전 학습 (Sharpness-Aware Pretraining) 은 재기억을 완화합니다
본 논문은 사전 학습 과정에서 '강도 인 최소화(Sharpness-Aware Minimization, SAM)'와 같은 기법을 사용하여 모델의 최적화 경로를 평평한 최소점(flat minima)으로 유도하는 것이 후속 훈련 및 양자화 단계에서 발생하는 성능 저하(재기억, Catastrophic Forgetting)를 완화할 수 있음을 보여줍니다. 연구 결과에 따르면, SAM과 같은 접근법은 다양한 데이터셋에서 최대 80%의 재기억 감소를 가져와 다운스트림 성능을 크게 개선하며, 이러한 효과는 모델 규모가 커져도 일관되게 유지됩니다.
5월 5일8
arXivAI 번역논문
SemEval-2026 Task 6: 정치 담론의 응답 명확성 및 회피 감지 (CLaC) 시스템 소개
본 논문은 미국 대통령 인터뷰 질문-답변 쌍에서 응답의 명확성(Clarity)과 회피(Evasion)를 감지하는 SemEval-2026 Task 6 (CLARITY) 시스템을 제안합니다. 연구진은 미세 조정된 인코더와 프롬프트 기반 LLM을 비교했으며, 특히 최적화된 트랜스포머 인코더 앙상블과 적절한 프롬프팅 기법이 높은 성능을 보였습니다. 또한, 다국어 모델의 결합이나 전체 인터뷰 맥락(enriched input) 제공 등 다양한 실험 설정을 통해 LLM 및 인코더의 강점과 한계를 분석했습니다.
5월 5일7
arXivAI 번역논문
반복적인 LLM 루프의 교란 용량 반응: 원시 스위칭, 확률적 바닥선, 그리고 Append, Replace, Dialog 업데이트 하에서의
본 연구는 반복적인 LLM 루프에서 모델이 특정 패턴에 수렴하는 현상을 분석하고, 이 루프를 다른 곳으로 이동시키기 위해 필요한 교란(disruption)의 양과 지속성을 탐구합니다. 30단계의 반복적 루프 환경에서 Append, Replace, Dialog 업데이트 규칙을 분리하여 테스트한 결과, 컨텍스트 길이와 업데이트 방식에 따라 모델이 원래 패턴에서 벗어나거나 새로운 목적지로 일관되게 이동하는 정도가 다름을 보여줍니다. 특히 전체 역사 프로토콜 하에서는 1,500 토큰 근처에서 탈출 성공률이 높아지는 등, 메모리 정책과 컨텍스트 관리 전략의 중요성을 강조합니다.
5월 5일4
arXivAI 번역논문
좋은 사과를 버킷팅: 신경망 해석의 진단 및 개선 방법
이 논문은 신경망 해석을 진단하고 개선하기 위한 새로운 프레임워크를 제안합니다. 핵심 방법론은 '교차 개입(interchange intervention)'을 활용하여 입력 하위 공간을 분석하는 것입니다. 기존의 전역적 평가 방식에서 벗어나, 이 방법은 모델이 잘 작동하는 영역과 실패하는 영역을 세밀하게 분할함으로써 해석 가능성을 진단 도구로 전환합니다. 나아가, 이러한 진단적 구조 분석을 통해 고수준 가설에 누락된 변수를 식별하고, 부분적인 해석들을 결합하여 더 강력하고 포괄적인 해석으로 개선할 수 있는 실용적인 방법론까지 제시합니다.
5월 5일9
arXivAI 번역논문
작은 LLM 의 제로샷 신뢰도 추정: 감독적 베이스라인이 훈련할 가치가 없는 때
본 논문은 작은 언어 모델(LLM)이 자신의 예측 정확도를 얼마나 신뢰할 수 있는지 측정하는 '제로샷 신뢰도 추정' 방법을 제시합니다. 이는 LLM의 추론 비용을 절감하기 위해 저렴한 로컬 모델로 쿼리를 라우팅하고, 어려운 경우에만 비싼 클라우드 호출을 사용하는 비용 통제 전략에 필수적입니다. 연구진은 평균 토큰 로그 확률(Average token log-probability)이 감독적 베이스라인과 비교하여 우수한 성능을 보였으며, 특히 분포 외 데이터에서 큰 이점을 입증했습니다.
5월 5일11
arXivAI 번역논문
가짜 뉴스 탐지를 위한 정보 이론적 전파 노이즈 제거 및 융합 프레임워크
본 논문은 불완전하거나 합성된 전파 데이터가 야기하는 문제를 해결하기 위해 'InfoPDF'라는 정보 이론적 프레임워크를 제안합니다. InfoPDF는 상호 정보(mutual information) 관점을 활용하여 합성 전파의 신뢰성을 완화하고, 실제 및 합성 전파로부터 효과적인 표현을 학습하도록 설계되었습니다. 이 프레임워크는 속성별로 합성된 전파 데이터를 확률적 잠재 분포로 모델링하고, 상호 정보 기반 목적 함수를 통해 노이즈를 억제하며 데이터의 일관성을 유지하여 가짜 뉴스 탐지 성능을 향상시킵니다.
5월 5일10
arXivAI 번역논문
WindowQuant: VLM 추론 최적화를 위한 윈도우 레벨 유사성에 기반한 혼합 정밀도 KV 캐시 양자화
WindowQuant는 비디오 언어 모델(VLMs)의 긴 시각 토큰 시퀀스로 인한 추론 지연 및 메모리 문제를 해결하기 위해 제안된 새로운 방법입니다. 이 기법은 윈도우 레벨 유사성 검색을 통해 KV 캐시의 최적 비트 폭 구성을 빠르게 결정하고, 윈도우 레벨 계산으로 양자화 전 KV 캐시를 재배치하여 하드웨어 효율성을 높입니다. 실험 결과, WindowQuant는 기존 VLM 모델 및 KV 캐시 양자화 방법들보다 우수한 성능을 보여주었습니다.
5월 5일8
arXivAI 번역논문
분해 및 주입을 통한 구성적 다단계 사실 오류 수정 (CECoR)
본 논문은 외부 증거를 활용하여 부정확한 텍스트를 수정하는 사실 오류 수정(FEC)의 한계를 극복하기 위해 '구성적 오류 수정(CECoR)' 프레임워크를 제안합니다. CECoR은 다단계 명제를 해석 가능한 추론 단계로 분해하고, 제어된 왜곡을 주입하여 고품질 훈련 쌍을 합성하는 것이 핵심입니다. 이 방법은 지도 미세 조정과 강화 학습을 결합한 두 단계 학습 전략을 통해 사실적 정확도와 견고성을 높였으며, 다단계 오류 수정에서 우수한 성능을 입증했습니다.
5월 5일7
arXivAI 번역논문
타지크어-페르시아어 쌍을 위한 기계 문자 변환 모델의 체계적 벤치마크: 규칙 기반에서 트랜스포머 아키텍처까지 비교 연구
본 논문은 타지크어(키릴 문자)와 페르시아어(아랍 문자) 간의 기계 문자 변환(Machine Transliteration)에 대한 포괄적인 비교 분석을 제공합니다. 규칙 기반 시스템부터 최신 트랜스포머 아키텍처까지 다양한 모델들을 체계적으로 벤치마크하여 성능을 평가했습니다. 이를 통해 각 접근 방식의 장단점을 명확히 파악하고, 향후 이 분야 연구 방향에 대한 통찰력을 제시합니다.
5월 5일9
arXivAI 번역논문
올바른 것이 사용 불가능할 때: 소규모 언어 모델의 구조적 출력 신뢰도 개선
본 연구는 언어 모델이 수학 문제 해결과 같은 구조적이고 형식적인 출력을 생성할 때 발생하는 신뢰도 격차를 분석합니다. 기존의 프롬프트 엔지니어링(NAIVE, REFERENCE)이나 제약 디코딩 방식은 높은 작업 정확도를 유지하면서 일관되게 유효한 JSON 구조를 출력하는 데 실패했습니다. 연구진은 이를 해결하기 위해 'AloLab'이라는 블랙박스 API 기반의 반복적인 시스템 프롬프트 최적화기를 개발했으며, 이는 기존 방법론보다 훨씬 높은 수준의 형식적 출력 신뢰도와 작업 정확도를 동시에 달성함을 입증했습니다.
5월 5일9
arXivAI 번역논문
Decoding-Time Debiasing via Process Reward Models: From Controlled Fill-in to
본 논문은 대규모 언어 모델(LLM)이 학습 데이터의 사회적 편향을 흡수하여 고정관념을 강화하는 문제를 해결하기 위해, 모델 가중치를 수정하지 않고 디코딩 시간(추론 시간)에 편향을 완화하는 새로운 접근 방식을 제안합니다. 이 방법은 별도의 프로세스 보상 모델(PRM)이 후보 토큰들을 공정성과 유창성 측면에서 점수화하여 '판사' 역할을 수행하며, Best-of-N 선택, 순차적 비평 및 수정(Sequential critique-and-revise), 헌법적 자체 감사 등 세 가지 정교한 스키마를 설계했습니다. 실험 결과, 특히 순차적 디비아싱 기법이 가장 효과적이어서 평균 편향 점수를 크게 개선하면서도 언어의 유창성을 유지하거나 향상시키는 것으로 나타났습니다.
5월 5일6
arXivAI 번역논문
InfoLaw: 질량 가중치 혼합 데이터와 반복을 통한 대형 언어 모델의 정보 확장 법칙
InfoLaw는 대규모 언어 모델(LLM)의 훈련 과정에서 정보 확장 법칙을 다루는 새로운 프레임워크입니다. 이 방법은 소비된 토큰 수, 모델 크기, 데이터 혼합 가중치, 그리고 반복 횟수까지 고려하여 LLM의 성능을 예측합니다. 기존 방식이 혼합 레시피나 반복에 대한 외부 추정을 제공하지 못했던 한계를 극복하고, 다양한 컴퓨팅 예산 하에서 최적의 데이터 조합과 규모를 결정할 수 있게 합니다.
5월 5일7
arXivAI 번역논문
독해로 독을 맞다: 적대적 학습을 통한 소수 데이터 기계 생성 텍스트 감지 강건성 향상
본 논문은 기계 생성 텍스트(MGT) 검출기의 성능과 강건성을 향상시키기 위해 적대적 학습 프레임워크인 REACT를 제안합니다. REACT는 검색 증강 생성(RAG)을 활용하여 인간화된 적대적 예제를 생성하는 공격자와, 이로부터 대비적 객체 학습을 통해 소수 데이터 환경에서의 감지 성능과 강건성을 동시에 높이는 검출기를 결합합니다. 실험 결과, REACT는 기존 최고 수준의 검출기들보다 높은 평균 F1 점수를 달성하고, 강력한 적대적 공격에 대한 성공률을 크게 감소시키는 것으로 나타났습니다.
5월 5일8
arXivAI 번역논문
AI 추론 측정: 연구자를 위한 가이드
본 가이드는 언어 모델의 추론 능력을 평가하는 연구자들을 위해 작성되었으며, 단순히 최종 답변의 정확도만으로는 충분하지 않다고 강조합니다. 대신, 추론 과정을 '검색과 같은 절차'로 형식화하여 중간 단계의 선택 및 정지 과정을 분석해야 한다고 주장합니다. 따라서 최종 결과뿐 아니라 중간 디코딩 과정이나 외부화된 추론 흔적(traces)을 평가 목표로 삼는 프로세스 기반 평가 방법론으로의 전환이 필요함을 제안합니다.
5월 5일11
arXivAI 번역논문
HalluScan: 지시 따름 LLM 의 환각 탐지 및 완화 평가를 위한 체계적 벤치마크
HalluScan은 대규모 언어 모델(LLMs)의 환각 현상을 체계적으로 탐지하고 완화하기 위한 포괄적인 벤치마크 프레임워크입니다. 이 프레임워크는 6가지 탐지 방법, 4개 오픈웨이트 모델 계열, 그리고 3개 도메인을 포함하는 총 72가지 구성을 평가합니다. 주요 기여로는 인간 전문가 판단과 높은 상관관계를 보이는 새로운 복합 지표인 HalluScore와 비용 효율적인 적응형 탐지 라우팅(ADR) 알고리즘 등이 있습니다.
5월 5일9
arXivAI 번역논문
Shadow-Loom: 서사적 세계 모델에 대한 인과 추론
Shadow-Loom은 서사적 세계를 버전 관리 가능한 그래픽 세계 모델로 변환하는 실험적인 오픈소스 프레임워크입니다. 이 시스템은 물리적 인과성(Pearl의 계단)을 다루는 엔진과 반사실적 계산(AMWN 기반)을 수행하는 엔진을 결합하여, 미스터리, 서스펜스 등 네 가지 구조적 독자 상태에 따라 내러티브를 분석합니다. 대규모 언어 모델은 보조적인 역할로만 사용되며, 핵심 추론 및 개입은 그래프 상의 타입 코드를 통해 이루어져 연구 예술품으로 제공됩니다.
5월 5일6
arXivAI 번역논문
티벳 TTS: 대규모 모델 적응을 통한 저자본 티벳 음성 합성
이 논문은 제한된 자원과 복잡한 언어 구조를 가진 티벳 텍스트-음성 합성(TTS) 문제를 해결하기 위한 대규모 모델 기반 시스템을 제시합니다. 제안된 시스템은 기존의 대규모 음성 합성 모델에 티벳 지향적인 텍스트 표현 및 토큰화기 적응, 그리고 다국어 적응 훈련을 통합했습니다. 실험 결과, 이 시스템은 저자본 조건에서도 매우 안정적이고 자연스러우며 이해 가능한 티벳 음성을 생성하여 기존 상업용 인터페이스를 능가하는 성능을 입증했습니다.
5월 5일8
arXivAI 번역논문
다국어 환각 평가 벤치마크: MultiWikiQHalluA
기존의 환각(hallucination) 평가는 영어에 편중되어 있어 다국어 적용에 한계가 있습니다. 본 연구는 MultiWikiQA 데이터셋을 활용하여 306개 언어의 합성 환각 데이터셋을 구축하고, 이를 기반으로 유럽 언어 30개에 대한 토큰 단위 환각 분류기를 개발했습니다. 이 분류기를 사용하여 여러 대규모 언어 모델(LLM)의 다국어 환각률을 평가한 결과, 일반적으로 모델 크기가 클수록 성능이 우수하며, 저자본 언어일수록 환각률이 높아지는 경향을 확인했습니다.
5월 5일10
arXivAI 번역논문
생의학적 검색 증강 생성 (RAG) 전략 벤치마킹: 통제된 경험적 연구
본 논문은 고위험 도메인인 생의학 분야에서 가장 효과적인 검색 증강 생성(RAG) 전략을 체계적으로 비교 분석한 연구입니다. 5가지 주요 검색 전략(Dense Vector Search, Hybrid BM25 + Dense retrieval 등)을 통제된 환경에서 평가했으며, GPT-4o-mini와 같은 고정된 LLM 및 임베딩 모델을 사용하여 검색 자체의 성능 차이를 명확히 했습니다. 평가 결과, Cross-Encoder Reranking 전략이 가장 높은 종합 점수와 컨텍스트 정밀도를 달성하여 쿼리-문서 상호작용 개선의 중요성을 입증했습니다. 또한, 모든 RAG 조건이 무(無) 컨텍스트 상황 대비 답변 관련성에서 현저한 우위를 보이며 검색 시스템의 실질적인 가치를 확인했습니다.
5월 5일6
arXivAI 번역논문
의미 역할 레이블링 (SRL) 재검토: 의존성 기반 분석을 활용한 효율적인 구조적 추론
본 기사는 의미 역할 레이블링(SRL) 모델링을 재검토하고, 현대화된 인코더 기반 프레임워크를 제안합니다. 기존의 시스템들이 가진 구조적 명시성 부족 문제를 해결하기 위해 의존성 기반 분석 방법을 채택하여 추론 속도를 획기적으로 개선했습니다. 이 새로운 프레임워크는 BERT, RoBERTa, DeBERTa 등 다양한 최신 인코더 모델을 활용하며, 특히 의존성 단서가 구조적 안정성을 높여 다운스트림 다국어 SRL 응용 프로그램에 효과적임을 입증합니다.
5월 5일6