Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
FisherEdit: 대규모 언어 모델(LLM)을 위한 피셔 정보 기반 지식 편집
본 논문은 LLM의 순차적 지식 편집 시 발생하는 성능 저하 문제를 다루며, 기존 방법들의 견고성이 업데이트 정규화에 기인함을 분석했습니다. 이를 바탕으로 피셔 기하학 기반의 FisherEdit을 제안합니다. 이 방법은 파라미터 공간에서의 중요도 인식 정규화를 통해 모델 안정성과 최신 성능을 동시에 확보했습니다.
3일 전0
arXivAI 번역논문
계통 보존형 SMC: 확산 LLM 디코딩을 위한 다양성 유지 기법
본 논문은 확산 LLM의 추론 정확도를 개선하기 위해 계통 보존형 SMC(LP-SMC)를 제안합니다. LP-SMC는 Chopthin 재샘플링과 입력 가중치 하한을 결합하여, 다항 재샘플링이 놓치는 낮은 가중치의 유망한 후보군(계통)을 유지하는 것이 핵심입니다. 이를 통해 오라클 커버리지와 종단 간 정확도를 크게 향상시켰습니다.
3일 전0
arXivAI 번역논문
AdaExploreBench: 변화하는 환경에서 능동적 탐색 및 테스트 시간 적응을 위한 LLM 에이전트 벤치마킹
본 글은 LLM 에이전트가 변화하거나 진화하는 환경에서 능동적으로 탐색하고 적응할 수 있는지 테스트하기 위한 새로운 벤치마크, AdaExploreBench를 소개합니다. 이 벤치마크는 숨겨진 규칙을 통해 환경 역학을 구현하여, 에이전트가 적극적인 증거 습득과 규칙 추론을 하도록 요구합니다. 실험 결과에 따르면, 현재 LLM 에이전트는 능동적 탐색 및 적응성 측면에서 여전히 어려움을 겪는 것으로 나타났습니다.
3일 전0
arXivAI 번역논문
MITRA-lexicon: 산스크리트어에서 영어, 티베트어 및 중국어로 증명된 번역의 어휘집
본 논문은 산스크리트어를 중심으로 영어, 티베트어, 중국어로 번역 등가물을 제공하는 어휘집인 MITRA-lexicon을 제안합니다. 이 리소스는 218만 개의 핵심 단어 항목과 1040만 개의 증명 사례를 포함하며, 다단계 파이프라인을 통해 정렬(alignments)을 생성했습니다.
3일 전0
arXivAI 번역논문
GLOBE: 단위 구(Unit-Sphere) 궤적을 이용한 기하학 기반 온라인 행동 조기 종료
본 논문은 추론 과정에서 불필요한 생성을 조기에 종료하는 온라인 알고리즘인 GLOBE(Geometry-Led Online Behavioral Early Exit)를 제안합니다. GLOBE는 생성된 각 세그먼트를 단위 구에 임베딩하여 의미론적 궤적을 분석하고, 신뢰도 기반의 시험 단계나 반복적인 방향 전환 감지를 통해 출력을 효율적으로 중단시킵니다.
3일 전0
arXivAI 번역논문
정확도 의존적 비대칭 타겟 분포를 이용한 자기 증류 정책 최적화
본 논문은 자체 증류 정책 최적화(SDPO)의 한계를 극복하기 위해 비대칭 정책 최적화 기반 자기 증류(APSD)를 제안합니다. APSD는 학생과 자체 교사의 분포를 혼합하여 정확도 의존적 타겟을 구성하며, 올바른 롤아웃은 유지하고 잘못된 롤아웃에 대한 수정 능력을 강화합니다. 실험 결과, APSD는 기존 방법 대비 우수한 성능을 보이며 적은 학습 단계로 동등한 결과를 달성했습니다.
3일 전0
arXivAI 번역논문
숨 쉬는 음성 LLM: 대화에서 비언어적 발성을 모델링하기
본 연구는 인간 대화의 비언어적 발성(NVVs)을 모델링하여 음성 상호작용 모델의 자연스러움을 개선하는 방법을 제시합니다. 13가지 주요 NVV를 포함한 데이터셋을 구축하고, 다단계 미세 조정 및 GRPO 기법을 적용해 문맥적으로 적절한 비언어적 발성을 생성하는 능력을 향상시켰습니다.
3일 전0
arXivAI 번역논문
샘플링, 혼합, 또는 검증? 불완전한 검증기 하에서 테스트 시간 컴퓨팅 할당
본 논문은 언어 모델과 에이전트의 추론 시간 성능 향상을 위해 컴퓨팅 자원 할당 문제를 다룹니다. 기존 방식들이 경험적 규칙에 의존했던 것과 달리, SPLIT이라는 새로운 프레임워크를 제안합니다. SPLIT은 정확한 확률 공식을 기반으로 예산을 계획하며, 다양한 작업 난이도와 검증기 특성을 고려하여 최적의 자원 할당을 제시합니다.
4일 전0
arXivAI 번역논문
더 많이 생각할 것인가, 더 많이 읽을 것인가? 공유 컨텍스트를 활용한 추론의 토큰 예산 이론
본 논문은 추론 시스템에서 컨텍스트를 소모하는 토큰의 상충 관계를 다루는 '토큰 예산 이론'을 제안합니다. 이 이론은 읽기(읽는 내용)와 생성(추론에 사용되는 공간)이 고정된 토큰 창 내에서 발생하는 자원 배분을 모델링하며, 특히 다중 에이전트 토론의 최적 에이전트 수를 예측할 수 있게 합니다.
4일 전0
arXivAI 번역논문
효율적인 추론 비용은 누가 지불하는가? 태스크와 언어 전반에 걸친 신뢰도 기반 소형 모델에서 대형 모델로의 라우팅
본 논문은 소형(small) 모델과 대형(large) 모델 간의 라우팅을 통해 추론 비용을 절감하는 방법을 다룹니다. 신뢰도 기반 라우팅이 특정 데이터셋에서는 성능 향상을 보였으나, 모든 태스크와 언어에 걸쳐 일관된 이점을 제공하지 못함을 체계적으로 평가했습니다.
4일 전0
arXivAI 번역논문
무시되거나 거부되지 않음: 소형 도구 사용 에이전트의 낮은 프롬프트 주입 성공률이 숨기는 것
본 연구는 도구 사용 에이전트의 간접 프롬프트 주입(IPI) 보안 평가에 대한 새로운 관점을 제시합니다. 기존 벤치마크가 실패한 공격을 '성공적인 방어'로 오해하는 경향이 있음을 지적하며, 실제로는 공격이 단순히 '무시'되는 경우가 많다고 분석했습니다. 따라서 에이전트의 안전성과 작업 완료 여부를 함께 평가해야 한다고 제안합니다.
4일 전0
arXivAI 번역논문
Self-Reflective Chain-of-Thought (SRCoT): 닫힌 루프 검색-성찰-수정 파이프라인을 통한 증거 기반 텍스트
본 논문은 LLM이 출처 지원 부족 및 로컬 운영 제약을 극복하기 위해 '검색-성찰-수정' 루프를 갖는 모듈식 아키텍처인 Self-Reflective Chain-of-Thought (SRCoT)를 제안합니다. SRCoT는 환경 상태, 지식 등을 분리된 저장소로 관리하며, 로컬 컨텍스트와 출처가 레이블링된 구조화된 출력을 제공하는 것이 특징입니다.
4일 전0
arXivAI 번역논문
언어 모델이 언어 모델을 개선하는 방법을 학습하다
본 논문은 LLM이 언어 모델(LM) 개발 과정을 자동화하고 개선하는 방법을 학습한 LM2LM을 제안합니다. 기존의 RL 기반 접근 방식은 높은 비용과 대리 피드백의 신뢰성 문제를 겪었습니다. 이를 해결하기 위해, 본 연구는 RWM이라는 고정된 LLM을 사용하여 확장 가능한 피드백을 제공하며 성능 향상 및 비용 절감을 입증했습니다.
4일 전0
arXivAI 번역논문
추론 모델이 스스로에게 지시하여 사고의 흐름(CoT)을 제어할 수 있다
본 연구는 추론 모델이 자신의 사고 과정(CoT)을 얼마나 잘 통제하는지 측정하는 '자체 지시형 CoT 통제 가능성'을 제안합니다. 기존 방식은 낮은 통제 가능성을 보였으나, 본 연구는 자체 지시를 통해 모델의 통제 능력이 크게 향상됨을 입증했습니다.
4일 전0
arXivAI 번역논문
Chain-of-Thought의 계산 과정을 언어화하여 신뢰성 감지
본 논문은 Chain-of-Thought (CoT)의 계산 과정을 언어화하여 추론의 신뢰성을 감지하는 새로운 방법 VERITAS를 제안합니다. VERITAS는 레이어별 Jacobian 투영을 사용하여 CoT 토큰마다 모델 내부의 추론 진화 과정을 설명하며, 이를 통해 부정확성이 발생하는 메커니즘적 이해를 제공합니다.
4일 전0
arXivAI 번역논문
LLM 토큰 확률을 이용한 L2 영어로부터 L1 배경 추론
본 논문은 비원어민 화자의 제2 언어(L2) 산출물로부터 모국어(L1)를 추론하는 Native language identification (NLI) 방법을 제시합니다. LLM의 토큰 확률을 활용하여 후보 L1 접두사별로 점수화하고, 가장 높은 점수를 받은 후보를 예측하는 접근 방식을 제안했습니다.
4일 전0
arXivAI 번역논문
SimOPD: 온-정책 증류를 위한 관계적 지식 전이
본 논문은 온-정책 증류(OPD)의 한계를 극복하기 위해 SimOPD를 제안합니다. 기존 방식이 가진 지도 추출 및 전이의 복잡성을 해결하고자, 응답 유사성 기반의 대조 학습을 활용하여 교사의 내부 지식을 효과적으로 학생 모델에 전달하는 방법론입니다.
4일 전0
arXivAI 번역논문
동등한 CER, 불균등한 손상: OCR을 위한 심각도 가중치 문자 오류율 (Severity-Weighted Character Error
본 논문은 기존 OCR 및 VLM의 표준 지표인 CER이 모든 오류에 동일한 비용을 부과하는 한계를 지적하며, '심각도 가중치 문자 오류율(semCER)'을 제안합니다. semCER는 LLM 심사관이 각 편집 단위에 부여하는 심각도를 반영하여, 어느 부분이 더 중요한지 세분화된 평가를 가능하게 합니다.
10월 15일1
arXivAI 번역논문
번역에 실패한 이유: 낮은 편향 점수가 더 공정한 모델을 의미하지 않는 이유
본 연구는 다국어 언어 모델의 편향 감사 방식에 의문을 제기하며, 단순히 영어 평균 고정관념 점수와 다른 언어에서의 차이를 공정성의 지표로 해석하는 것이 부정확할 수 있음을 보여줍니다. 8개 언어로 10개의 오픈 모델을 테스트한 결과, 낮은 평균 편향 점수가 곧 높은 공정성을 의미하지 않으며, 번역 과정에서 발생하는 노이즈와 파이프라인 오류가 주요 원인임을 분석했습니다.
10월 15일1
arXivAI 번역논문
AdaRSI: 체화 에이전트를 위한 온디맨드 재귀적 자기 개선
본 논문은 체화 에이전트의 한계점인 장기 지평선 작업 실패 문제를 해결하기 위해 온디맨드 재귀적 자기 개선(AdaRSI) 프레임워크를 제안합니다. AdaRSI는 실행기의 가중치를 필요할 때만 변경하고, 코딩 에이전트가 스스로 수집한 경험을 바탕으로 신뢰도가 낮은 하위 단계만을 미세 조정하는 방식입니다. GR00T N1.5와 RoboCasa365 환경에서 테스트 결과, 기존 VLA 대비 복합 작업 성공률을 크게 향상시켰습니다.
10월 15일1