Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
Dynamic Cognitive Reconciliation Decoding을 통한 LLM의 컨텍스트-메모리 충돌 완화
본 논문은 대규모 언어 모델(LLMs)이 축적한 파라미터 지식과 컨텍스트 내 외부 지식이 충돌할 때 발생하는 '지식 충돌' 문제를 해결하기 위한 새로운 2단계 디코딩 방법인 Dynamic Cognitive Reconciliation Decoding (DCRD)를 제안합니다. DCRD는 어텐션 맵 분석을 통해 컨텍스트 충실도를 평가하고 잠재적 충돌을 예측한 후, 탐욕적 디코딩 또는 컨텍스트 충실도 기반 동적 디코딩 중 적절한 경로로 입력을 유도하여 충돌 처리와 효율성을 동시에 확보합니다. 이 방법은 ConflictKG라는 지식 충돌 QA 벤치마크에서 여러 LLM 대비 최첨단 성능을 달성했습니다.
5월 13일4
arXivAI 번역논문
얼마나 많은지가 아니라 어떤 것인가: Low-Rank Adaptation에서의 파라미터 배치
본 논문은 LoRA 어댑터의 파라미터 배치 문제(parameter placement problem)를 다루며, 학습 가능한 엔트리 $k$개의 배치가 성능에 미치는 영향을 분석합니다. 지도 미세 조정(SFT) 환경에서는 무작위 선택과 정보 기반 선택 간 성능 차이가 크지 않지만, GRPO 환경에서는 그래디언트 정보에 기반한 배치가 표준 LoRA의 정확도를 회복하는 것으로 나타났습니다. 이러한 레짐 의존성은 SFT와 GRPO의 그래디언트 구조적 차이(저차원/안정적 vs 고차원/직교)에서 기인합니다.
5월 13일3
arXivAI 번역논문
PRISM: 의도 인식 구조화된 메모리(Intent-Aware Structured Memory)를 통한 장기적 에이전트(Long-Horizon
PRISM은 장기적 언어 에이전트가 직면하는 메모리 관리 문제를 해결하기 위해 제안된 학습이 필요 없는(Training-free) 검색 프레임워크입니다. 이 프레임워크는 그래프 구조 메모리를 활용하여 공동 검색 및 압축을 수행하며, 네 가지의 추론 시간 구성 요소를 결합합니다. PRISM은 적응형 의도 라우팅, 계층적 번들 검색 등을 통해 필요한 증거를 효율적으로 찾아내고, 이를 압축된 컨텍스트로 제공함으로써 정확도와 메모리 사용량 측면에서 기존 방식보다 월등한 성능을 보여줍니다.
5월 13일3
arXivAI 번역논문
Sparse Autoencoders를 이용한 ASR 모델의 기계론적 해석 가능성 (Mechanistic Interpretability)
본 연구는 Sparse Autoencoders (SAE)를 Transformer 기반 ASR 모델인 Whisper에 적용하여 그 내부 작동 원리를 해석하는 방법을 제시합니다. SAE를 통해 Whisper 인코더에서 추출된 프레임 수준 임베딩을 학습시켜 고차원 희소 잠재 공간을 구축했습니다. 이를 통해 연구진은 언어적 및 비언어적 경계를 아우르는 다양한 단일 의미 특징과 교차 언어 특징 제어를 성공적으로 입증하며, SAE가 ASR 모델 해석에 효과적임을 보여주었습니다.
5월 13일3
arXivAI 번역논문
무엇이 단어를 배우기 어렵게 만드는가? 영어 어휘 난이도에 대한 L1(모국어)의 영향 모델링
본 연구는 단어 학습의 어려움을 결정하는 요인과 그 난이도가 학습자의 모국어(L1)에 따라 어떻게 달라지는지 모델링했습니다. 그래디언트 부스팅 모델을 사용하여 스페인어, 독일어, 중국어 사용 영어 학습자를 위한 어휘 난이도를 계산적으로 추정합니다. 분석 결과, 단어 친숙도는 모든 언어에서 중요한 요소였으나, 스페인어와 독일어 사용자에게는 철자 전이가 추가적인 영향을 미쳤고, 중국어 사용자에게는 친숙도와 표면 특징의 조합으로만 난이도가 결정됨을 밝혀냈습니다.
5월 13일2
arXivAI 번역논문
MedHopQA: LLM 기반 생물 의학 질의응답을 위한 질병 중심의 멀티홉 추론 벤치마크 및 평가 프레임워크
MedHopQA는 기존 생물 의학 QA 벤치마크의 한계인 단순 패턴 매칭과 데이터 오염 문제를 해결하기 위해 설계된 질병 중심의 멀티홉 추론 벤치마크입니다. 전문가가 선별한 1,000개의 질문-답변 쌍을 통해 여러 문서의 정보를 통합하는 능력을 평가하며, 개방형 자유 텍스트 형식과 온톨로지 기반의 정교한 평가 체계를 제공합니다.
5월 13일3
arXivAI 번역논문
GKnow: 성별 편향 (Gender Bias)과 사실적 성별 (Factual Gender)의 얽힘 측정
본 논문은 기존 연구들이 특정 성별 관련 작업에만 집중하거나, 사실적 성별(Factual Gender)과 고정관념 기반의 성별 편향(Gender Bias)을 구분하지 못하는 문제를 지적합니다. 이를 해결하기 위해 다양한 유형의 성별 예측 전반에 걸쳐 언어 모델의 성별 지식과 성별 편향을 평가할 수 있는 벤치마크인 GKnow를 구축했습니다. 실험 결과, 성별 편향과 사실적 성별은 회로 및 뉴런 수준에서 심각하게 얽혀 있어, 단순한 뉴런 절제(Ablation)가 신뢰할 수 있는 편향 제거 방법이 아님을 보여줍니다.
5월 13일2
arXivAI 번역논문
문맥 수렴(Context Convergence)이 추론형 질문 답변 능력을 향상시킨다
본 연구는 대규모 언어 모델(LLMs)이 직접 검색보다 도출해야 하는 추론형 질문에 대한 답변 능력을 향상시키는 방법을 탐구했습니다. 특히, 지문 내 문장들이 오답을 효과적으로 제거하는 정도를 측정하는 '수렴도(convergence)'라는 새로운 지표에 주목했습니다. 연구 결과, 높은 수렴도를 가진 문장들로 구성된 지문이 단순히 코사인 유사도로 선택된 지문보다 추론적 질문 답변 정확도가 더 높았으며, 이는 수렴도가 LLM의 의미 있는 관련성을 포착하는 데 중요한 역할을 함을 보여줍니다.
5월 13일4
arXivAI 번역논문
BioCreative IX의 MedHopQA 트랙 개요: 다중 홉(multi-hop) 의료 질의응답을 위한 트랙 설명, 참여 및 시스템 평가
BioCreative IX의 MedHopQA 공유 과제는 생물 의학 분야에서 복잡한 다중 홉 질의응답(Multi-hop QA) 능력을 평가하기 위해 설계되었습니다. 이 챌린지는 희귀 질환에 초점을 맞춘 1,000개의 도전적인 QA 쌍으로 구성된 새로운 데이터셋을 사용하며, 두 개의 서로 다른 Wikipedia 페이지에서 정보를 통합하는 2-홉 추론을 요구합니다. 결과적으로, 검색 증강 생성(RAG) 및 관련 검색 기반 전략이 높은 성능을 보이는 데 결정적이었으며, 개념 수준의 평가가 답변 정확도를 개선함을 입증했습니다.
5월 13일2
arXivAI 번역논문
사전 학습 노출(Pretraining Exposure)이 대규모 언어 모델(LLMs)의 인기 판단을 설명한다
본 연구는 LLMs가 특정 엔티티에 대해 보이는 '인기 편향'의 원인을 분석하며, 이 선호도가 실제 세계의 인기를 반영하는지 아니면 학습 과정 중의 통계적 노출을 반영하는지 탐구합니다. 공개된 OLMo 모델과 Dolma 코퍼스를 활용하여 7.4조 개의 토큰에 걸쳐 엔티티 수준의 노출 통계를 계산하고, 이를 Wikipedia 조회수 및 LLM 유도 인기 신호와 비교했습니다. 연구 결과, LLMs의 인기 판단은 외부적인 Wikipedia 인기도보다 사전 학습 과정에서의 '노출'과 훨씬 더 강하게 상관관계를 보이며, 이는 데이터 노출이 LLM의 인기 편향을 형성하는 핵심 동인임을 입증합니다.
5월 13일4
arXivAI 번역논문
Level-Playing-Field 평가 원칙을 사용한 제어된 텍스트 생성 (Controlled Text Generation) 시스템의 비교
본 논문은 제어된 텍스트 생성(Controlled Text Generation, CTG) 시스템을 공정하고 객관적으로 비교 평가할 수 있는 새로운 접근 방식인 Level-Playing-Field (LPF)를 제시한다. LPF는 모든 시스템 출력을 표준화하고 공유된 평가 방법 및 데이터셋 세트를 적용하여 비교의 신뢰성을 높인다. 연구 결과, 기존에 보고된 CTG 시스템들의 성능을 이 방식으로 재평가했을 때 대부분 원래 주장보다 낮은 성능을 보여주었으며, 이는 CTG 분야에서 표준화되고 재현 가능한 평가 관행이 시급히 필요함을 강조한다.
5월 13일4
arXivAI 번역논문
답변 타당성 점수 산출을 통한 대규모 언어 모델(LLMs)의 질문 난이도 추정
본 논문은 LLM 평가 및 개선의 핵심 요소인 질문 난이도를 추정하는 새로운 방법 Q-DAPS(Question Difficulty based on Answer Plausibility Scores)를 제안한다. Q-DAPS는 후보 답변들의 타당성 점수 엔트로피를 계산하여 질문 난이도를 측정하며, 기존 방식들이 포착하지 못했던 LLM의 복잡한 추론 과제를 평가할 수 있다. 광범위한 실험을 통해 Q-DAPS가 다양한 QA 데이터셋에서 높은 성능과 강건성을 입증했으며, 인간 평가와도 높은 일치성을 보였다.
5월 13일3
arXivAI 번역논문
우주 속의 이야기: 개념적 신념 공간에서의 인컨텍스트 학습 (In-Context Learning) 궤적
본 연구는 대규모 언어 모델(LLMs)의 인컨텍스트 학습(in-context learning) 과정을 단순한 추론이 아닌, 저차원의 '개념적 신념 공간'을 따라 이동하는 궤적으로 해석합니다. LLMs가 문맥에 따라 자신의 지식을 업데이트하는 과정은 이 기하학적 공간에서의 신념 변화를 의미하며, 이는 베이지안 추론의 한 형태로 간주됩니다. 연구진은 행동 분석과 내부 표현 분석을 결합하여 이러한 신념 궤적을 규명하고, 이를 조작함으로써 LLMs의 작동 원리에 대한 새로운 기하학적 이해를 제시합니다.
5월 13일4
arXivAI 번역논문
라우터는 전문가의 기하학적 구조를 학습한다: 희소 전문가 혼합 (Sparse Mixture-of-Experts) 모델에서의 기하학적 결합
본 연구는 Sparse Mixture-of-Experts (SMoE) 모델의 학습 난제(라우팅 집중 및 부하 분산 손실로 인한 전문화 저해)를 해결하기 위해, 라우터와 전문가 간의 기하학적 결합을 분석합니다. 연구 결과, 선택된 전문가 가중치와 라우터 가중치는 동일한 입력 방향을 따라 그래디언트를 받으며 일치하는 라우팅-전문가 방향이 형성됨을 밝혀냈습니다. 또한, 온라인 K-Means 기반의 새로운 라우터를 제안하여, 기존 보조 손실 방식보다 적은 퍼플렉시티 증가로 더 낮은 부하 불균형을 달성하며 효과적인 할당 기하학의 중심성을 입증했습니다.
5월 13일5
arXivAI 번역논문
Mind the Pause: LLM을 이용한 다국어 음성 교정을 위한 비유창성 인지 목적 함수 튜닝
본 논문은 ASR 전사 데이터에 포함된 비유창성(fillers, repetitions 등)을 효과적으로 제거하기 위해 LLM의 지시어 미세 조정과 대조 학습을 결합한 다국어 교정 파이프라인을 제안합니다. 기존의 단순 탐지 방식이 문법적 일관성을 해치는 문제를 해결하기 위해, 시퀀스 태거의 신호를 활용하여 텍스트를 유창하게 재작성하며 비유창한 토큰의 재현에 페널티를 부여합니다. 인도 3개 언어 실험을 통해 기존 베이스라인 대비 우수한 성능과 문법적/의미적 보존 능력을 입증했습니다.
5월 13일5
arXivAI 번역논문
Large Language Models의 긴 문맥 추론을 위한 On-Policy 최적화와 증류(Distillation)의 결합
본 논문은 LLM의 긴 문맥 추론 능력을 향상시키기 위해 On-policy 증류와 GRPO를 결합한 dGRPO 방법론을 제안합니다. 기존 Off-policy 방식의 노출 편향 문제와 On-policy 방식의 낮은 샘플 효율성 문제를 동시에 해결하며, 이를 검증하기 위한 합성 데이터셋인 LongBlocks를 함께 소개합니다.
5월 13일5
arXivAI 번역논문
지도 미세 조정 (Supervised Finetuning)된 모델로부터 개인 식별 정보 (PII)의 재구성
본 논문은 지도 미세 조정(SFT)된 모델이 학습 데이터에 포함된 개인 식별 정보(PII)를 유출할 수 있는 위험성을 처음으로 연구합니다. 의료 및 법률 분야의 다회차 Q&A 데이터셋을 구축하여 공격자의 추론 능력을 평가하였으며, 기존 방식보다 뛰어난 성능을 보이는 새로운 디코딩 알고리즘인 COVA를 제안합니다.
5월 13일6
arXivAI 번역논문
MEME: 다중 개체 및 진화하는 메모리 평가
LLM 기반 에이전트가 여러 세션에 걸쳐 정보를 저장, 업데이트, 추론해야 하는 환경을 반영하여, MEME는 다중 개체 및 진화하는 메모리 공간을 포괄하는 여섯 가지 작업을 정의했습니다. 이 평가 결과, 모든 시스템은 기본 구성에서의 의존성 추론(Cascade 및 Absence)에서 성능 저하를 보였습니다. 이는 단순한 검색 성능만으로는 부족하며, 최적의 프롬프트 엔지니어링이나 강력한 LLM조차도 해결하기 어려운 근본적인 문제입니다.
5월 13일2
arXivAI 번역논문
테스트 시간 LLM 가이드를 통한 태스크 적응형 임베딩 정제
본 논문은 까다로운 제로샷 검색 및 분류 작업에서 임베딩 모델의 활용도를 높이기 위한 LLM 기반 쿼리 정제 패러다임을 제시합니다. 이 접근 방식은 소수의 문서를 이용해 생성형 LLM이 사용자 쿼리의 임베딩 표현을 정제하며, 이를 통해 임베딩이 특정 작업에 실시간으로 적응할 수 있게 합니다. 실험 결과, LLM 가이드 쿼리 정제는 다양한 벤치마크에서 일관되게 성능을 향상시키며, 특히 문헌 검색 및 의도 감지 분야에서 최대 +25%의 개선을 보였습니다.
5월 13일5
arXivAI 번역논문
LongMemEval-V2: 숙련된 동료를 위한 장기 에이전트 메모리 평가
LongMemEval-V2 (LME-V2)는 웹 에이전트가 전문적인 웹 환경에서 숙련된 동료처럼 행동하는 데 필요한 장기 메모리 능력을 평가하기 위해 개발된 새로운 벤치마크입니다. LME-V2는 정적 상태 회상, 동적 상태 추적 등 다섯 가지 핵심 메모리 능력을 다루며, 최대 500개의 트래젝토리와 115M 토큰의 히스토리 트래젝토리를 포함합니다. 연구진은 AgentRunbook-R (효율적인 RAG 기반)과 AgentRunbook-C (코딩 에이전트 호출) 두 가지 메모리 방법 세트를 제안했으며, AgentRunbook-C가 가장 높은 정확도를 보였으나 지연 시간 문제가 있었습니다.
5월 13일1