Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
MedHopQA: LLM 기반 생물 의학 질의응답을 위한 질병 중심의 멀티홉 추론 벤치마크 및 평가 프레임워크
MedHopQA는 기존 생물 의학 QA 벤치마크의 한계인 단순 패턴 매칭과 데이터 오염 문제를 해결하기 위해 설계된 질병 중심의 멀티홉 추론 벤치마크입니다. 전문가가 선별한 1,000개의 질문-답변 쌍을 통해 여러 문서의 정보를 통합하는 능력을 평가하며, 개방형 자유 텍스트 형식과 온톨로지 기반의 정교한 평가 체계를 제공합니다.
5월 13일4
arXivAI 번역논문
GKnow: 성별 편향 (Gender Bias)과 사실적 성별 (Factual Gender)의 얽힘 측정
본 논문은 기존 연구들이 특정 성별 관련 작업에만 집중하거나, 사실적 성별(Factual Gender)과 고정관념 기반의 성별 편향(Gender Bias)을 구분하지 못하는 문제를 지적합니다. 이를 해결하기 위해 다양한 유형의 성별 예측 전반에 걸쳐 언어 모델의 성별 지식과 성별 편향을 평가할 수 있는 벤치마크인 GKnow를 구축했습니다. 실험 결과, 성별 편향과 사실적 성별은 회로 및 뉴런 수준에서 심각하게 얽혀 있어, 단순한 뉴런 절제(Ablation)가 신뢰할 수 있는 편향 제거 방법이 아님을 보여줍니다.
5월 13일3
arXivAI 번역논문
문맥 수렴(Context Convergence)이 추론형 질문 답변 능력을 향상시킨다
본 연구는 대규모 언어 모델(LLMs)이 직접 검색보다 도출해야 하는 추론형 질문에 대한 답변 능력을 향상시키는 방법을 탐구했습니다. 특히, 지문 내 문장들이 오답을 효과적으로 제거하는 정도를 측정하는 '수렴도(convergence)'라는 새로운 지표에 주목했습니다. 연구 결과, 높은 수렴도를 가진 문장들로 구성된 지문이 단순히 코사인 유사도로 선택된 지문보다 추론적 질문 답변 정확도가 더 높았으며, 이는 수렴도가 LLM의 의미 있는 관련성을 포착하는 데 중요한 역할을 함을 보여줍니다.
5월 13일5
arXivAI 번역논문
BioCreative IX의 MedHopQA 트랙 개요: 다중 홉(multi-hop) 의료 질의응답을 위한 트랙 설명, 참여 및 시스템 평가
BioCreative IX의 MedHopQA 공유 과제는 생물 의학 분야에서 복잡한 다중 홉 질의응답(Multi-hop QA) 능력을 평가하기 위해 설계되었습니다. 이 챌린지는 희귀 질환에 초점을 맞춘 1,000개의 도전적인 QA 쌍으로 구성된 새로운 데이터셋을 사용하며, 두 개의 서로 다른 Wikipedia 페이지에서 정보를 통합하는 2-홉 추론을 요구합니다. 결과적으로, 검색 증강 생성(RAG) 및 관련 검색 기반 전략이 높은 성능을 보이는 데 결정적이었으며, 개념 수준의 평가가 답변 정확도를 개선함을 입증했습니다.
5월 13일3
arXivAI 번역논문
사전 학습 노출(Pretraining Exposure)이 대규모 언어 모델(LLMs)의 인기 판단을 설명한다
본 연구는 LLMs가 특정 엔티티에 대해 보이는 '인기 편향'의 원인을 분석하며, 이 선호도가 실제 세계의 인기를 반영하는지 아니면 학습 과정 중의 통계적 노출을 반영하는지 탐구합니다. 공개된 OLMo 모델과 Dolma 코퍼스를 활용하여 7.4조 개의 토큰에 걸쳐 엔티티 수준의 노출 통계를 계산하고, 이를 Wikipedia 조회수 및 LLM 유도 인기 신호와 비교했습니다. 연구 결과, LLMs의 인기 판단은 외부적인 Wikipedia 인기도보다 사전 학습 과정에서의 '노출'과 훨씬 더 강하게 상관관계를 보이며, 이는 데이터 노출이 LLM의 인기 편향을 형성하는 핵심 동인임을 입증합니다.
5월 13일5
arXivAI 번역논문
Level-Playing-Field 평가 원칙을 사용한 제어된 텍스트 생성 (Controlled Text Generation) 시스템의 비교
본 논문은 제어된 텍스트 생성(Controlled Text Generation, CTG) 시스템을 공정하고 객관적으로 비교 평가할 수 있는 새로운 접근 방식인 Level-Playing-Field (LPF)를 제시한다. LPF는 모든 시스템 출력을 표준화하고 공유된 평가 방법 및 데이터셋 세트를 적용하여 비교의 신뢰성을 높인다. 연구 결과, 기존에 보고된 CTG 시스템들의 성능을 이 방식으로 재평가했을 때 대부분 원래 주장보다 낮은 성능을 보여주었으며, 이는 CTG 분야에서 표준화되고 재현 가능한 평가 관행이 시급히 필요함을 강조한다.
5월 13일5
arXivAI 번역논문
답변 타당성 점수 산출을 통한 대규모 언어 모델(LLMs)의 질문 난이도 추정
본 논문은 LLM 평가 및 개선의 핵심 요소인 질문 난이도를 추정하는 새로운 방법 Q-DAPS(Question Difficulty based on Answer Plausibility Scores)를 제안한다. Q-DAPS는 후보 답변들의 타당성 점수 엔트로피를 계산하여 질문 난이도를 측정하며, 기존 방식들이 포착하지 못했던 LLM의 복잡한 추론 과제를 평가할 수 있다. 광범위한 실험을 통해 Q-DAPS가 다양한 QA 데이터셋에서 높은 성능과 강건성을 입증했으며, 인간 평가와도 높은 일치성을 보였다.
5월 13일4
arXivAI 번역논문
우주 속의 이야기: 개념적 신념 공간에서의 인컨텍스트 학습 (In-Context Learning) 궤적
본 연구는 대규모 언어 모델(LLMs)의 인컨텍스트 학습(in-context learning) 과정을 단순한 추론이 아닌, 저차원의 '개념적 신념 공간'을 따라 이동하는 궤적으로 해석합니다. LLMs가 문맥에 따라 자신의 지식을 업데이트하는 과정은 이 기하학적 공간에서의 신념 변화를 의미하며, 이는 베이지안 추론의 한 형태로 간주됩니다. 연구진은 행동 분석과 내부 표현 분석을 결합하여 이러한 신념 궤적을 규명하고, 이를 조작함으로써 LLMs의 작동 원리에 대한 새로운 기하학적 이해를 제시합니다.
5월 13일5
arXivAI 번역논문
라우터는 전문가의 기하학적 구조를 학습한다: 희소 전문가 혼합 (Sparse Mixture-of-Experts) 모델에서의 기하학적 결합
본 연구는 Sparse Mixture-of-Experts (SMoE) 모델의 학습 난제(라우팅 집중 및 부하 분산 손실로 인한 전문화 저해)를 해결하기 위해, 라우터와 전문가 간의 기하학적 결합을 분석합니다. 연구 결과, 선택된 전문가 가중치와 라우터 가중치는 동일한 입력 방향을 따라 그래디언트를 받으며 일치하는 라우팅-전문가 방향이 형성됨을 밝혀냈습니다. 또한, 온라인 K-Means 기반의 새로운 라우터를 제안하여, 기존 보조 손실 방식보다 적은 퍼플렉시티 증가로 더 낮은 부하 불균형을 달성하며 효과적인 할당 기하학의 중심성을 입증했습니다.
5월 13일6
arXivAI 번역논문
Mind the Pause: LLM을 이용한 다국어 음성 교정을 위한 비유창성 인지 목적 함수 튜닝
본 논문은 ASR 전사 데이터에 포함된 비유창성(fillers, repetitions 등)을 효과적으로 제거하기 위해 LLM의 지시어 미세 조정과 대조 학습을 결합한 다국어 교정 파이프라인을 제안합니다. 기존의 단순 탐지 방식이 문법적 일관성을 해치는 문제를 해결하기 위해, 시퀀스 태거의 신호를 활용하여 텍스트를 유창하게 재작성하며 비유창한 토큰의 재현에 페널티를 부여합니다. 인도 3개 언어 실험을 통해 기존 베이스라인 대비 우수한 성능과 문법적/의미적 보존 능력을 입증했습니다.
5월 13일6
arXivAI 번역논문
Large Language Models의 긴 문맥 추론을 위한 On-Policy 최적화와 증류(Distillation)의 결합
본 논문은 LLM의 긴 문맥 추론 능력을 향상시키기 위해 On-policy 증류와 GRPO를 결합한 dGRPO 방법론을 제안합니다. 기존 Off-policy 방식의 노출 편향 문제와 On-policy 방식의 낮은 샘플 효율성 문제를 동시에 해결하며, 이를 검증하기 위한 합성 데이터셋인 LongBlocks를 함께 소개합니다.
5월 13일6
arXivAI 번역논문
지도 미세 조정 (Supervised Finetuning)된 모델로부터 개인 식별 정보 (PII)의 재구성
본 논문은 지도 미세 조정(SFT)된 모델이 학습 데이터에 포함된 개인 식별 정보(PII)를 유출할 수 있는 위험성을 처음으로 연구합니다. 의료 및 법률 분야의 다회차 Q&A 데이터셋을 구축하여 공격자의 추론 능력을 평가하였으며, 기존 방식보다 뛰어난 성능을 보이는 새로운 디코딩 알고리즘인 COVA를 제안합니다.
5월 13일7
arXivAI 번역논문
MEME: 다중 개체 및 진화하는 메모리 평가
LLM 기반 에이전트가 여러 세션에 걸쳐 정보를 저장, 업데이트, 추론해야 하는 환경을 반영하여, MEME는 다중 개체 및 진화하는 메모리 공간을 포괄하는 여섯 가지 작업을 정의했습니다. 이 평가 결과, 모든 시스템은 기본 구성에서의 의존성 추론(Cascade 및 Absence)에서 성능 저하를 보였습니다. 이는 단순한 검색 성능만으로는 부족하며, 최적의 프롬프트 엔지니어링이나 강력한 LLM조차도 해결하기 어려운 근본적인 문제입니다.
5월 13일3
arXivAI 번역논문
테스트 시간 LLM 가이드를 통한 태스크 적응형 임베딩 정제
본 논문은 까다로운 제로샷 검색 및 분류 작업에서 임베딩 모델의 활용도를 높이기 위한 LLM 기반 쿼리 정제 패러다임을 제시합니다. 이 접근 방식은 소수의 문서를 이용해 생성형 LLM이 사용자 쿼리의 임베딩 표현을 정제하며, 이를 통해 임베딩이 특정 작업에 실시간으로 적응할 수 있게 합니다. 실험 결과, LLM 가이드 쿼리 정제는 다양한 벤치마크에서 일관되게 성능을 향상시키며, 특히 문헌 검색 및 의도 감지 분야에서 최대 +25%의 개선을 보였습니다.
5월 13일6
arXivAI 번역논문
LongMemEval-V2: 숙련된 동료를 위한 장기 에이전트 메모리 평가
LongMemEval-V2 (LME-V2)는 웹 에이전트가 전문적인 웹 환경에서 숙련된 동료처럼 행동하는 데 필요한 장기 메모리 능력을 평가하기 위해 개발된 새로운 벤치마크입니다. LME-V2는 정적 상태 회상, 동적 상태 추적 등 다섯 가지 핵심 메모리 능력을 다루며, 최대 500개의 트래젝토리와 115M 토큰의 히스토리 트래젝토리를 포함합니다. 연구진은 AgentRunbook-R (효율적인 RAG 기반)과 AgentRunbook-C (코딩 에이전트 호출) 두 가지 메모리 방법 세트를 제안했으며, AgentRunbook-C가 가장 높은 정확도를 보였으나 지연 시간 문제가 있었습니다.
5월 13일2
arXivAI 번역논문
TextSeal: 출처 증명 및 지식 정제 보호를 위한 국소화된 LLM 워터마크
TextSeal은 대규모 언어 모델(LLM)의 출처 증명 및 지식 정제 보호를 위한 최첨단 워터마크입니다. Gumbel-max 샘플링 기반으로 이중 키 생성, 엔트로피 가중치 점수화, 다중 영역 국소화를 도입하여 출력 다양성을 복원합니다. TextSeal은 추론 오버헤드 없이 기존 방식보다 강력한 탐지 강도와 희석 저항성을 제공합니다.
5월 13일4
arXivAI 번역논문
SkillSafetyBench: 스킬 기반 공격 표면에서의 에이전트 안전성 평가
LLM 에이전트의 확장성 증가로 인해 재사용 가능한 스킬(Reusable skills) 사용이 일반화되고 있지만, 이는 기존 안전성 평가에서 간과된 새로운 공격 표면을 만듭니다. 본 논문은 이러한 '스킬 매개 안전 실패'를 체계적으로 평가하기 위해 SkillSafetyBench라는 실행 가능한 벤치마크를 제시합니다.
5월 13일2
arXivAI 번역논문
SkillGraph: 에이전트를 위한 스킬 증강 강화학습 (Reinforcement Learning)
SKILLGRAPH는 대규모 언어 모델(LLM) 에이전트가 단순히 독립적인 스킬을 검색하는 것을 넘어, 스킬 간의 의존성과 구조적 관계를 이해하고 활용할 수 있도록 설계된 프레임워크입니다. 이 프레임워크는 재사용 가능한 스킬들을 방향성 그래프 노드로 표현하고, 선행 조건, 향상, 동시 발생 등의 타입화된 엣지를 사용하여 복잡한 작업 흐름을 모델링합니다. SKILLGRAPH는 강화학습(RL) 피드백을 통해 지속적으로 업데이트되며, 에이전트의 정책과 스킬 라이브러리 모두를 개선하여 복합적인 작업을 수행하는 데 최적화되어 있습니다.
5월 13일6
arXivAI 번역논문
World Action Models: 체화된 AI의 다음 개척지
World Action Models (WAMs)는 기존 Vision-Language-Action (VLA) 모델이 가진 한계점(환경 역학 예측 부족)을 극복하기 위해 등장한 새로운 패러다임입니다. WAMs는 예측 상태 모델링과 행동 생성을 통합하여, 단순히 행동만을 생성하는 것이 아니라 미래 상태와 행동에 대한 공동 분포를 목표로 하는 체화된 파운데이션 모델입니다. 본 문서는 WAMs의 개념을 공식적으로 정의하고, 관련 아키텍처 및 학습 방식을 구조화된 분류 체계(순차적/공동)로 정리하며, 데이터 생태계 분석과 새로운 평가 프로토콜까지 제시하여 이 분야의 지형도를 종합적으로 제공합니다.
5월 13일3
arXivAI 번역논문
ORBIT: Origin-Regulated Merging을 통한 생성 검색(GenRetrieval)에서 기초 언어 능력 보존
본 연구는 대규모 언어 모델(LLM)을 특정 작업에 맞게 미세 조정할 때 발생하는 일반적인 언어 추론 능력의 망각 현상(Catastrophic Forgetting) 문제를 다룹니다. 특히 생성 검색(Generative Retrieval, GenRetrieval) 작업을 예시로 들어, 이러한 망각이 빠르게 발생하며 모델 파라미터 변화와 관련 있음을 분석했습니다. 이를 해결하기 위해 'ORBIT: Origin-Regulated Merging'이라는 새로운 방법을 제안하여, 특정 작업 성능을 유지하면서도 기초 언어 능력을 효과적으로 보존하는 방식을 제시합니다.
5월 13일3