Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
MA$^{2}$P: 복잡한 설득을 위한 메타 인지적 자율 지능형 에이전트 프레임워크
MA²P는 복잡한 설득 상황에서 피설득자의 잠재적 정신 상태를 추론하고 전략적인 응답을 생성하기 위한 메타 인지적 자율 지능형 에이전트 프레임워크입니다. 인지 관리, 정신 상태 추론, 전략 실행 등을 조정하는 멀티 에이전트 아키텍처와 도메인 간 성능 차이를 줄이기 위한 메타 인지 구성기를 특징으로 합니다. 실험을 통해 기존 베이스라인 모델보다 높은 설득 성공률을 입증하였습니다.
5월 19일1
arXivAI 번역논문
일반 선호도 강화학습 (General Preference Reinforcement Learning)
본 논문은 LLM 정렬(alignment)의 두 가지 주요 경로인 온라인 RL과 선호도 최적화 간의 격차를 해소하기 위해 일반 선호도 강화학습(GPRL)을 제안합니다. GPRL은 응답을 다차원 부분 공간에 임베딩하고, 불완전한 스칼라 보상 대신 구조화된 비교 기반의 일반 선호도 모델(GPM)을 사용합니다. 이를 통해 단일 축 착취나 보상 해킹에 강인하며, AlpacaEval 2.0에서 높은 성능을 달성하여 기존 방법론들을 능가함을 입증했습니다.
5월 19일1
arXivAI 번역논문
AMARIS: 루브릭 기반 강화학습을 위한 메모리 증강 루브릭 개선 시스템
AMARIS는 루브릭 기반 강화학습(RL)에서 평가 지식을 장기적으로 축적하고 재사용할 수 있도록 설계된 메모리 증강 루브릭 개선 시스템입니다. 기존 방식이 평가 정보를 즉각 폐기하여 반복적인 학습 효율을 저해하는 한계를 극복하기 위해, 정적 및 동적 검색을 통해 과거의 분석 데이터를 활용하여 루브릭을 업데이트합니다. 실험 결과, AMARIS는 낮은 시간 오버헤드만으로도 폐쇄형 및 개방형 도메인 모두에서 기존 베이스라인보다 우수한 성능을 입증했습니다.
5월 19일1
arXivAI 번역논문
DashAttention: 미분 가능하고 적응형인 희소 계층적 어텐션 (Differentiable and Adaptive Sparse
DashAttention은 기존 계층적 어텐션 방식의 한계점인 Top-k 연산으로 인한 그래디언트 흐름 차단 문제를 해결한 새로운 아키텍처입니다. 이 연구는 적응형 희소 $\alpha$-entmax 변환을 활용하여 쿼리별로 가변적인 수의 블록을 선택하고, 전체 계층 구조를 완전히 미분 가능하게 유지합니다. 실험 결과, DashAttention은 높은 희소도에서도 Full attention과 대등한 정확도를 달성하며, 특히 긴 문맥 모델링에서 기존 방식보다 우수한 성능을 보였습니다.
5월 19일1
arXivAI 번역논문
대리 지표(Proxy Metrics)를 활용한 LLM의 다운스트림 성능 예측
LLM 개발 과정에서 교차 엔트로피 손실이나 직접적인 다운스트림 평가의 한계를 극복하기 위해 전문가의 해법을 활용한 대리 지표(Proxy Metrics)를 제안합니다. 이 지표는 엔트로피, top-k 정확도, 전문가 토큰 순위 등의 토큰 수준 통계량을 사용하여 모델의 성능을 효율적으로 예측합니다. 실험 결과, 모델 선택, 데이터 선택, 학습 시간 예측 등 다양한 시나리오에서 기존 방식보다 훨씬 높은 정확도와 연산 효율성을 보여주었습니다.
5월 19일1
arXivAI 번역논문
사후 학습된 MoE는 자기 증류 (Self-Distillation)를 통해 전문가의 절반을 건너뛸 수 있다
ZEDA(Zero-Expert Self-Distillation Adaptation)는 이미 학습이 완료된 정적 MoE 모델을 효율적인 동적 MoE 모델로 변환하는 저비용 프레임워크입니다. zero-output 전문가 주입과 2단계 자기 증류 방식을 통해 모델의 정확도를 유지하면서도 전문가 연산량(FLOPs)을 50% 이상 절감할 수 있습니다. 이를 통해 추론 속도를 약 1.20배 향상시키며 기존 동적 MoE 베이스라인보다 뛰어난 성능을 입증했습니다.
5월 19일1
arXivAI 번역논문
GIM: 여러 인지 영역을 통합하는 과제를 통한 모델 평가
GIM(Grounded Integration Measure)은 지식 암기와 추론을 분리하지 않고, 광범위한 지식 위에서 여러 인지 연산을 통합적으로 수행해야 하는 820개의 독창적인 문제를 제공하는 새로운 벤치마크입니다. 이 벤치마크는 IRT(Item Response Theory) 모델을 사용하여 모델의 능력을 정밀하게 추정하며, 테스트 시간 연산(test-time compute)과 모델 성능 간의 트레이드오프를 분석합니다.
5월 19일1
arXivAI 번역논문
언어 전환 트리거는 언어 모델의 잠재적 우회 경로를 통해 작동한다
본 연구는 8B 파라미터 자기회귀 언어 모델에서 특정 라틴어 트리거가 영어 출력을 프랑스어로 강제 전환하는 백도어 공격의 내부 메커니즘을 분석했습니다. 연구 결과, 트리거 신호가 초기 레이어에서 합성되어 중간 레이어의 직교 서브스페이스를 통해 전파된 후 마지막 레이어의 MLP를 통해 특정 언어의 로짓으로 변환되는 3단계 회로를 식별했습니다.
5월 19일1
arXivAI 번역논문
Soft-Label Learning 및 Calibration에서 인간과 모델의 불확실성 비교 평가
본 연구는 인간의 소프트 라벨(Soft-labels)이 모델의 Calibration 개선과 안정적인 수렴에 미치는 영향을 분석하며, 이를 단순한 라벨 수정 효과와 구분하여 검증합니다. MNIST 데이터셋을 활용한 실험을 통해 인간의 불확실성을 반영한 소프트 라벨이 모델의 정확도를 높일 뿐만 아니라, 어려운 샘플에 대한 모델의 신뢰도를 향상시키는 규제자 역할을 함을 입증했습니다.
5월 19일1
arXivAI 번역논문
ESI-Bench: 인지-행동 루프를 완성하는 체화된 공간 지능을 향하여
ESI-Bench는 에이전트가 능동적인 인지-행동 루프를 통해 보이지 않는 공간 정보를 탐색하고 추론하는 능력을 평가하는 새로운 벤치마크입니다. 실험 결과, MLLM은 수동적 관찰보다 능동적 탐색에서 우수한 성능을 보였으나, 부적절한 행동 선택이 오류를 유발하는 '행동 맹목'과 증거의 품질과 상관없이 성급하게 결론을 내리는 메타인지적 한계를 보였습니다.
5월 19일1
arXivAI 번역논문
EnvFactory: 실행 가능한 환경 합성 및 강건한 RL을 통한 도구 사용 에이전트의 확장
EnvFactory는 LLM의 도구 사용 능력을 향상시키기 위해 실행 가능한 환경 합성 및 강화학습(RL)을 자동화하는 프레임워크입니다. 실제 리소스를 활용해 상태 유지(stateful)가 가능한 환경을 자율적으로 구축하고, 자연스러운 다회차 궤적을 생성하여 학습 효율성을 극대화합니다. 이를 통해 Qwen3-series 모델의 벤치마크 성능을 대폭 향상시키는 성과를 거두었습니다.
5월 19일1
arXivAI 번역논문
신뢰할 수 있는 상업적 개입의 문제로서의 생성형 AI 광고
생성형 AI 광고는 단순한 콘텐츠 배치를 넘어 모델의 생성 과정 자체에 개입하여 사용자가 인지하기 어려운 방식으로 상업적 영향력을 행사합니다. 본 연구는 제품 언급부터 장기적 선호도 형성까지 이어지는 영향력 계층을 정의하고, RAG 및 에이전트 파이프라인 내에서의 상업적 개입 문제를 다룹니다. 현재 시스템은 통제하기 쉬운 계층에만 집중되어 있어, 사용자의 자율성을 보호하기 위한 측정 및 공개 프레임워크 구축이 시급합니다.
5월 19일0
arXivAI 번역논문
Vision-OPD: 온폴리시 자기 증류 (On-Policy Self-Distillation)를 통한 멀티모달 LLM의 미세 세부 사항 인식
Vision-OPD는 멀티모달 LLM이 이미지 내 미세한 시각적 정보를 놓치는 '지역적-전역적 인지 격차' 문제를 해결하기 위한 자기 증류 프레임워크입니다. 모델이 크롭된 이미지(지역적 정보)를 통해 얻은 높은 인지 능력을 전체 이미지(전역적 정보)를 처리할 때도 활용할 수 있도록 학습시키는 방식입니다. 이를 통해 외부 도구나 추가 라벨 없이도 모델 스스로 시각적 줌(visual zooming) 효과를 내재화하여 미세 세부 사항 인식 능력을 향상시킵니다.
5월 19일1
arXivAI 번역논문
예측 가능한 환각: LLM의 사실적 회상 (Factual Recall)은 모델 크기와 주제 빈도에 따라 확장된다
LLM의 사실적 회상(Factual Recall) 성능이 모델 파라미터 수와 학습 데이터 내 주제 빈도의 로그 선형 결합에 따라 시그모이드 형태로 확장됨을 밝혀냈습니다. 연구 결과, 이 두 변수만으로 모델 간 성능 분산의 상당 부분을 설명할 수 있으며, 이는 회상 능력이 신호 대 잡음비(SNR)에 의해 제어된다는 이론과 일치합니다.
5월 19일1
arXivAI 번역논문
영어 중심 개발을 넘어선 LLM 발전을 위한 연구
오픈 웨이트 LLM이 영어 데이터에 심하게 편향되어 있음을 분석하고, 이를 해결하기 위한 지속적 사전 학습(continual pre-training)의 효율성을 검토했습니다. 연구 결과, 지속적 사전 학습은 문화적 이해를 개선하는 데 있어 처음부터 학습시키는 방식보다 비용 효율적이지 않은 것으로 나타났습니다. 이는 향후 LLM 개발이 영어 중심의 자원 확장보다는 언어별 전용 투자로 전환될 필요가 있음을 시사합니다.
5월 18일2
arXivAI 번역논문
RecMem: 효율적이고 효과적인 장기 실행 LLM 에이전트를 위한 재귀 기반 메모리 통합 방식
RecMem은 장기 실행 LLM 에이전트의 메모리 통합 과정에서 발생하는 과도한 토큰 소비 문제를 해결하기 위해 제안된 재귀 기반 메모리 시스템입니다. 모든 상호작용을 즉시 처리하는 대신, 경량 임베딩 모델을 통해 의미적 재귀가 관찰될 때만 LLM을 호출하여 메모리를 통합함으로써 효율성을 극대화합니다. 실험 결과, 기존 SOTA 시스템 대비 토큰 비용을 최대 87% 절감하면서도 더 높은 정확도를 달성했습니다.
5월 18일1
arXivAI 번역논문
AI 매개 커뮤니케이션이 집단 의견 형성에 미치는 영향
생성형 AI가 온라인 플랫폼에서 인간의 커뮤니케이션을 매개할 때 발생하는 방향성 편향과 그것이 집단 의견 형성에 미치는 영향을 분석합니다. 연구 결과, LLMs가 특정 주제에 대해 편향된 편집을 수행할 경우 이러한 편향이 소셜 네트워크를 통해 증폭되어 집단 전체의 의견을 특정 방향으로 이동시킬 수 있음을 수학적 모델과 시뮬레이션으로 입증했습니다.
5월 18일2
arXivAI 번역논문
멀티 에이전트 시스템을 위한 응답 조건부 병렬-순차 오케스트레이션 기법
본 연구는 멀티 에이전트 시스템의 효율성을 높이기 위해 병렬 모드와 순차 모드를 결합한 하이브리드 패러다임인 Nexa를 제안합니다. Nexa는 경량 트랜스포머를 사용하여 응답 조건부 정책을 학습하며, 생성된 응답을 바탕으로 희소 유향 비순환 그래프(DAG)를 예측하여 최적의 통신 구조를 결정합니다. 이를 통해 외부 LLM 판사나 복잡한 탐색 없이도 지연 시간을 최소화하면서 응답의 정확도를 극대화할 수 있습니다.
5월 18일1
arXivAI 번역논문
의미론적 보상을 통한 대규모 언어 모델(LLMs)의 캘리브레이션 방법론
LLMs의 신뢰성을 높이기 위해 모델의 확신도와 실제 정답 여부를 일치시키는 캘리브레이션 기술인 CSR(Calibration with Semantic Reward)을 제안합니다. 기존의 언어화된 확신도 방식이 텍스트 변형에 따라 일관성이 떨어지는 문제를 해결하기 위해, 의미 공간(semantic space)에서 직접 의미론적 일치성을 보상하는 방식을 사용합니다. 실험 결과, CSR은 다양한 데이터셋에서 기존 방식보다 낮은 ECE와 높은 AUROC를 기록하며 뛰어난 일반화 성능을 입증했습니다.
5월 18일1
arXivAI 번역논문
MHGraphBench: 지식 그래프 기반 대규모 언어 모델의 정신 건강 지식 벤치마킹
MHGraphBench는 대규모 언어 모델(LLMs)이 정신 건강 관련 생물 의학 지식을 얼마나 정확하게 파악하고 구조화된 판단을 내릴 수 있는지 평가하기 위한 지식 그래프(KG) 기반 벤치마크입니다. PrimeKG를 활용하여 개체명 인식, 관계 판단, 2-홉 추론 등 9개의 태스크 패밀리를 통해 모델의 능력을 검증합니다. 실험 결과, 모델들이 개체 분류에는 능숙하지만 복잡한 관계 예측과 추론에는 여전히 한계가 있음이 드러났습니다.
5월 18일3