Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
SkillGraph: 에이전트를 위한 스킬 증강 강화학습 (Reinforcement Learning)
SKILLGRAPH는 대규모 언어 모델(LLM) 에이전트가 단순히 독립적인 스킬을 검색하는 것을 넘어, 스킬 간의 의존성과 구조적 관계를 이해하고 활용할 수 있도록 설계된 프레임워크입니다. 이 프레임워크는 재사용 가능한 스킬들을 방향성 그래프 노드로 표현하고, 선행 조건, 향상, 동시 발생 등의 타입화된 엣지를 사용하여 복잡한 작업 흐름을 모델링합니다. SKILLGRAPH는 강화학습(RL) 피드백을 통해 지속적으로 업데이트되며, 에이전트의 정책과 스킬 라이브러리 모두를 개선하여 복합적인 작업을 수행하는 데 최적화되어 있습니다.
5월 13일6
arXivAI 번역논문
아동 지향 언어(CDL)는 단어 학습에 최적화되어 있는가? 구어 동사 의미 습득에 대한 계산 연구
본 연구는 아동 지향 언어(CDL)가 단어 학습, 특히 동사 의미 습득에 최적화되어 있는지 신경 언어 모델을 사용하여 계산적으로 조사했습니다. 그 결과, 구문 구조의 방해가 전반적인 학습을 저해하는 반면, CDL과 구어 ADL로 훈련된 모델이 더 높은 회복력을 보였습니다. 또한, 동사 의미 습득이 견고한 통사적 숙련도보다 먼저 나타나는 '의미 우선(semantic-first)' 궤적이 관찰되었으며, 이는 CDL만의 고유한 특성이라기보다는 광범위한 구어체 언어의 일반적인 속성을 반영할 수 있음을 시사합니다.
5월 13일3
arXivAI 번역논문
World Action Models: 체화된 AI의 다음 개척지
World Action Models (WAMs)는 기존 Vision-Language-Action (VLA) 모델이 가진 한계점(환경 역학 예측 부족)을 극복하기 위해 등장한 새로운 패러다임입니다. WAMs는 예측 상태 모델링과 행동 생성을 통합하여, 단순히 행동만을 생성하는 것이 아니라 미래 상태와 행동에 대한 공동 분포를 목표로 하는 체화된 파운데이션 모델입니다. 본 문서는 WAMs의 개념을 공식적으로 정의하고, 관련 아키텍처 및 학습 방식을 구조화된 분류 체계(순차적/공동)로 정리하며, 데이터 생태계 분석과 새로운 평가 프로토콜까지 제시하여 이 분야의 지형도를 종합적으로 제공합니다.
5월 13일3
arXivAI 번역논문
ORBIT: Origin-Regulated Merging을 통한 생성 검색(GenRetrieval)에서 기초 언어 능력 보존
본 연구는 대규모 언어 모델(LLM)을 특정 작업에 맞게 미세 조정할 때 발생하는 일반적인 언어 추론 능력의 망각 현상(Catastrophic Forgetting) 문제를 다룹니다. 특히 생성 검색(Generative Retrieval, GenRetrieval) 작업을 예시로 들어, 이러한 망각이 빠르게 발생하며 모델 파라미터 변화와 관련 있음을 분석했습니다. 이를 해결하기 위해 'ORBIT: Origin-Regulated Merging'이라는 새로운 방법을 제안하여, 특정 작업 성능을 유지하면서도 기초 언어 능력을 효과적으로 보존하는 방식을 제시합니다.
5월 13일3
arXivAI 번역논문
트랜스포머에서의 기하학적 사실 회상 (Geometric Factual Recall in Transformers)
본 논문은 트랜스포머 모델이 사실적 연관 관계를 어떻게 기억하는지에 대한 대안적인 관점을 제시합니다. 기존의 가중치 행렬 기반 암기 방식 대신, 임베딩 자체가 관계 구조를 직접 인코딩하고 MLP가 관계 조건부 선택기 역할을 하는 '기하학적' 암기 방식을 제안합니다. 연구진은 이 기하학적 접근법이 단일 레이어에서 로그 스케일의 차원만으로도 충분함을 증명했으며, 이를 다중 홉 추론과 연결하여 용량-깊이 트레이드오프를 분석했습니다.
5월 13일7
arXivAI 번역논문
인과 언어 모델링(CLM) 우회 경로가 인코더 연속 사전 학습을 개선한다
본 논문은 인코더를 새로운 도메인에 적응시킬 때, 표준적인 마스크드 언어 모델링(MLM) 연속 사전 학습 방식 대신 '인과 언어 모델링(CLM) 우회 경로'를 사용하는 것이 다운스트림 성능을 향상시킨다는 것을 보여줍니다. 특히 생의학 텍스트 도메인에서 ModernBERT와 같은 인코더에 이 방법을 적용했을 때, MLM 기준선 대비 상당한 성능 개선(+1.2-2.8pp 등)을 달성했습니다. 연구 결과는 CLM 단계가 낮은 트랜스포머 레이어(0~7)에 큰 영향을 미치며, 중간 레이어를 고정하는 것이 이러한 이점을 유지하는 데 중요함을 밝혀냈습니다.
5월 13일6
arXivAI 번역논문
알고리즘적 캐리커처: 위기 상황 전반에 걸친 LLM 생성 정치 담론 감사
본 연구는 LLM이 위기 상황에서 생성하는 정치 담론에 대한 우려를 다루며, 기존 텍스트 탐지 기술의 한계를 지적합니다. 대신 계산 사회과학(CSS) 관점을 채택하여 합성된 담론이 실제 온라인 인구와 유사하게 행동하는지를 분석했습니다. 연구진은 다양한 위기 사건 코퍼스를 구축하고 '캐리커처 갭(Caricature Gap)'이라는 새로운 측정치를 제안했는데, 이는 생성된 정치 담론의 주요 한계가 문법적 유창성이 아닌 사회적 현실성 부족에 있음을 보여줍니다.
5월 13일4
arXivAI 번역논문
ORCE: 대규모 언어 모델의 구두 확신도 순서 인식 정렬
본 논문은 대규모 언어 모델(LLMs)이 부정확한 답변에 대해서도 높은 확실성을 보이는 문제를 해결하기 위해, 신뢰할 수 있는 구두 확신도 추정 방법을 제안합니다. 기존 방법들이 답변 생성과 확신도 생성을 공동 최적화하여 발생하는 간섭 문제를 극복하고자 합니다. 연구진은 확신도 추정을 답변 생성 과정과 분리하고 응답 전반의 상대적 순서를 인식하는 새로운 프레임워크를 제시함으로써, 구두 확신도를 더욱 신뢰성 있게 정렬할 수 있음을 입증했습니다.
5월 13일6
arXivAI 번역논문
StereoTales: LLM의 개방형 스테레오타입 발견을 위한 다국어 프레임워크
StereoTales는 개방형 대규모 언어 모델(LLM) 생성 과정에서 발생하는 사회적 편향을 다국어로 체계적으로 연구하기 위해 개발된 프레임워크입니다. 이 프레임워크는 10개 언어와 79가지 사회-인구통학적 속성을 포괄하며, 23개의 최신 LLM이 생성한 65만 개 이상의 이야기를 포함하고 있습니다. 이를 통해 연구자들은 통계적 분석을 수행하여 과도하게 표현된 편향된 연관 관계를 식별하고 평가할 수 있는 도구를 얻게 됩니다.
5월 13일4
arXivAI 번역논문
DeepRefine: 강화학습 (RL)을 통한 에이전트 컴파일 지식 정제
본 기술 기사는 대규모 언어 모델(LLM) 에이전트가 생성하는 외부 지식의 품질 문제를 다룹니다. 특히, 이 지식이 불완전성, 부정확성, 중복성 등의 결함으로 인해 검색 충실도와 다운스트림 태스크 성능을 저하시키는 문제를 지적합니다. 이를 해결하기 위해 'DeepRefine'이라는 일반적인 LLM 기반 추론 모델을 제안하여 에이전트가 컴파일한 지식을 정제하는 방법을 제시합니다.
5월 13일7
arXivAI 번역논문
Few-Step Distillation을 위한 무한 마스크 확산 (Infinite Mask Diffusion)
마스크드 디퓨전 모델(MDMs)은 언어 모델링 분야에서 자기회귀적 모델의 강력한 대안으로 주목받고 있습니다. MDMs는 마스킹된 토큰과 데이터 간의 명확한 구분을 통해 병렬 디코딩 및 양방향 컨텍스트 처리를 가능하게 합니다. 특히, 'Few-Step Distillation'을 위한 무한 마스크 확산(Infinite Mask Diffusion) 기법은 이러한 모델의 효율성을 높이는 데 초점을 맞추고 있습니다.
5월 13일4
arXivAI 번역논문
MulTaBench: 텍스트 및 이미지를 활용한 멀티모달 테이블 학습 벤치마킹
본 기사는 기존 테이블 기반 파운데이션 모델이 겪는 한계점, 즉 비정형 모달리티(텍스트 및 이미지)에 대한 네이티브 지원 부족 문제를 지적합니다. 특히 기존 멀티모달 테이블 학습 벤치마크가 단순한 모달리티의 동시 발생에만 초점을 맞추어 태스크별 조정의 이점을 가리는 경향을 비판합니다. 이를 해결하기 위해, 공동 모델링과 타겟 인식 표현을 통합하는 새로운 아키텍처를 제안하며 멀티모달 테이블 파운데이션 모델 개발의 방향성을 제시합니다.
5월 13일6
arXivAI 번역논문
Step Rejection Fine-Tuning: 실용적인 증류 레시피
본 기사는 LLM 에이전트 훈련의 표준 방법인 Rejection Fine-Tuning (RFT)의 한계를 지적하고, 이를 개선한 Step Rejection Fine-Tuning (SRFT)을 제안합니다. RFT는 실패한 전체 궤적을 폐기하는 반면, SRFT는 크리틱 LLM을 사용하여 궤적의 개별 단계(step)가 정확한지 평가합니다. 이 방법을 통해 모델은 오류를 재현하지 않으면서도 오류로부터 회복하는 능력을 학습하며, SWE-bench Verified 테스트에서 RFT보다 더 높은 해결률 향상(3.7% vs 2.4%)을 보여주었습니다.
5월 13일6
arXivAI 번역논문
순응성이 AI 에이전트 사회에서 집단적 불일치를 생성함
본 논문은 개별적으로 인간 가치에 맞추어진 AI 에이전트들이 상호작용할 때, 그 집단 자체가 안정적인 불일치 상태로 전이될 수 있음을 보여줍니다. 시뮬레이션 결과, AI 에이전트의 행동은 다수 추종 경향과 내재적 편향이라는 두 힘에 의해 결정되며, 이 역학을 분석하여 집단이 장기간 지속되는 잘못된 정렬(misaligned configurations)에 갇히는 임계점을 식별했습니다. 이는 개별적인 AI 모델의 안전성 확보만으로는 충분하지 않으며, AI 인구 전체의 창발적 행동을 고려하는 새로운 평가 프레임워크가 필요함을 시사합니다.
5월 13일5
arXivAI 번역논문
추론 능력이 무료는 아니다: LLM-as-a-Judge를 위한 견고한 적응형 비용 효율적 라우팅
최근 LLM이 자동화된 심사위원(Judge)으로 활용되면서, 추론 능력을 사용하는 것이 항상 비용 효율적이지 않다는 점을 발견했습니다. 본 연구는 명시적인 추론이 구조화된 검증(수학/코딩)이 필요한 작업에서는 판단 정확도를 크게 높이지만, 간단한 평가에는 제한적이거나 오히려 부정적인 영향을 미치며 높은 계산 비용만 초래할 수 있음을 보여줍니다. 이에 따라, 저자들은 예산 제약 하에 추론 및 비추론 심사위원 사이를 동적으로 선택하는 'Robust Adaptive Cost-Efficient Routing (RACER)' 프레임워크를 제안합니다.
5월 13일6
arXivAI 번역논문
적은 데이터로 더 많이 학습하기: 차트 이해를 위한 반사실(Counterfactuals) 활용
본 논문은 Vision-Language Models(VLMs)이 차트를 이해하는 능력을 향상시키기 위해, 단순히 대규모 합성 데이터셋에 의존하는 기존의 지도 미세 조정(SFT) 방식의 한계를 지적합니다. 이를 해결하기 위해 'ChartCF'라는 새로운 데이터 효율적 훈련 프레임워크를 제안하며, 이 프레임워크는 코드 수정을 통한 반사실 데이터 합성, 차트 유사성 기반 샘플 필터링, 그리고 멀티모달 선호도 최적화를 결합합니다. 실험 결과, ChartCF는 적은 양의 데이터를 사용하면서도 강력한 성능을 달성하여 VLM 훈련의 효율성을 크게 높임을 입증했습니다.
5월 13일6
arXivAI 번역논문
BabelDOC: 중간 표현(Intermediate Representation)을 활용한 레이아웃 보존 PDF 번역 개선
BabelDOC은 중간 표현(IR) 기반의 프레임워크로, 레이아웃 보존이 필수적인 PDF 문서 번역의 어려움을 해결합니다. 이 시스템은 시각적 레이아웃 메타데이터를 의미론적 콘텐츠와 분리하여 추출하고, 이를 통해 용어집 제약이나 페이지 간 문맥 처리 같은 고급 문서 수준의 번역 작업을 수행할 수 있습니다. 이후 적응형 조판 엔진을 사용하여 원본 PDF의 레이아웃에 맞춰 번역된 내용을 재고정함으로써 높은 충실도와 일관성을 유지합니다.
5월 13일2
arXivAI 번역논문
RAG를 활용한 근거 기반 풍자 생성
본 연구는 검색 증강 생성(RAG)을 활용하여 뉴스 기사를 기반으로 핀란드 맥락의 풍자적 정의를 생성하는 새로운 파이프라인을 제시합니다. 실험 결과, 생성된 정의들은 유머러스하기보다는 정치적인 관련성을 갖는 것으로 나타났습니다. 또한, LLM-as-a-judge 평가를 통해 대규모 언어 모델(LLMs)이 정치적 맥락에 대해서는 인간의 판단과 높은 상관관계를 보이지만, 유머 감지 능력은 떨어진다는 것을 입증했습니다.
5월 13일4
arXivAI 번역논문
DGPO: 방향 일관성을 갖춘 그룹별 최적화를 통한 쌍별 선호도를 넘어서
본 논문은 기존 선호도 최적화 방법들이 가진 방향성 일관성 문제를 해결하기 위해 Directional-Groupwise Preference Optimization (DGPO)라는 새로운 프레임워크를 제안합니다. DGPO는 그룹 수준에서 감독 신호를 집계하고, 다중 후보 비교를 통해 방향 인식 정렬을 명시적으로 모델링하여 추론 경로 전반의 일관성을 강화합니다. 실험 결과에 따르면, DGPO는 기존 방법 대비 여러 벤치마크에서 평균 3.2% 이상의 성능 향상을 보여 LLM의 정렬 품질을 크게 개선할 수 있음을 입증했습니다.
5월 13일4
arXivAI 번역논문
Neural at ArchEHR-QA 2026: One Method Fits All: EHR 기반 임상 QA를 위한 통합 프롬프트 최적화
본 논문은 전자 건강 기록(EHR) 기반의 자동 질문 답변(QA) 시스템인 Neural1.5를 제시하며, 이는 임상 QA의 네 가지 핵심 하위 과제(질문 해석, 증거 식별, 답변 생성, 증거 정렬)를 다룹니다. 이 접근 방식은 DSPy의 MIPROv2 최적화기를 사용하여 각 단계에 대한 프롬프트를 자동으로 조정하고, 자체 일관성 투표 및 체인-오브-검증과 같은 검증 메커니즘을 결합하여 높은 신뢰성을 확보합니다. 연구 결과는 이 방법이 다면적인 임상 QA를 위한 비용 효율적이고 효과적인 대안임을 입증했습니다.
5월 13일3