Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
TextSeal: 출처 증명 및 지식 정제 보호를 위한 국소화된 LLM 워터마크
TextSeal은 대규모 언어 모델(LLM)의 출처 증명 및 지식 정제 보호를 위한 최첨단 워터마크입니다. Gumbel-max 샘플링 기반으로 이중 키 생성, 엔트로피 가중치 점수화, 다중 영역 국소화를 도입하여 출력 다양성을 복원합니다. TextSeal은 추론 오버헤드 없이 기존 방식보다 강력한 탐지 강도와 희석 저항성을 제공합니다.
5월 13일4
arXivAI 번역논문
SkillSafetyBench: 스킬 기반 공격 표면에서의 에이전트 안전성 평가
LLM 에이전트의 확장성 증가로 인해 재사용 가능한 스킬(Reusable skills) 사용이 일반화되고 있지만, 이는 기존 안전성 평가에서 간과된 새로운 공격 표면을 만듭니다. 본 논문은 이러한 '스킬 매개 안전 실패'를 체계적으로 평가하기 위해 SkillSafetyBench라는 실행 가능한 벤치마크를 제시합니다.
5월 13일2
arXivAI 번역논문
SkillGraph: 에이전트를 위한 스킬 증강 강화학습 (Reinforcement Learning)
SKILLGRAPH는 대규모 언어 모델(LLM) 에이전트가 단순히 독립적인 스킬을 검색하는 것을 넘어, 스킬 간의 의존성과 구조적 관계를 이해하고 활용할 수 있도록 설계된 프레임워크입니다. 이 프레임워크는 재사용 가능한 스킬들을 방향성 그래프 노드로 표현하고, 선행 조건, 향상, 동시 발생 등의 타입화된 엣지를 사용하여 복잡한 작업 흐름을 모델링합니다. SKILLGRAPH는 강화학습(RL) 피드백을 통해 지속적으로 업데이트되며, 에이전트의 정책과 스킬 라이브러리 모두를 개선하여 복합적인 작업을 수행하는 데 최적화되어 있습니다.
5월 13일5
arXivAI 번역논문
World Action Models: 체화된 AI의 다음 개척지
World Action Models (WAMs)는 기존 Vision-Language-Action (VLA) 모델이 가진 한계점(환경 역학 예측 부족)을 극복하기 위해 등장한 새로운 패러다임입니다. WAMs는 예측 상태 모델링과 행동 생성을 통합하여, 단순히 행동만을 생성하는 것이 아니라 미래 상태와 행동에 대한 공동 분포를 목표로 하는 체화된 파운데이션 모델입니다. 본 문서는 WAMs의 개념을 공식적으로 정의하고, 관련 아키텍처 및 학습 방식을 구조화된 분류 체계(순차적/공동)로 정리하며, 데이터 생태계 분석과 새로운 평가 프로토콜까지 제시하여 이 분야의 지형도를 종합적으로 제공합니다.
5월 13일2
arXivAI 번역논문
ORBIT: Origin-Regulated Merging을 통한 생성 검색(GenRetrieval)에서 기초 언어 능력 보존
본 연구는 대규모 언어 모델(LLM)을 특정 작업에 맞게 미세 조정할 때 발생하는 일반적인 언어 추론 능력의 망각 현상(Catastrophic Forgetting) 문제를 다룹니다. 특히 생성 검색(Generative Retrieval, GenRetrieval) 작업을 예시로 들어, 이러한 망각이 빠르게 발생하며 모델 파라미터 변화와 관련 있음을 분석했습니다. 이를 해결하기 위해 'ORBIT: Origin-Regulated Merging'이라는 새로운 방법을 제안하여, 특정 작업 성능을 유지하면서도 기초 언어 능력을 효과적으로 보존하는 방식을 제시합니다.
5월 13일3
arXivAI 번역논문
트랜스포머에서의 기하학적 사실 회상 (Geometric Factual Recall in Transformers)
본 논문은 트랜스포머 모델이 사실적 연관 관계를 어떻게 기억하는지에 대한 대안적인 관점을 제시합니다. 기존의 가중치 행렬 기반 암기 방식 대신, 임베딩 자체가 관계 구조를 직접 인코딩하고 MLP가 관계 조건부 선택기 역할을 하는 '기하학적' 암기 방식을 제안합니다. 연구진은 이 기하학적 접근법이 단일 레이어에서 로그 스케일의 차원만으로도 충분함을 증명했으며, 이를 다중 홉 추론과 연결하여 용량-깊이 트레이드오프를 분석했습니다.
5월 13일6
arXivAI 번역논문
알고리즘적 캐리커처: 위기 상황 전반에 걸친 LLM 생성 정치 담론 감사
본 연구는 LLM이 위기 상황에서 생성하는 정치 담론에 대한 우려를 다루며, 기존 텍스트 탐지 기술의 한계를 지적합니다. 대신 계산 사회과학(CSS) 관점을 채택하여 합성된 담론이 실제 온라인 인구와 유사하게 행동하는지를 분석했습니다. 연구진은 다양한 위기 사건 코퍼스를 구축하고 '캐리커처 갭(Caricature Gap)'이라는 새로운 측정치를 제안했는데, 이는 생성된 정치 담론의 주요 한계가 문법적 유창성이 아닌 사회적 현실성 부족에 있음을 보여줍니다.
5월 13일3
arXivAI 번역논문
ORCE: 대규모 언어 모델의 구두 확신도 순서 인식 정렬
본 논문은 대규모 언어 모델(LLMs)이 부정확한 답변에 대해서도 높은 확실성을 보이는 문제를 해결하기 위해, 신뢰할 수 있는 구두 확신도 추정 방법을 제안합니다. 기존 방법들이 답변 생성과 확신도 생성을 공동 최적화하여 발생하는 간섭 문제를 극복하고자 합니다. 연구진은 확신도 추정을 답변 생성 과정과 분리하고 응답 전반의 상대적 순서를 인식하는 새로운 프레임워크를 제시함으로써, 구두 확신도를 더욱 신뢰성 있게 정렬할 수 있음을 입증했습니다.
5월 13일6
arXivAI 번역논문
StereoTales: LLM의 개방형 스테레오타입 발견을 위한 다국어 프레임워크
StereoTales는 개방형 대규모 언어 모델(LLM) 생성 과정에서 발생하는 사회적 편향을 다국어로 체계적으로 연구하기 위해 개발된 프레임워크입니다. 이 프레임워크는 10개 언어와 79가지 사회-인구통학적 속성을 포괄하며, 23개의 최신 LLM이 생성한 65만 개 이상의 이야기를 포함하고 있습니다. 이를 통해 연구자들은 통계적 분석을 수행하여 과도하게 표현된 편향된 연관 관계를 식별하고 평가할 수 있는 도구를 얻게 됩니다.
5월 13일4
arXivAI 번역논문
DeepRefine: 강화학습 (RL)을 통한 에이전트 컴파일 지식 정제
본 기술 기사는 대규모 언어 모델(LLM) 에이전트가 생성하는 외부 지식의 품질 문제를 다룹니다. 특히, 이 지식이 불완전성, 부정확성, 중복성 등의 결함으로 인해 검색 충실도와 다운스트림 태스크 성능을 저하시키는 문제를 지적합니다. 이를 해결하기 위해 'DeepRefine'이라는 일반적인 LLM 기반 추론 모델을 제안하여 에이전트가 컴파일한 지식을 정제하는 방법을 제시합니다.
5월 13일7
arXivAI 번역논문
Few-Step Distillation을 위한 무한 마스크 확산 (Infinite Mask Diffusion)
마스크드 디퓨전 모델(MDMs)은 언어 모델링 분야에서 자기회귀적 모델의 강력한 대안으로 주목받고 있습니다. MDMs는 마스킹된 토큰과 데이터 간의 명확한 구분을 통해 병렬 디코딩 및 양방향 컨텍스트 처리를 가능하게 합니다. 특히, 'Few-Step Distillation'을 위한 무한 마스크 확산(Infinite Mask Diffusion) 기법은 이러한 모델의 효율성을 높이는 데 초점을 맞추고 있습니다.
5월 13일4
arXivAI 번역논문
MulTaBench: 텍스트 및 이미지를 활용한 멀티모달 테이블 학습 벤치마킹
본 기사는 기존 테이블 기반 파운데이션 모델이 겪는 한계점, 즉 비정형 모달리티(텍스트 및 이미지)에 대한 네이티브 지원 부족 문제를 지적합니다. 특히 기존 멀티모달 테이블 학습 벤치마크가 단순한 모달리티의 동시 발생에만 초점을 맞추어 태스크별 조정의 이점을 가리는 경향을 비판합니다. 이를 해결하기 위해, 공동 모델링과 타겟 인식 표현을 통합하는 새로운 아키텍처를 제안하며 멀티모달 테이블 파운데이션 모델 개발의 방향성을 제시합니다.
5월 13일5
arXivAI 번역논문
순응성이 AI 에이전트 사회에서 집단적 불일치를 생성함
본 논문은 개별적으로 인간 가치에 맞추어진 AI 에이전트들이 상호작용할 때, 그 집단 자체가 안정적인 불일치 상태로 전이될 수 있음을 보여줍니다. 시뮬레이션 결과, AI 에이전트의 행동은 다수 추종 경향과 내재적 편향이라는 두 힘에 의해 결정되며, 이 역학을 분석하여 집단이 장기간 지속되는 잘못된 정렬(misaligned configurations)에 갇히는 임계점을 식별했습니다. 이는 개별적인 AI 모델의 안전성 확보만으로는 충분하지 않으며, AI 인구 전체의 창발적 행동을 고려하는 새로운 평가 프레임워크가 필요함을 시사합니다.
5월 13일4
arXivAI 번역논문
추론 능력이 무료는 아니다: LLM-as-a-Judge를 위한 견고한 적응형 비용 효율적 라우팅
최근 LLM이 자동화된 심사위원(Judge)으로 활용되면서, 추론 능력을 사용하는 것이 항상 비용 효율적이지 않다는 점을 발견했습니다. 본 연구는 명시적인 추론이 구조화된 검증(수학/코딩)이 필요한 작업에서는 판단 정확도를 크게 높이지만, 간단한 평가에는 제한적이거나 오히려 부정적인 영향을 미치며 높은 계산 비용만 초래할 수 있음을 보여줍니다. 이에 따라, 저자들은 예산 제약 하에 추론 및 비추론 심사위원 사이를 동적으로 선택하는 'Robust Adaptive Cost-Efficient Routing (RACER)' 프레임워크를 제안합니다.
5월 13일5
arXivAI 번역논문
RAG를 활용한 근거 기반 풍자 생성
본 연구는 검색 증강 생성(RAG)을 활용하여 뉴스 기사를 기반으로 핀란드 맥락의 풍자적 정의를 생성하는 새로운 파이프라인을 제시합니다. 실험 결과, 생성된 정의들은 유머러스하기보다는 정치적인 관련성을 갖는 것으로 나타났습니다. 또한, LLM-as-a-judge 평가를 통해 대규모 언어 모델(LLMs)이 정치적 맥락에 대해서는 인간의 판단과 높은 상관관계를 보이지만, 유머 감지 능력은 떨어진다는 것을 입증했습니다.
5월 13일4
arXivAI 번역논문
DGPO: 방향 일관성을 갖춘 그룹별 최적화를 통한 쌍별 선호도를 넘어서
본 논문은 기존 선호도 최적화 방법들이 가진 방향성 일관성 문제를 해결하기 위해 Directional-Groupwise Preference Optimization (DGPO)라는 새로운 프레임워크를 제안합니다. DGPO는 그룹 수준에서 감독 신호를 집계하고, 다중 후보 비교를 통해 방향 인식 정렬을 명시적으로 모델링하여 추론 경로 전반의 일관성을 강화합니다. 실험 결과에 따르면, DGPO는 기존 방법 대비 여러 벤치마크에서 평균 3.2% 이상의 성능 향상을 보여 LLM의 정렬 품질을 크게 개선할 수 있음을 입증했습니다.
5월 13일4
arXivAI 번역논문
근거 기반인가 추측인가? 블라인드 이미지 대조적 순위링킹을 통한 LVLM 신뢰도 추정
본 논문은 대규모 비전-언어 모델(LVLM)이 시각적 근거 없이 언어 사전 지식만으로 자신감 있는 응답을 생성하는 '시각적 근거 부족' 문제를 해결하기 위한 새로운 신뢰도 추정 프레임워크인 BICR(Blind-Image Contrastive Ranking)을 제안합니다. BICR은 실제 이미지와 이미지를 검게 처리한 가상 시나리오의 숨겨진 상태를 대조적으로 추출하고, 이 차이를 활용하여 모델이 실제로 이미지에 의존했는지 여부를 판단하는 순위 손실로 정규화됩니다. 실험 결과, BICR은 다양한 LVLM 벤치마크에서 보정 및 판별 성능 모두에서 우수한 결과를 보여주었으며, 적은 파라미터로도 강력한 성능과 강건성을 입증했습니다.
5월 13일7
arXivAI 번역논문
메타인지 프로브(The Metacognitive Probe): LLM을 위한 5가지 행동 교정 진단
메타인지 프로브(The Metacognitive Probe)는 대규모 언어 모델(LLM)의 신뢰도 행동을 다섯 가지 구체적인 차원(신뢰도 보정, 인식적 경계심 등)으로 분석하는 진단 도구입니다. 이 도구는 LLM이 자신의 지식 한계를 인지하고 추론 과정을 검증하는 능력을 평가하며, N=8개의 최첨단 모델과 69명의 인간을 대상으로 광범위하게 테스트되었습니다.
5월 12일6
arXivAI 번역논문
언어 모델에서 가짜 숙고(Pseudo-Deliberation): 추론이 가치와 행동을 일치시키지 못할 때
대규모 언어 모델(LLMs)이 표명하는 가치와 실제 행동 사이에 불일치성('가치-행동 격차')이 존재하며, 이는 단순히 추론 과정의 문제로만 치부될 수 없습니다. 본 연구는 이러한 격차가 명시적인 추론 과정을 거치더라도 지속되는 '가짜 숙고(Pseudo-Deliberation)'라는 심층적 실패 양상을 지적합니다. 이를 측정하고 분석하기 위해 VALDI라는 새로운 프레임워크를 제안합니다.
5월 12일5
arXivAI 번역논문
Dual Adaptive Weighting을 사용한 팀 기반 셀프 플레이로 LLM 미세 조정하기
본 논문은 LLM 정렬 과정에서 인간 라벨링 데이터 의존도를 낮추면서도 발생하는 합성 데이터의 불안정성 및 최적화 비효율성 문제를 해결하기 위해 새로운 접근 방식을 제안합니다. 핵심 방법론인 TPAW(Team-based self-Play with dual Adaptive Weighting)는 정책 모델이 협력과 경쟁을 동시에 수행하는 팀 기반 프레임워크를 활용하여, 완전히 자체 지도 학습 환경에서 LLM의 정렬 개선을 목표로 합니다.
5월 12일5