Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.LG 2000건필터 해제
TabPrep: 정형 데이터 벤치마크의 피처 엔지니어링 (Feature Engineering) 격차 해소
정형 데이터 머신러닝에서 간과되었던 피처 엔지니어링의 중요성을 강조하며, 새로운 전처리 파이프라인인 TabPrep을 제안합니다. TabPrep은 특정 데이터 패턴을 겨냥한 피처 생성기를 통해 다양한 모델의 성능을 일관되게 향상시킵니다.
최적성이 희소 사전(Sparse Dictionaries)을 어떻게 구조화하는가: SAE 표현을 이해하기 위한 이론
본 논문은 Sparse Autoencoders(SAEs)가 신경망의 해석 가능한 특징을 추출하는 이론적 메커니즘을 분석합니다. 기존 연구의 한계를 넘어, 최적화 과정에서 발생하는 제약 조건이 어떻게 SAE의 특징 구조를 형성하는지 수학적으로 규명합니다.
언어 에이전트를 위한 정책 및 세계 모델링 공동 학습 (Policy and World Modeling Co-Training)
언어 에이전트의 성능 향상을 위해 정책 학습과 세계 모델링(WM)을 동시에 수행하는 PaW 프레임워크를 제안합니다. 별도의 시뮬레이터 없이 온폴리시 RL 롤아웃 데이터를 활용하여 효율적인 학습이 가능함을 입증했습니다.
GC-MoE: 조직학 기반 단일 세포 공간 전사체학을 위한 유전체 가이드 세포 유형별 Mixture of Experts
조직학 이미지를 기반으로 단일 세포 공간 전사체학을 예측하는 새로운 모델 GC-MoE를 제안합니다. 세포 유형별 전문가 모델을 결합하는 MoE 구조와 세포 간 상호작용을 고려한 어텐션 모듈을 통해 유전자 발현 예측 성능을 높였습니다.
In-Context 연산자 네트워크의 스펙트럼 감사 (Spectral Audit)
인컨텍스트 연산자 학습 모델의 성능을 예측 오차 대신 자코비안 기반의 스펙트럼 감사로 평가하는 새로운 방법론을 제안합니다. 이 방식은 모델이 PDE 연산자의 국소적 동역학 구조를 정확히 재현하는지 분석하여 기존 지표가 놓치는 실패 사례를 탐지합니다.
더 빠른 분자 동역학을 위한 투기적 샘플링 (Speculative Sampling)
분자 동역학(MD) 시뮬레이션의 속도를 높이기 위해 언어 및 확산 모델의 투기적 샘플링 기법을 응용한 Langevin Speculative Dynamics(LSD)를 제안합니다. 초안 모델과 타겟 모델을 병렬로 사용하여 물리적 오차 없이 3~9배의 속도 향상을 달성했습니다.
유한차분 PDE 솔버의 적응형 격자 세분화를 위한 물리 정보 잔차 (Physics-Informed Residuals)
본 논문은 PINN(Physics-Informed Neural Networks)을 활용하여 유한차분(Finite-Difference) 솔버의 적응형 격자 세분화(AMR)를 가이드하는 하이브리드 전략을 제안합니다. PINN의 잔차를 격자 세분화 지표로 사용하여 계산 효율성을 높이고 오차를 줄이는 연구 결과를 제시합니다.
Iteris: 계산 수학을 위한 에이전트 기반 연구 루프 (Agentic Research Loops)
계산 수학의 미해결 문제를 해결하기 위해 설계된 에이전트 기반 연구 시스템 Iteris를 소개합니다. Iteris는 수치적 실험, 알고리즘 설계, 증명 초안 생성을 통해 수학적 발견을 지원하며 실제 미해결 문제에 적용되어 유의미한 결과를 도출했습니다.
양의 정부호 행렬에 대한 DNN용 congruence 기반 아키텍처의 표현력
대칭 양의 정부호 행렬(SPD) 분류를 위한 congruence 기반 신경망 아키텍처의 표현력을 연구합니다. 준직교 제약이 레이어의 스펙트럼 다양성을 감소시켜 표현력을 제한함을 증명하고, 리만 분류기와의 호환성을 분석합니다.
자동화된 발견을 향하여: 역물질 설계에서의 생성 모델, 멀티모달 학습 및 폐쇄 루프 워크플로우 리뷰
역물질 설계 분야에서 생성 모델, 멀티모달 학습, 폐쇄 루프 워크플로우의 최신 연구 동향을 검토합니다. 결정 구조 모델링을 위한 다양한 생성 모델 클래스와 물리적 제약 조건을 통합하는 전략을 분석합니다.
단일 단계 생성 모델을 위한 드리프팅 선호도 최적화 (Drifting Preference Optimization)
단일 단계 텍스트-이미지 생성기를 위한 새로운 온라인 선호도 미세 조정 방법론인 DrPO를 제안합니다. 미분 불가능한 보상 모델을 사용하면서도 참조 드리프트를 활용해 특징 공간을 업데이트함으로써 효율적인 정렬을 달성합니다.
금융 대규모 언어 모델(LLM)의 자산별 선호도 감사: Bitcoin 표현 및 포트폴리오 배분 사례를 통한 증거
LLM이 금융 자산에 대해 특정 편향을 가지고 있는지 검증하기 위해 Bitcoin을 사례로 3단계 감사 프로토콜을 적용한 연구입니다. 실험 결과, 모델의 자산 선호도는 프레임워크에 따라 달라지며 내부의 특정 특징(features)이 이러한 결정에 영향을 미침을 확인했습니다.
유일한 해를 갖는 혼합 모델의 안정적인 운송을 위한 이볼록스(Biconvex) 정식화
본 논문은 대규모 데이터에 적용 가능한 최적 운송(OT)의 새로운 프레임워크인 OMT를 제안합니다. 개별 샘플을 하위 집단의 혼합으로 처리하여 계산 복잡도를 낮추고, 엄격한 이볼록스 최적화를 통해 유일한 전역 최소값을 보장하며 운송 맵의 안정성을 이론적으로 입증합니다.
신뢰할 수 있는 추론을 통한 허용적 안전성: 보장된 상호작용 로봇 공학을 위한 검증 가능한 믿음 공간 (Belief-Space) 신경 안전 필터
본 논문은 인간과 상호작용하는 로봇의 안전성을 보장하기 위해 컨포멀 예측(Conformal Prediction)을 활용한 새로운 알고리즘을 제안합니다. 기존 BeliefSF의 고차원성과 추론 오류 문제를 해결하여, 로봇의 불확실성을 줄이면서도 실질적으로 더 허용적이고 검증 가능한 안전 필터를 구축합니다.
IntraShuffler: 이질적 차분 프라이버시 연합 학습을 위한 프라이버시 보존 프레임워크
이질적 차분 프라이버시(HDP) 환경의 연합 학습에서 발생하는 프라이버시 추론 공격 위험을 분석하고, 이를 방어하기 위한 IntraShuffler 프레임워크를 제안합니다. IntraShuffler는 파라미터 수준의 셔플링을 통해 모델의 효용성을 유지하면서도 그래디언트 복구 가능성을 크게 낮춥니다.
ProtoAda: 멀티모달 지속적 지시어 튜닝을 위한 프로토타입 가이드 적응형 어댑터 확장 및 기하학적 통합
멀티모달 지속적 지시어 튜닝(MCIT) 시 발생하는 태스크 간 간섭 문제를 해결하기 위해 ProtoAda 프레임워크를 제안합니다. 기존의 유사도 기반 라우팅 한계를 극복하고자 형식 인식 프로토타입과 기하학적 통합 방식을 도입하여 모델의 성능을 최적화합니다.
Adaptive Auto-Harness: 개방형 작업 스트림에서의 에이전트 시스템 배포를 위한 지속적인 자기 개선
개방형 작업 스트림 환경에서 LLM 에이전트의 성능 저하를 방지하기 위한 Adaptive Auto-Harness 프레임워크를 제안합니다. 이 시스템은 진화 및 적응 손실을 분해하여 멀티 에이전트 진화기와 하네스 트리, 인간 유도 기능을 통해 지속적인 자기 개선을 수행합니다.
FLARE: 하이브리드 언어 모델을 위한 확산 모델 (Diffusion)
FLARE는 자기회귀(AR) LLM의 성능을 유지하면서 확산 모델(Diffusion)의 병렬 생성 이점을 결합하는 새로운 프레임워크입니다. 데이터 품질이 모델 변환의 핵심임을 밝히고, 단일 체크포인트로 AR 디코딩과 확산 방식의 병렬 노이즈 제거를 모두 지원합니다.
순환 언어 모델 (Recurrent Language Models)의 표현력에 대한 대수적 관점
순환 언어 모델의 표현력을 대수적 관점에서 분석한 논문입니다. 산술 모델의 차이에 따른 튜링 완전성 논란을 통합된 대수적 설명으로 해결하며, 부동 소수점과 정수 양자화가 모델의 언어 인식 능력에 미치는 영향을 규명합니다.
트리 가이드 기반 Identify-Then-Exploit: Dueling Bandits를 위한 최적 팔 식별(BAI) 및 후회
Condorcet-winner 가설 하의 dueling bandits 문제를 해결하기 위한 통합 프레임워크인 TG-ITE를 제안합니다. 트리 가이드 기반의 식별 및 활용 전략을 통해 최적 팔 식별(BAI)과 후회 최소화(regret minimization)를 동시에 최적화합니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.