Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.LG 1862건필터 해제
Transformer의 타이트한 샘플 복잡도 (Tight Sample Complexity)
Transformer 모델의 VC 차원과 샘플 복잡도에 대한 수학적 상한 및 하한을 규정하는 연구입니다. 특히 사고의 사슬(CoT) 학습 시 티처 포싱 방식의 샘플 복잡도를 분석하여 이론적 한계를 증명합니다.
학습 역학을 통해 밝혀진 가중치 유도 계층적 레이어별 Gram 지표
피드포워드 ReLU 네트워크의 경사 하강법 역학을 훈련 세트 공간의 필드 관점에서 재기술하는 연구입니다. 단일 은닉층을 넘어 깊은 네트워크에서 레이어 간 정보 전달을 매개하는 가중치 유도 Gram 연산자의 계층 구조를 제안합니다.
당신의 모델은 이미 알고 있습니다: Vision-Language-Action 모델을 위한 어텐션 가이드 기반 안전 필터
VLA 모델의 어텐션 헤드를 활용하여 별도의 추가 학습 없이 실시간으로 장애물을 감지하고 충돌을 방지하는 안전 필터 프레임워크를 제안합니다. 기존 VLM 기반 방식보다 빠르며, 움직이는 장애물이 있는 동적 환경에서도 높은 성능을 입증했습니다.
섭동 대조 물리 학습 (Perturbative Contrastive Physical Learning)
물리 시스템의 섭동에 대한 반응을 대조하여 학습하는 새로운 프레임워크인 PCPL을 제안합니다. 이 방식은 명시적인 역전파 없이 시스템 자체의 물리적 반응을 통해 효과적인 학습 기하학을 형성합니다.
iOSWorld: 개인화된 지능형 휴대폰 에이전트를 위한 벤치마크
iOSWorld는 사용자의 신원, 이력, 선호도를 반영한 개인화된 지능형 휴대폰 에이전트를 평가하기 위한 최초의 대화형 네이티브 iOS 시뮬레이터 벤치마크입니다. 26개의 앱과 133개의 태스크를 통해 단일 앱, 멀티 앱, 메모리 및 개인화 능력을 종합적으로 테스트합니다.
심층 지형적 다중 모달 모델을 통한 기능적 선택적 뇌 영역의 발견
Topo-Omni는 시각, 청각, 언어 처리를 단일한 연속적 시트로 통합한 지형적 다중 모달 모델입니다. 이 모델은 인간의 신경 영상과 일치하는 모달리티 간 클러스터를 형성하며, 피질 조직의 공간적 원리를 규명합니다.
제로 터치 예측 오케스트레이션: 클라우드-에지 컨티뉴엄을 위한 시계열 모델 자동화
클라우드-에지 컨티뉴엄 환경에서 발생하는 시계열 예측의 콜드 스타트 문제를 해결하기 위한 자동화된 아키텍처를 제안합니다. 공개 데이터셋인 TimeTrack과 로컬 데이터를 혼합하고 NAS 엔진을 활용하여 정확도 높은 베이스라인 모델을 자동으로 생성합니다.
LLM RL에서의 발산 정규화(Divergence Regularization)에 대한 재고
LLM 강화학습(RL) 시 발생하는 학습-추론 불일치와 정책 노후화 문제를 해결하기 위한 새로운 최적화 방법론인 DRPO를 제안합니다. 기존의 하드 마스크 방식 대신 부드러운 2차 정규화 항을 사용하여 학습 안정성과 효율성을 높였습니다.
무한 차원 다양체 상의 미분 가능한 사상에 대한 가중 유니버설 근사 (Weighted universal approximation)
함수 입력 신경망(FNN)을 미분 가능한 사상으로 일반화하여 유니버설 근사 정리(UAT)를 확장하는 연구입니다. 가중 나흐빈 정리를 통해 도함수 근사까지 포함하는 이론적 틀을 확립했습니다.
PRISM: 모달리티 결핍 상황을 위한 위상 인식 교차 모달리티 임퓨테이션 (Topology-Aware Cross-Modal
PRISM은 멀티모달 연합 그래프 학습 시 발생하는 클라이언트별 모달리티 결핍 문제를 해결하기 위한 새로운 프레임워크입니다. 구조적 메타 프롬프팅을 통해 누락된 모달리티의 시맨틱을 복구하고 위상 인식을 통해 그래프 전파를 제어하여 성능을 향상시킵니다.
TabTransformer 기반의 범용적 밀집 축구 이벤트 표현 (A Universal Dense Football Event
본 논문은 축구 이벤트 데이터의 이질적인 범주형 특징을 효과적으로 인코딩하기 위해 TabTransformer 기반의 모델을 제안합니다. 기존의 원-핫 인코딩 방식 대신 학습된 임베딩 벡터를 사용하여 동작의 의미론적 의존성을 포착하며, 이를 통해 다양한 스포츠 분석 태스크에서 우수한 성능을 입증했습니다.
위성 온실가스 산출의 머신러닝 에뮬레이션: 시간에 따른 안정성
위성 온실가스 산출 알고리즘의 계산 비용을 줄이기 위한 머신러닝 에뮬레이터의 시간적 안정성을 연구했습니다. 연구 결과, 시간을 입력 특성으로 포함할 경우 예측 성능이 개선되며, 단순한 Lasso 모델이 신경망보다 더 안정적인 성능을 보임을 확인했습니다.
Conan-embedding-v3: 옴니모달 임베딩을 위한 모달리티 특화 모델의 융합
Conan-embedding-v3는 옴니모달 검색을 위해 모달리티별 전문가를 독립 학습 후 융합하는 '분리-융합-복구' 프레임워크를 제안합니다. 융합 과정에서 발생하는 '프로젝터 드리프트' 현상을 발견하고, 이를 해결하기 위한 프로젝터 복구 및 멀티모달 리허설 전략을 통해 높은 검색 성능을 달성했습니다.
임계값 기반 로컬 하이퍼-플로우 확산 (Thresholded Local Hyper-Flow Diffusion)
서브모듈러 하이퍼그래프에서 시드 기반 클러스터링을 위한 새로운 방법론인 TL-HFD를 제안합니다. 기존 HFD의 전역 업데이트 한계를 극복하기 위해 임계값 기반의 로컬 업데이트 방식을 도입하여 계산 효율성과 정확성을 동시에 확보했습니다.
텐서 병렬성 (Tensor Parallelism) 및 완전 샤딩 데이터 병렬성 (Fully Sharded Data Parallelism)을
신경망 검증 시 발생하는 GPU 메모리 제한 문제를 해결하기 위해 Tensor Parallelism(TP)과 Fully Sharded Data Parallelism(FSDP)을 적용한 연구입니다. TP는 메모리를 크게 절감하지만 경계의 정밀도가 저하되는 반면, FSDP는 비트 단위로 동일한 정밀도를 유지하며 메모리 효율을 높입니다.
자율 주행을 위한 제로샷 시맨틱 재식별 (Zero-Shot Semantic Re-Identification): VLM 베이스라인 연구
자율 주행 시 객체 재식별(ReID)을 위해 VLM을 활용한 제로샷 시맨틱 파이프라인을 제안합니다. 시각적 유사성 대신 텍스트 설명을 통한 구조화된 속성 매칭을 통해 해석 가능성과 강건성을 높이는 연구입니다.
온디바이스 설정을 위한 소프트 프롬프트 기반의 안전한 LLM 시스템 증류
자원 제약이 있는 엣지 디바이스에 안전한 LLM을 배포하기 위한 소프트 프롬프트 기반의 증류 기법을 제안합니다. 가드 모델의 안전 행동을 소프트 프롬프트로 전달하여 메모리와 연산 비용을 최소화하면서도 우수한 안전성-유용성 트레이드오프를 달성했습니다.
SAILS: 국소 효과 평활화(Local Effect Smooths)를 통한 대리 모델 기반 상호작용 분석
SAILS는 블랙박스 모델의 특성 상호작용을 분석하기 위해 GAM 대리 모델을 활용하는 새로운 프레임워크를 제안합니다. 이 방식은 상호작용의 탐지를 넘어 선형, 곱 분리형 등 구체적인 기능적 형태를 분류하고 시각화할 수 있습니다.
대규모 언어 모델 (LLM) 적응 과정에서의 실증적 프라이버시 보호 벤치마킹
LLM 적응 과정에서 차분 프라이버시(DP) 적용 시 발생하는 실질적인 프라이버시 위험을 벤치마킹한 연구입니다. 데이터 분포 변화와 적응 방법론이 프라이버시 취약성에 미치는 영향을 분석하여 안전한 모델 배포를 위한 통찰을 제공합니다.
이제 당신은 (여전히) 나를 볼 수 있는가: LLM 내 회피형 스테가노그래피 페이로드 탐지
LLM이 비밀 정보를 무해한 출력으로 인코딩하는 스테가노그래피 유출 위험과 이를 탐지하려는 기계론적 방어 체계의 취약성을 분석합니다. 연구 결과, 적대적 미세 조정을 통해 기존 탐지 모델을 회피할 수 있으나, 재맥락화 데이터셋을 통한 데이터 수준의 개입으로 탐지 성능을 다시 회복할 수 있음을 입증했습니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.