Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.LG 1862건필터 해제
단기 기상 예보 개선을 위한 물리 제약 신경망 (Physics-Constrained Neural Networks): 남태평양 사례 연구
물리 제약 신경망(PCNNs)을 활용하여 단기 기상 예보의 정확도와 물리적 일관성을 높이는 연구를 소개합니다. WeatherGFT 아키텍처를 개선하여 수치 솔버의 효율성을 높이고, 자기회귀 하이브리드 블록을 통해 과적합 문제를 해결했습니다.
TuneAhead: 전체 학습이 시작되기 전 미세 조정(Fine-tuning) 성능 예측하기
TUNEAHEAD는 LLM 미세 조정(Fine-tuning)을 시작하기 전, 성능을 사전에 예측할 수 있는 경량 프레임워크입니다. 정적 데이터셋 기술자와 동적 프로브 특징을 결합하여 성능을 추정하며, 불필요한 학습 비용을 줄이는 go/no-go 스크리닝을 지원합니다.
학습 가능한 그래프 패치(Learnable Graph Patches)를 통한 특징 이질성(Feature Heterogeneity) 처리
그래프 파운데이션 모델(GFM)의 특징 이질성 문제를 해결하기 위해 '학습 가능한 그래프 패치' 개념을 제안합니다. 노드 특징을 패치 단위로 분해하고 인코더와 어그리게이터를 통해 도메인 간 전이 가능한 정보를 추출하여 성능을 높였습니다.
그래프 신경망 (Graph Neural Networks)에서의 기하학적 공정성
그래프 기반 확산 모델이 데이터의 편향을 증폭시킬 수 있는 문제를 해결하기 위해, 라플라시안 연산자를 수정하는 새로운 공정성 인식 적응형 모델을 제안합니다. 부분 공간 투영과 스펙트럼 조정을 통해 편향을 완화하며, 이론적 분석과 실험을 통해 성능과 공정성을 동시에 입증했습니다.
LSTM 및 Transformer 모델을 이용한 단기 전력 부하 예측을 위한 델타 기반 타겟 재구성 (Delta-Based Target
전력 부하 예측의 비정상성 문제를 해결하기 위해 LSTM과 Transformer 모델에 델타 기반 타겟 재구성 기법을 적용한 연구입니다. 절대값 대신 부하 변화량을 예측함으로써 학습 타겟을 안정화하고 예측 정확도를 높이는 방법을 제안합니다.
혼동 인지형 전이 교사 커리큘럼 학습 프레임워크: 점수 산정 및 속도 조절 효과의 분리
커리큘럼 학습의 핵심 요소인 점수 산정(scoring)과 속도 조절(pacing) 효과를 분리하여 분석하는 새로운 프레임워크를 제안합니다. 혼동 인지형 난이도 점수를 통해 데이터 효율성을 높일 수 있음을 실험적으로 입증했습니다.
랭킹을 위한 공정성 인지형 확률적 다기준 수용성 분석(SMAA) 확장 모델
불확실성을 처리하는 SMAA 프레임워크에 공정성 개념을 결합한 SMAA-Fair 모델을 제안합니다. 이 모델은 집단 공정성 지표를 활용해 랭킹을 재가중함으로써, 선호의 불확실성 속에서도 보호 집단의 표현력을 높이는 공정한 랭킹을 도출합니다.
비지도 대칭성 발견을 통한 잠재 도메인의 블라인드 복원
데이터 분포의 대칭성을 발견하여 잠재 도메인과 신호를 복원하는 새로운 비지도 학습 프레임워크를 제안합니다. 선형 변환으로 손상된 관측값으로부터 신호를 복원하기 위해 정상성 및 국소성 규제화를 활용합니다.
경량화된 경험적 잠재 메모리를 통한 지속적 자기 개선 (Continual Self-Improvement with Lightweight
LLM이 추론 과정에서 생성한 흔적을 지속 가능한 지식으로 전환하기 위해 경량화된 잠재 메모리를 활용하는 연구를 제안합니다. 모델 파라미터의 0.001% 수준인 소프트 프롬프트 메모리를 통해 파괴적 망각 없이 온라인으로 성능을 지속 개선할 수 있습니다.
QueryMarket: 데이터 시장에서의 비용 인식 온라인 능동 학습 (Cost-Aware Online Active Learning)
실시간 데이터 스트림 학습 시 예산 제약과 데이터 가격을 고려하여 최적의 레이블을 구매하는 QueryMarket 프레임워크를 제안합니다. D-최적성 기준을 활용한 OVBAL 알고리즘을 통해 비정상적 데이터 환경에서도 비용 효율적인 능동 학습을 수행합니다.
No-Free-Fairness: 학습 시스템에서의 근본적인 한계와 트레이드오프 (Trade-offs)
학습 시스템 내 불평등의 근본적인 원인을 규명하는 'No-Free-Fairness 정리'를 제안합니다. 성능과 공정성 사이의 트레이드오프, 유한 샘플 학습의 한계, 모델 표현력의 제약 등 세 가지 이론적 불가능성을 증명합니다.
어텐션에서의 기능적 동등성: 선형 모드 연결성(Linear Mode Connectivity)에 대한 응용을 포함한 종합적 연구
트랜스포머 아키텍처 내 위치 인코딩이 기능적 동등성과 선형 모드 연결성에 미치는 영향을 분석한 연구입니다. 사인형 인코딩과 RoPE의 대칭성 차이를 규명하여 RoPE의 표현력 향상 원리를 이론적으로 설명합니다.
현대적 신경망 구조를 위한 보존 법칙 (Conservation Laws)
경사 하강법 역학에서 나타나는 암묵적 편향을 설명하는 보존 법칙을 현대적 신경망 구조로 확장하는 연구입니다. GELU, SwiGLU, RoPE, MoE 등 최신 아키텍처를 포함하는 통합 프레임워크를 제안하고 이론적 발견을 실험으로 검증합니다.
표류에서 일관성으로: LLM 내 신념의 안정화
LLM의 예측 신념이 일관성을 유지하지 못하고 표류하는 현상을 분석하고, 이를 해결하기 위한 연구를 제시합니다. PPR 기법을 통해 신념의 안정화 과정을 관찰하고, 시드 답변 프롬프팅과 자기 일관성 손실을 통해 예측 일관성을 향상시킵니다.
Qwen-RobotManip 기술 보고서: 정렬(Alignment)을 통한 로봇 조작 파운데이션 모델의 스케일 확장
Qwen-RobotManip은 시각-언어-행동(VLA) 통합 정렬 프레임워크를 통해 로봇 조작 성능을 극대화한 파운데이션 모델입니다. 대규모 멀티 소스 데이터를 일관성 있게 학습하여 제로샷 지시 이행 및 교차 체화 전이 등 뛰어난 일반화 능력을 입증했습니다.
WallZero: 전략적 분석을 통한 WallGo 게임 마스터하기
AlphaZero 알고리즘을 기반으로 전략 보드 게임 WallGo를 마스터하는 에이전트 'WallZero'를 제안합니다. 맞춤형 액션 및 특징 설계를 통해 프로 바둑 기사를 상대로 승리하며, 게임의 공정성과 핵심 전략을 분석했습니다.
AnchorKV: 거부 앵커(Refusal Anchor)를 통한 소프트 패널티 기반의 안전 인지형 KV 캐시 압축
AnchorKV는 LLM의 KV 캐시 압축 과정에서 발생할 수 있는 안전 정렬 저하 문제를 해결하기 위한 새로운 연구입니다. 거부 앵커(Refusal Anchor)를 활용한 소프트 패널티 방식을 통해, 모델의 성능을 유지하면서도 탈옥 공격에 대한 방어력을 높입니다.
순서 독립적 셀 수준 표현을 통한 자기회귀적 멀티태스크 테이블 인식에서의 구조적 의존성 재고
멀티태스크 테이블 인식에서 발생하는 셀 표현의 순서 의존성 문제를 해결하기 위해 순서 독립적 셀 수준 표현 방식을 제안합니다. 비인과적 어텐션을 활용한 구조적 정제 모듈을 통해 전역적 일관성을 높이고 추론 속도를 3배 향상시켰습니다.
단조 Kolmogorov-Arnold Networks: 유도 편향(Inductive Bias)으로서의 단조성에 대한 이론적 및 경험적 연구
모든 파라미터에 대해 엄격한 단조성을 보장하는 새로운 KAN 변형인 MKAN을 제안합니다. 지수적 재매개변수화와 단조 기저 함수를 통해 제약 없는 경사 하강법만으로 훈련이 가능하며, 이론적 표현 비용 정리를 통해 단조 인코더의 크기 규칙을 제시합니다.
모듈성이 지속 학습(Continual Learning)에 도움이 되는 차원성 제어 조건
본 연구는 지속 학습에서 모듈형 아키텍처와 표현 차원성이 가소성과 안정성 사이의 균형에 미치는 영향을 분석합니다. 연구 결과, 저차원 영역에서는 모듈성이 작업 특화 하위 공간을 형성하여 단일 네트워크보다 뛰어난 구성적 성능을 보임을 확인했습니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.