Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.LG 2046건필터 해제
무기로서의 코드: 악성 코드 요청에 대한 코딩 모델의 준수 여부를 측정하기 위한 합의 라벨링 프롬프트 뱅크
코딩 모델이 악성 코드 생성 요청에 응답하는 위험성을 측정하기 위해, 실행 가능한 코드와 유해 지식을 구분하는 새로운 프롬프트 뱅크를 제안합니다. 8개의 기존 코퍼스를 통합하고 5인 판사 합의 프로토콜을 통해 신뢰도 높은 벤치마크를 구축했습니다.
LLM의 Zeroth-Order 미세 조정(Fine-Tuning)은 추론 워크로드(Inference Workload)이다
Zeroth-Order(ZO) 미세 조정이 추론 중심의 워크로드임을 입증하고, 이를 서빙 런타임에서 실행하여 학습 속도를 획기적으로 높이는 연구를 소개합니다. vLLM을 활용해 기존 방식 대비 최대 8.13배의 속도 향상을 달성하며 추론 시점 학습의 가능성을 제시합니다.
Lipschitz를 넘어: 이산 연속성 계수 (Discrete Modulus of Continuity)를 통한 데이터 기반 강건성
본 논문은 기존 Lipschitz 상수의 한계를 극복하기 위해 이산 연속성 계수(DMOC)를 활용한 데이터 기반 강건성 평가 프레임워크를 제안합니다. 모델 내부 정보 없이 데이터 분포의 정규성을 평가하며, 대규모 데이터셋 적용을 위한 확장 가능한 미니배치 알고리즘을 포함합니다.
멀티 레이블 학습 (Multi-Label Learning)에서 일반화된 지표 (Generalized Metrics) 최적화를 위한 원칙적인
멀티 레이블 학습에서 F-measure와 Jaccard index 같은 복잡한 지표를 최적화하기 위한 새로운 알고리즘과 이론적 프레임워크를 제안합니다. H-일관성에 기반한 새로운 대리 손실 함수를 설계하여 비점근적 보장을 제공하며, MMO 알고리즘을 통해 대규모 데이터셋에서도 뛰어난 성능을 입증했습니다.
Multi-Mixer 모델: 공유 표현을 통한 유연한 시퀀스 모델링 (Flexible Sequence Modeling with Shared
Oryx는 이차 attention과 선형 순환 모델 사이를 유연하게 전환할 수 있는 새로운 하이브리드 모델 아키텍처를 제안합니다. 매개변수의 90% 이상을 공유하여 효율적인 연산과 풍부한 문맥 활용을 동시에 달성하며, 1.4B 규모에서 기존 베이스라인보다 우수한 성능을 입증했습니다.
편향은 그래디언트 흔적을 남긴다: 개념 분해에 대한 그래디언트 프로브를 통한 라벨 없는 편향 식별
고정된 비전 모델에서 라벨 없이 가짜 상관관계를 식별하는 새로운 사후(post-hoc) 분석 방법을 제안합니다. NMF와 그래디언트 상호작용을 활용해 편향된 개념을 추출하며, 재학습 없이도 모델의 최악 그룹 정확도를 크게 향상시킵니다.
Ω-QVLA: 복합 회전 및 단계별 스케일링을 통한 Vision-Language-Action 모델의 강건한 양자화 (Quantization)
Omega-QVLA는 VLA 모델의 온디바이스 배포를 위해 제안된 최초의 훈련 불필요 사후 양자화 프레임워크입니다. 복합 SVD-Hadamard 회전과 단계별 스케일링 기술을 통해 액션 헤드까지 균일한 W4A4 정밀도로 압축하면서도 높은 작업 성공률을 유지합니다.
정서적 음악 추천: 오프라인 선호도 최적화를 위한 롤아웃 기반 월드 모델 (Rollout-Based World Model)
임상 및 웰니스 사용자를 위한 정서적 음악 추천 시스템인 AMRS를 소개합니다. 롤아웃 기반 월드 모델을 활용하여 온라인 실험의 윤리적 제약을 극복하고, 오프라인에서 직접 선호도 최적화(DPO)를 통해 정서적 상태를 예측하고 개선하는 방법론을 제시합니다.
AREA: CLIP 기반 클래스 증분 학습을 위한 속성 추출 및 집계
CLIP 기반 클래스 증분 학습(CIL)에서 발생하는 치명적 망각 문제를 해결하기 위해 AREA 프레임워크를 제안합니다. 속성 추출과 집계 과정을 분리하여 초구형 임베딩 공간에 속성을 고정하고, 경량 전문가 모델을 통해 안정적인 학습을 구현합니다.
PEFT-Arena: 안정성-가소성 관점에서의 매개변수 효율적 미세 조정(PEFT) 이해
PEFT의 성능을 다운스트림 정확도뿐만 아니라 안정성-가소성 딜레마 관점에서 평가하는 새로운 벤치마크 PEFT-Arena를 제안합니다. 가중치 및 활성화 공간의 기하학적 분석을 통해 PEFT 방법론 간의 차이를 규명하고, 경로별 리와인딩을 통한 성능 개선 가능성을 제시합니다.
LLM 환각(Hallucination)에 대한 불확실성 추정기(Uncertainty Estimators)의 관련성 평가
LLM의 환각 현상과 불확실성 추정(UE) 사이의 상관관계를 체계적으로 분석한 연구입니다. 다양한 추정 기법을 활용해 환각 유형별 유효성을 검증한 결과, 불확실성이 환각의 직접적인 지표로 사용되기에는 한계가 있음을 밝혀냈습니다.
SQARL: 분산 양자 아키텍처 내 회로 할당을 위한 크기 불가지론적 강화학습 (Reinforcement Learning) 접근 방식
분산 양자 컴퓨팅 환경에서 통신 비용을 최소화하기 위한 큐비트 할당 문제를 해결하는 Transformer 기반 강화학습 아키텍처 SQARL을 제안합니다. 이 방식은 하드웨어 구성 변화에 관계없이 재학습 없이 작동하며, 기존 휴리스틱 알고리즘 대비 우수한 성능을 보여줍니다.
적을수록 많다: On-Policy 증류를 위한 조기 종료 롤아웃 (Early Stopping Rollout)
On-policy 증류 과정에서 발생하는 'Off-policy 교사 감쇠' 문제를 해결하기 위해 조기 종료 롤아웃(ESR) 전략을 제안합니다. ESR은 롤아웃 생성을 초기 토큰으로 제한하여 학습 안정성과 GPU 효율성을 높이며, 교차 모델 시나리오에서 뛰어난 성능을 보입니다.
일반화 가능한 추천을 위한 인과 표현 학습 (Causal Representation Learning)
추천 시스템의 분포 변화 문제를 해결하기 위해 인과 표현 학습(CRL)을 적용한 새로운 방법론을 제안합니다. 정보 이론적 얽힘 해제 기준을 통해 인과적 구성 요소에 집중함으로써, 추가적인 추론 비용 없이도 분포 외 일반화 성능을 높였습니다.
LLM에서의 연산 밀도 추적 (Tracing Computation Density in LLMs)
LLM의 연산 효율성을 분석하기 위해 서브그래프를 추정하는 s-Trace 방법을 제안합니다. 연구 결과, LLM의 연산은 초기 레이어의 대략적인 예측과 후기 레이어의 정교화 과정이라는 모듈형 구조로 조직되어 있음을 발견했습니다.
BhashaSetu: 저자원 기계 번역을 위한 데이터 중심 접근 방식
저자원 언어인 마라티어를 위한 고품질 영어-마라티어 병렬 데이터셋 BhashaSetu를 제안합니다. 278만 개의 문장 쌍과 형태소 분석 정보를 포함하며, 데이터 전처리와 미세 조정 실험을 통해 데이터 중심 접근 방식의 중요성을 입증했습니다.
시공간 범위 대조를 통한 동적 그래프 표현 학습
동적 그래프의 시간적 진화를 모델링하기 위해 시간적 이동 불변성(temporal translation invariance)을 도입한 CLDG 프레임워크를 제안합니다. CLDG++는 그래프 확산과 다중 스케일 대조 학습을 통해 전역적 문맥을 파악하며, 이상 탐지 및 노드 분류 작업에서 뛰어난 성능을 입증했습니다.
FalAR: 의회 세션의 대규모 화자 주석 유럽 포르투갈어 음성 코퍼스
유럽 포르투갈어(EP)의 데이터 부족 문제를 해결하기 위해 의회 세션 음성 데이터를 활용한 대규모 화자 주석 코퍼스 FalAR를 제안합니다. 5,800시간의 음성 데이터와 화자 메타데이터를 포함하며, ASR 모델 성능을 크게 향상시킵니다.
불확실성 하에서의 에이전트 오케스트레이션 학습
이질적인 에이전트 환경에서 신뢰도, 비용, 불확실성을 고려하여 최적의 위임 결정을 내리는 적응형 오케스트레이션 연구를 다룹니다. 제안된 BOT-Orch 프레임워크는 에이전트 출력 분포를 OT 거리로 정규화하여 밴딧 문제로 해결하며, 기존 방식보다 우수한 성능을 입증했습니다.
검열된 피드백 하에서의 구조적 학습 비용: 임계값 밴딧 (Threshold-Bandit) 접근 방식
검열된 피드백 환경에서 다중 에이전트의 협력 문제를 해결하기 위한 TAC-MAB 프레임워크를 제안합니다. 중앙 집중식 알고리즘의 성능 분석과 통신 효율을 극대화한 분산식 프로토콜 D-TAC의 성과를 다룹니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.