Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
ReaDy: 하이브리드 선형 어텐션 대규모 언어 모델의 추측적 초안 작성을 위한 동적 컨텍스트로서의 순환 상태
ReaDy는 하이브리드 선형 어텐션(HLA) 모델의 순환 상태를 활용하여 추측적 디코딩(Speculative decoding)을 수행하는 새로운 방법을 제안합니다. 이 방법은 초안 작성 과정에서 위치별 컨텍스트 검색을 통해 효율적인 보충 컨텍스트 소스를 제공하며, 기존 방식 대비 높은 성능 향상을 입증했습니다.
10월 15일1
arXivAI 번역논문
ChronoCulture: 대규모 언어 모델(LLMs)의 시간 경과에 따른 문화 인식 평가
본 논문은 LLMs의 한계점을 지적하며, 기존 벤치마크가 문화를 정적인 속성으로 취급하는 문제를 제기합니다. 이를 해결하기 위해 72개국에서 수집된 종단적 설문조사 데이터를 기반으로 'ChronoCulture'라는 시간적 변화를 측정하는 새로운 벤치마크를 제시했습니다.
10월 15일1
arXivAI 번역논문
PrismaCoder: 분해된 루브릭 합성을 통해 개방형 멀티모달 코드 인텔리전스 경계를 확장하다
본 논문은 멀티모달 코드 인텔리전스의 개방형 발전을 위해 PrismaForge라는 계층적 데이터 파이프라인을 제안합니다. 이 파이프라인은 합성된 루브릭에 초점을 맞춰 데이터를 검증 가능한 기준으로 분해하며, 이를 통해 방대한 오픈 데이터셋인 PrismaCoder-2M을 구축했습니다. 또한, 이 데이터를 활용하여 성능 높은 모델인 PrismaCoder-9B와 PrismaCoder-35B를 공개합니다.
10월 15일0
arXivAI 번역논문
VASPO: 특권 가치 추정 기반의 자기 증류
본 논문은 특권 가치 추정 기반의 자기 증류(VASPO) 방법을 제안합니다. 이 방법은 온-폴리시 자기 교사를 활용하여 모델에 밀도 높은 감독을 제공하며, PPO 프레임워크 내에서 효과적으로 통합됩니다. VASPO는 비평가와 자기 교사가 학생이 생성한 접두사에서 특권 정보를 평가함으로써 성능을 향상시키고, 여러 수학 추론 벤치마크에서 우수한 정확도를 입증했습니다.
10월 15일0
arXivAI 번역논문
Manacá-1B-Instruct-2: 네이티브 브라질 포르투갈어 LLM의 재현 가능한 안전 정렬에 대한 연구. Negative DPO 결과
본 논문은 브라질 포르투갈어에 특화된 LLM인 Manacá-1B-Instruct-2를 제시하며, 안전 정렬(safety alignment)의 재현 가능한 연구 결과를 제공합니다. 특히 DPO 시도와 전용 안전 SFT 과정을 문서화하고, 외부 모델 대비 높은 안전성 구간 하한을 입증했습니다.
10월 15일0
arXivAI 번역논문
발견 확장을 위해서는 망각이 필요하다
LLM 에이전트를 활용한 자동화된 연구는 유망하지만, 에이전트가 과거의 경험에 고정되어 정체되는 한계가 있습니다. 본 논문은 이러한 발견 확장의 핵심 열쇠로 '망각(forgetting)'을 제시합니다. 검색 상태와 이력을 주기적으로 폐기하고 최고의 후보부터 재시작하는 것이 성능 향상에 효과적임을 입증했습니다.
10월 15일1
arXivAI 번역논문
PerSo: 실제 설득 시나리오에서 거대 언어 모델(LLMs)의 사회 지능 측면 조사
본 논문은 LLM의 사회 지능을 평가하기 위해 실제 설득 시나리오를 활용한 새로운 벤치마크 PerSo를 제안합니다. 이 벤치마크는 타인의 정신 상태 추론(인지적 지능)과 적절한 행동 선택(행동적 지능) 두 측면을 모두 다룹니다. 평가 결과, LLM은 모델 크기에 따라 성능이 확장되지만, 최고의 인간 참가자는 인지적 작업에서 여전히 우위를 보였습니다.
10월 15일1
arXivAI 번역논문
테스트 시간 학습을 통한 잠재적 압축 (Latent Compaction with Test-Time Training)
본 논문은 긴 컨텍스트 처리 시 발생하는 KV 캐시의 메모리 및 어텐션 비용 문제를 해결하기 위해 'Latent Compaction'이라는 테스트 시간 학습 기법을 제안합니다. 이 방법은 재구성 중요도, 교사 어텐션 등을 활용하여 간결한 캐시를 학습하고, 엔드투엔드 증류를 통해 공동 최적화함으로써 압축 환경에서도 높은 검색 정확도를 유지함을 입증했습니다.
10월 15일1
arXivAI 번역논문
하나의 태스크, 여러 인터페이스: 간단한 크로스-인터페이스 일관성 학습이 LLM 에이전트 강건성을 향상시킨다
본 논문은 LLM 에이전트가 특정 인터페이스에 과도하게 의존하는 문제를 지적하고, 이를 해결하기 위해 Cross-Interface Policy Regularization (CIPR)을 제안합니다. CIPR은 두 개의 다른 인터페이스 하에서 훈련 샘플을 제시하며, 유도된 액션 분포 간의 KL 발산을 최소화하여 에이전트 정책의 강건성을 높입니다.
10월 15일1
RedditAI 번역요약
Deadcode의 Radiance 엔진을 사용한 2xR9700 및 Q4 Qwen-3.8 Flash-Next 성능 테스트
새로 조립한 PC의 성능을 테스트한 내용으로, Deadcode의 Radiance 추론 엔진을 활용하여 2xR9700과 Q4 Qwen-3.8 Flash-Next 모델의 처리량(throughput) 벤치마크를 진행했습니다. BetterBench 도구를 사용하여 구체적인 성능 데이터를 측정하고 공유했습니다.
10월 15일1
arXivAI 번역논문
ReproBAIT: 코딩 에이전트가 자체적인 생물학적 AI 도구를 구축할 수 있을까?
본 연구는 코딩 에이전트가 제한된 정보만으로 복잡한 생물학적 AI 도구를 설계하고 구현하는 능력을 평가했습니다. ReproBAIT라는 새로운 평가를 통해, 인터넷 격리 환경에서 ProteinMPNN, RFdiffusion3 등 다양한 도구의 재현성을 측정했습니다. 그 결과, 에이전트들이 일부 도구는 잘 재현했지만, 매우 복잡한 도구에서는 제한적인 성능을 보였습니다.
10월 15일1
arXivAI 번역논문
System One 모델을 활용한 보정 및 위험 예산 기반 의사결정
본 연구는 LLM 워크플로우의 이진 결정 과정에서 발생하는 불확실한 사례에 대한 의사결정 점수를 분석합니다. 특히, 보수적인 폴백과 거짓 누락 위험 제어를 통해 효용 극대화 조치를 수행하는 System One 모델을 제시했습니다. 테스트 결과, 기존 방식보다 위험 예산 기반 선택이 더 효과적임을 입증했습니다.
10월 15일1
arXivAI 번역논문
깊이는 언제 도움이 되는가? 테이블형 파운데이션 모델의 레이어별 추론 이해
본 논문은 테이블형 파운데이션 모델(TFM)의 레이어별 추론 과정을 분석했습니다. 272개 데이터셋에서 TabPFN-3을 연구한 결과, TFM이 깊은 계층까지 상당한 표현 변화를 유지하며 예측 성능 향상을 보였습니다. 특히 국소적으로 모호한 쿼리가 잘 분리된 쿼리보다 더 큰 정확도 향상을 얻는 등 입력 의존적인 깊이별 중복성을 발견했습니다.
10월 15일1
arXivAI 번역논문
VaryST: 폐쇄 세계 설정을 넘어선 일반화 가능한 시공간 예측
VaryST는 시공간 예측 모델의 일반화 한계를 극복하기 위해 제안된 새로운 모델입니다. 이 모델은 장기 관측으로부터 예측 컨텍스트를 동적으로 구성하여, 변화하는 시간적/공간적 환경과 관측 가능성 변화에도 강력하게 대응합니다. 실험 결과, VaryST는 다양한 데이터셋에서 뛰어난 일반화 성능을 입증했습니다.
10월 15일0
arXivAI 번역논문
CTIA-ODE: 장기 시계열 예측을 위한 연속 시간 변수 간 어텐션
본 논문은 다변량 시계열 예측의 한계를 극복하기 위해 연속 시간 변수 간 어텐션(CTIA)을 도입한 CTIA-ODE 프레임워크를 제안합니다. 이 모델은 상미분 방정식(ODE) 솔버 내에서 작동하며, 명시적 시간 정렬 없이도 외생적 컨텍스트를 동적으로 조회할 수 있습니다. 또한, 안정성 개선과 이상치 처리를 위한 여러 전략을 통합하여 장기 예측 성능을 높였습니다.
10월 15일1
arXivAI 번역논문
잔차 보정 기반의 메모리 효율적인 부분 공간 최적화: Momentum SGD에서 Muon까지
본 논문은 LLM 훈련 시 메모리 효율적인 부분 공간 최적화 기법을 제안합니다. 기존 방법의 한계를 극복하기 위해 잔차 보정 프레임워크를 도입하여 Momentum SGD와 Muon에 적용했습니다. 이를 통해 메모리 사용량을 줄이면서도 높은 수렴 속도를 유지하는 새로운 알고리즘(SMRC, PMRC)을 개발하고 그 효과를 입증했습니다.
10월 15일1
arXivAI 번역논문
임대료 추구 언어 모델: 보상 모델이 가격을 설정하고, 잦은 감사가 임대료를 억제한다
본 논문은 RLHF의 과최적화를 '임대료 추구(rent-seeking)' 관점에서 재해석합니다. 정책이 실제 품질 대신 규제 기관의 대리 보상 모델로부터 이득을 얻는 과정을 측정 가능한 경제학적 지표로 분석했습니다. 연구 결과, RL 정책은 존재하지 않는 세부 정보를 꾸미거나 사실적인 질문을 회피하는 방식으로 학습하며, 잦은 감사가 드문 심각한 감사보다 효과적임을 보여줍니다.
10월 15일1
arXivAI 번역논문
가상 유량계 성능 향상을 위한 텍스트 기반 학습 데이터 필터링
본 논문은 에너지 및 화학 공정 분야에서 낮은 품질의 학습 데이터를 개선하기 위해 LLMs를 활용한 텍스트 기반 데이터 필터링 방법을 제안합니다. 이 방법은 비정형 운영 로그와 테이블 형식 센서 데이터를 통합하여 맥락적 이상을 탐지하고, 이를 통해 모델 개발에 사용될 학습 데이터셋을 효과적으로 필터링하는 것을 목표로 합니다.
10월 15일2
arXivAI 번역논문
MAPLE: LLM 평가를 위한 다축 매개변수 지식 추출 렌즈
본 논문은 LLM 지식 추출 강화(KEE) 기법들의 평가 한계를 극복하기 위해 MAPLE이라는 새로운 프레임워크를 제안합니다. MAPLE은 답변 회복, 방해 효과, 실패에서의 골드 토큰 순위 변화 등 다양한 측면을 분리하여 측정함으로써 KEE 기법의 복합적인 영향을 진단할 수 있습니다.
10월 15일1
arXivAI 번역논문
이산 확산 및 자기회귀 언어 모델의 에너지 소비 분석
본 논문은 LLM의 추론 과정에서 발생하는 에너지 소비 문제를 다루며, 자기회귀(AR) 모델과 확산 언어 모델(DLLMs) 간의 에너지 효율성을 비교 분석했습니다. 연구 결과, 긴 시퀀스 길이에서 확산 모델이 AR 모델보다 약 2배 높은 토큰당 에너지 효율성(J/토큰)을 보여주었습니다.
10월 15일1