Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
병렬 인과 연상 필드 (Parallel Causal Associative Fields): 긴 문맥 언어 모델링을 위한 게이트형 희소 메모리
PCAF는 긴 문맥 처리를 위해 게이트형 희소 메모리를 사용하는 새로운 아키텍처를 제안합니다. 기존 Transformer의 제곱 복잡도와 순환 모델의 상태 압축 병목 현상을 동시에 해결하며, 해시 버킷 기반의 병렬 콘텐츠 주소 지정 방식을 통해 효율적인 긴 문맥 접근을 구현합니다.
6월 10일0
arXivAI 번역논문
어떤 LoRA를 사용할 것인가? 다국어 지시어 튜닝 (Multilingual Instruction Tuning) 중 LoRA 기법의 효과성에
다국어 지시어 튜닝 시 다양한 LoRA 변형 기법이 기본 LoRA보다 우수한지 실험했습니다. 연구 결과, 복잡한 LoRA 변형이 교차 언어 전이와 지식 유지 측면에서 기본 LoRA 대비 유의미한 이점을 제공하지 않음을 확인했습니다.
6월 10일0
arXivAI 번역논문
SpenseGPT: LLM 추론을 위한 희소(Sparse) 및 밀집(Dense) GEMM을 가능하게 하는 실용적인 원샷 프루닝
SpenseGPT는 LLM 추론 속도를 높이기 위해 희소(Sparse) 영역과 밀집(Dense) 영역을 결합한 하이브리드 형식을 제안합니다. 기존 2:4 희소성 제약으로 인한 정확도 저하를 해결하며, B200 GPU 환경에서 모델 품질을 유지하며 최대 1.2배의 디코딩 속도 향상을 달성했습니다.
6월 10일0
arXivAI 번역논문
Mixture of Experts와 Dynamic Downsampling을 통한 다국어 LLM 기반 ASR 성능 향상
본 연구는 다국어 일반화와 모달리티 정렬을 목표로 하는 프로젝터 기반 LLM-ASR 프레임워크를 제안합니다. MoE 아키텍처와 CIF 메커니즘을 결합하여 기존 베이스라인 모델보다 향상된 성능을 입증했습니다.
6월 10일0
arXivAI 번역논문
LakeQA: 백만 규모 데이터 레이크(Data Lake)에 대한 탐색적 질의응답(QA) 벤치마크
대규모 데이터 레이크 환경에서 검색과 추론 능력을 동시에 평가하기 위한 새로운 벤치마크인 LakeQA를 소개합니다. 9.5TB 규모의 이질적인 데이터를 기반으로 하며, 박사급 전문가의 주석을 거친 고난도 멀티홉 추론 과제를 포함합니다.
6월 10일0
arXivAI 번역논문
ERAlign: 텍스트 속성 그래프(TAGs)에서의 GNN과 LLM 간 에너지 기반 표현 정렬
ERAlign은 텍스트 속성 그래프(TAGs)에서 GNN과 LLM의 표현을 정렬하기 위한 에너지 기반 프레임워크입니다. 에너지 불일치(ED)를 도입하여 샘플링 비용을 줄이고 분포 일관성을 달성함으로써, 다양한 태스크에서 최첨단 성능을 입증했습니다.
6월 10일0
arXivAI 번역논문
언어학에서 양상 모델 (Modal Models)로서의 거대 언어 모델 (LLMs)
본 논문은 LLM을 언어학 연구를 위한 양상 모델(modal models)로 정의하고, 과학 철학적 프레임워크를 통해 그 가치를 분석합니다. LLM이 '어떻게 가능한가'에 대한 설명(HPE)은 제공할 수 있으나, '어떻게 실제로 그러한가'에 대한 설명(HAE)으로서의 자격은 아직 부족하다고 주장합니다.
6월 10일0
arXivAI 번역논문
사고와 발화의 분리: 회복 탄력적인 다중 에이전트 논증을 위한 지식 기반 반사실적 추론
다중 에이전트 토론의 안정성을 높이기 위해 사고와 발화를 분리한 KG-CFR 아키텍처를 제안합니다. 검색 증강 계획 버퍼를 통해 논리 저하와 역할 이탈을 방지하며, 불확실한 환경에서도 높은 회복 탄력성을 입증했습니다.
6월 10일0
arXivAI 번역논문
순환 신경 텐서 네트워크 (Recurrent Neural Tensor Networks)를 이용한 생물 의학 텍스트 내 추측성 언어 탐지
생물 의학 논문에서 추측성 언어를 자동으로 탐지하기 위해 RNTN과 Paragraph Vector 모델을 활용한 연구입니다. 실험 결과, RNTN이 기존 SVM 베이스라인보다 우수한 성능을 보였으나 Paragraph Vector는 낮은 성능을 기록했습니다.
6월 10일0
arXivAI 번역논문
경험적 프라이버시 감사 (Empirical Privacy Auditing)의 최첨단 기술 발전
LLM의 매개변수 효율적 미세 조정 과정에서 발생하는 데이터 암기 및 프라이버시 유출 위험을 정량화하는 경험적 프라이버시 감사(EPA) 기술을 제안합니다. 합성 카나리를 활용해 식별 가능성을 높이고, 합성 데이터 생성 시의 프라이버시 위험을 측정하는 새로운 기법을 소개합니다.
6월 10일0
arXivAI 번역논문
UniSVQ: 2-bit 통합 스칼라-벡터 양자화 (Unified Scalar-Vector Quantization)
UniSVQ는 스칼라 양자화(SQ)와 벡터 양자화(VQ)를 결합한 새로운 2-bit 통합 양자화 프레임워크입니다. 정수 격자의 아핀 변환을 통해 VQ의 유연성을 유지하면서도 SQ의 계산 효율성을 확보하여 LLM의 추론 성능을 극대화합니다.
6월 10일0
arXivAI 번역논문
표현 인지형 이득 추정: 보상 모델은 스칼라 출력 이상의 정보를 제공합니다
RLHF 과정에서 스칼라 보상의 한계를 극복하기 위해 보상 모델(RM)의 은닉 상태를 활용하는 GraphAE 기법을 제안합니다. 그래프 기반 이득 추정을 통해 응답 간의 유사성을 반영함으로써 더 정교한 선호도 학습을 가능하게 합니다.
6월 10일0
arXivAI 번역논문
LC-QAT: 선형 제약 벡터 양자화 (Linear-Constrained Vector Quantization)를 통한 LLM용 데이터 효율적
LC-QAT는 2비트 정밀도의 LLM을 위해 제안된 새로운 벡터 양자화(VQ) 프레임워크입니다. 아핀 매핑을 통해 미분 가능한 엔드투엔드 최적화를 구현하여, 매우 적은 데이터만으로도 기존 QAT 방식보다 뛰어난 성능을 보여줍니다.
6월 10일0
arXivAI 번역논문
Prefilling-dLLM: Diffusion Language Models의 긴 문맥 추론을 위한 예측적 프리필링 (Predictive
Diffusion Language Models(dLLM)의 긴 문맥 처리 시 발생하는 높은 연산 비용을 해결하기 위한 Prefilling-dLLM 프레임워크를 제안합니다. 별도의 학습 없이 KV 캐싱과 희소 프리필링을 통해 연산 복잡도를 획기적으로 낮추고 추론 속도를 대폭 향상시켰습니다.
6월 10일0
arXivAI 번역논문
숨겨진 합의: 인간 피드백에서의 선호도-타당성 압축 (Preference-Validity Compression)
RLHF 과정에서 다양한 인간의 가치관이 단일 보상 목표로 축소되는 '선호도-타당성 압축' 현상을 분석합니다. 말레이시아 사례 연구를 통해 단일 승자 집계 방식이 다원적 타당성을 가진 응답들을 유실함을 증명하고, 타당성 보존 일관성의 필요성을 제안합니다.
6월 10일0
arXivAI 번역논문
ParaBridge: 음성 언어 모델(Speech Language Models)에서 준언어적 지각과 대화 행동 간의 간극 메우기
ParaBridge는 음성 언어 모델(SLM)이 목소리 톤 등 준언어적 단서를 대화에 반영하도록 돕는 새로운 연구입니다. 온-정책 자기 증류(on-policy self-distillation)를 통해 모델이 별도의 지시 없이도 비어휘적 단서를 이해하고 적절한 대화 행동을 보이도록 학습시킵니다.
6월 10일0
arXivAI 번역논문
논리적 규칙을 이용한 지식 편집 (Knowledge Editing) 벤치마킹
LLM의 지식 편집 기술이 직접적인 사실 수정에는 능숙하지만, 그에 따른 논리적 함축 지식을 처리하는 데는 한계가 있음을 보여주는 새로운 벤치마크를 소개합니다. 지식 그래프 기반의 멀티홉 질문을 통해 기존 방식들의 성능 격차를 분석하고 의미론적 인지 평가의 필요성을 강조합니다.
6월 10일0
arXivAI 번역논문
Causal Ensemble Agent: LLM 가이드 기반 전문가 재가중치를 이용한 계층적 인과 발견 (Hierarchical Causal
Causal Ensemble Agent(CEA)는 통계적 인과 발견 전문가들의 통찰을 집계하고, LLM을 메타 심판으로 활용하여 전문가 가중치를 동적으로 재조정하는 새로운 프레임워크입니다. 이를 통해 서로 다른 알고리즘 간의 충돌을 해결하고 더 정확하고 완전한 인과 그래프를 구성합니다.
6월 10일0
arXivAI 번역논문
적은 데이터, 큰 노이즈: 강건한 매개변수 효율적 미세 조정(PEFT)을 위한 적대적 학습
적은 데이터와 높은 노이즈 환경에서 PEFT의 강건성을 높이기 위한 SDBN 프레임워크를 제안합니다. 적대적 학습을 도입하여 모델의 일반화 능력을 향상시키며, 저자원 환경에서도 뛰어난 성능을 보입니다.
6월 10일0
arXivAI 번역논문
추론은 어떻게 흐르는가? LLM의 타겟형 RL을 위한 어텐션 유도 정보 흐름 추적
LLM 강화학습 시 토큰별 신용 할당 문제를 해결하기 위해 어텐션 기반의 방향성 비순환 그래프(DAG)를 활용하는 FlowTracer 프레임워크를 제안합니다. 정보 흐름의 보존과 추론 경로 추적을 통해 핵심 토큰에 정확한 보상을 부여함으로써 추론 성능을 향상시킵니다.
6월 10일0