Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
언어학에서 양상 모델 (Modal Models)로서의 거대 언어 모델 (LLMs)
본 논문은 LLM을 언어학 연구를 위한 양상 모델(modal models)로 정의하고, 과학 철학적 프레임워크를 통해 그 가치를 분석합니다. LLM이 '어떻게 가능한가'에 대한 설명(HPE)은 제공할 수 있으나, '어떻게 실제로 그러한가'에 대한 설명(HAE)으로서의 자격은 아직 부족하다고 주장합니다.
6월 10일0
arXivAI 번역논문
사고와 발화의 분리: 회복 탄력적인 다중 에이전트 논증을 위한 지식 기반 반사실적 추론
다중 에이전트 토론의 안정성을 높이기 위해 사고와 발화를 분리한 KG-CFR 아키텍처를 제안합니다. 검색 증강 계획 버퍼를 통해 논리 저하와 역할 이탈을 방지하며, 불확실한 환경에서도 높은 회복 탄력성을 입증했습니다.
6월 10일0
arXivAI 번역논문
순환 신경 텐서 네트워크 (Recurrent Neural Tensor Networks)를 이용한 생물 의학 텍스트 내 추측성 언어 탐지
생물 의학 논문에서 추측성 언어를 자동으로 탐지하기 위해 RNTN과 Paragraph Vector 모델을 활용한 연구입니다. 실험 결과, RNTN이 기존 SVM 베이스라인보다 우수한 성능을 보였으나 Paragraph Vector는 낮은 성능을 기록했습니다.
6월 10일0
arXivAI 번역논문
경험적 프라이버시 감사 (Empirical Privacy Auditing)의 최첨단 기술 발전
LLM의 매개변수 효율적 미세 조정 과정에서 발생하는 데이터 암기 및 프라이버시 유출 위험을 정량화하는 경험적 프라이버시 감사(EPA) 기술을 제안합니다. 합성 카나리를 활용해 식별 가능성을 높이고, 합성 데이터 생성 시의 프라이버시 위험을 측정하는 새로운 기법을 소개합니다.
6월 10일0
arXivAI 번역논문
UniSVQ: 2-bit 통합 스칼라-벡터 양자화 (Unified Scalar-Vector Quantization)
UniSVQ는 스칼라 양자화(SQ)와 벡터 양자화(VQ)를 결합한 새로운 2-bit 통합 양자화 프레임워크입니다. 정수 격자의 아핀 변환을 통해 VQ의 유연성을 유지하면서도 SQ의 계산 효율성을 확보하여 LLM의 추론 성능을 극대화합니다.
6월 10일0
arXivAI 번역논문
표현 인지형 이득 추정: 보상 모델은 스칼라 출력 이상의 정보를 제공합니다
RLHF 과정에서 스칼라 보상의 한계를 극복하기 위해 보상 모델(RM)의 은닉 상태를 활용하는 GraphAE 기법을 제안합니다. 그래프 기반 이득 추정을 통해 응답 간의 유사성을 반영함으로써 더 정교한 선호도 학습을 가능하게 합니다.
6월 10일0
arXivAI 번역논문
LC-QAT: 선형 제약 벡터 양자화 (Linear-Constrained Vector Quantization)를 통한 LLM용 데이터 효율적
LC-QAT는 2비트 정밀도의 LLM을 위해 제안된 새로운 벡터 양자화(VQ) 프레임워크입니다. 아핀 매핑을 통해 미분 가능한 엔드투엔드 최적화를 구현하여, 매우 적은 데이터만으로도 기존 QAT 방식보다 뛰어난 성능을 보여줍니다.
6월 10일0
arXivAI 번역논문
Prefilling-dLLM: Diffusion Language Models의 긴 문맥 추론을 위한 예측적 프리필링 (Predictive
Diffusion Language Models(dLLM)의 긴 문맥 처리 시 발생하는 높은 연산 비용을 해결하기 위한 Prefilling-dLLM 프레임워크를 제안합니다. 별도의 학습 없이 KV 캐싱과 희소 프리필링을 통해 연산 복잡도를 획기적으로 낮추고 추론 속도를 대폭 향상시켰습니다.
6월 10일0
arXivAI 번역논문
숨겨진 합의: 인간 피드백에서의 선호도-타당성 압축 (Preference-Validity Compression)
RLHF 과정에서 다양한 인간의 가치관이 단일 보상 목표로 축소되는 '선호도-타당성 압축' 현상을 분석합니다. 말레이시아 사례 연구를 통해 단일 승자 집계 방식이 다원적 타당성을 가진 응답들을 유실함을 증명하고, 타당성 보존 일관성의 필요성을 제안합니다.
6월 10일0
arXivAI 번역논문
ParaBridge: 음성 언어 모델(Speech Language Models)에서 준언어적 지각과 대화 행동 간의 간극 메우기
ParaBridge는 음성 언어 모델(SLM)이 목소리 톤 등 준언어적 단서를 대화에 반영하도록 돕는 새로운 연구입니다. 온-정책 자기 증류(on-policy self-distillation)를 통해 모델이 별도의 지시 없이도 비어휘적 단서를 이해하고 적절한 대화 행동을 보이도록 학습시킵니다.
6월 10일0
arXivAI 번역논문
논리적 규칙을 이용한 지식 편집 (Knowledge Editing) 벤치마킹
LLM의 지식 편집 기술이 직접적인 사실 수정에는 능숙하지만, 그에 따른 논리적 함축 지식을 처리하는 데는 한계가 있음을 보여주는 새로운 벤치마크를 소개합니다. 지식 그래프 기반의 멀티홉 질문을 통해 기존 방식들의 성능 격차를 분석하고 의미론적 인지 평가의 필요성을 강조합니다.
6월 10일0
arXivAI 번역논문
Causal Ensemble Agent: LLM 가이드 기반 전문가 재가중치를 이용한 계층적 인과 발견 (Hierarchical Causal
Causal Ensemble Agent(CEA)는 통계적 인과 발견 전문가들의 통찰을 집계하고, LLM을 메타 심판으로 활용하여 전문가 가중치를 동적으로 재조정하는 새로운 프레임워크입니다. 이를 통해 서로 다른 알고리즘 간의 충돌을 해결하고 더 정확하고 완전한 인과 그래프를 구성합니다.
6월 10일0
arXivAI 번역논문
적은 데이터, 큰 노이즈: 강건한 매개변수 효율적 미세 조정(PEFT)을 위한 적대적 학습
적은 데이터와 높은 노이즈 환경에서 PEFT의 강건성을 높이기 위한 SDBN 프레임워크를 제안합니다. 적대적 학습을 도입하여 모델의 일반화 능력을 향상시키며, 저자원 환경에서도 뛰어난 성능을 보입니다.
6월 10일0
arXivAI 번역논문
추론은 어떻게 흐르는가? LLM의 타겟형 RL을 위한 어텐션 유도 정보 흐름 추적
LLM 강화학습 시 토큰별 신용 할당 문제를 해결하기 위해 어텐션 기반의 방향성 비순환 그래프(DAG)를 활용하는 FlowTracer 프레임워크를 제안합니다. 정보 흐름의 보존과 추론 경로 추적을 통해 핵심 토큰에 정확한 보상을 부여함으로써 추론 성능을 향상시킵니다.
6월 10일0
arXivAI 번역논문
Raspberry Pi 5 QPU를 위한 소형 ML 런타임 스택 연구
Raspberry Pi 5의 VideoCore VII QPU를 활용한 QPU 우선 ML 런타임 스택을 제안합니다. 타일형 행렬 곱셈과 정수 실행 최적화를 통해 NumPy 및 PyTorch 대비 높은 처리량을 달성했습니다.
6월 10일1
arXivAI 번역논문
동적 선형 어텐션 (Dynamic Linear Attention)
표준 어텐션의 이차 복잡도 문제를 해결하기 위해 제안된 DLA(Dynamic Linear Attention) 프레임워크를 소개합니다. DLA는 고정된 상태 병합 방식의 한계를 극복하여 토큰의 중요도에 따라 메모리를 동적으로 관리하고 정보 손실을 최소화합니다.
6월 10일0
arXivAI 번역논문
ARTA: RowHammer 취약점을 위한 적응형 강화학습 기반 스로틀링 에이전트
RowHammer 취약점에 대응하기 위해 Q-learning 기반의 적응형 스로틀링 메커니즘인 ARTA를 제안합니다. 하드웨어 수정 없이 메모리 액세스를 모니터링하여 비트플립을 효과적으로 억제하며, 기존 방어책 대비 높은 성능 향상을 입증했습니다.
6월 10일2
arXivAI 번역논문
자기지도 학습 음성 인식 모델에서의 화자 그룹 인코딩
자기지도 학습 음성 인식 모델(S3Ms)이 성별, 연령, 인종 등 다양한 화자 그룹 정보를 어떻게 인코딩하는지 분석한 연구입니다. 미세 조정 방식에 따라 음성학적 또는 의미론적 정보의 유지 여부가 달라짐을 밝히고, 공정성 향상 알고리즘의 영향을 조사했습니다.
6월 10일0
arXivAI 번역논문
SPARX: Edge RISC-V SoC를 활용한 보안 및 개인정보 보호 인지형 근사 CNN 가속화
SPARX는 RISC-V SoC 기반의 보안 및 개인정보 보호 인지형 근사 CNN 가속화 프레임워크를 제안합니다. 근사 컴퓨팅을 통해 하드웨어 효율성을 높이면서도, 차분 노이즈 기반 개인정보 보호와 인증 메커니즘을 통합하여 엣지 AI의 보안 제약을 해결합니다.
6월 10일1
arXivAI 번역논문
우리는 지식을 평가하는가, 아니면 표현 방식을 평가하는가? ParaEval을 통한 MCQA 민감도 완화
MCQA 벤치마크가 정답의 표현 방식에 민감하게 반응하여 모델의 실제 능력을 왜곡하는 문제를 지적합니다. 이를 해결하기 위해 패러프레이즈를 활용하여 성능 격차를 줄이는 새로운 평가 프레임워크 ParaEval을 제안합니다.
6월 10일0