Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv cs.CL (NLP) 1801건필터 해제
arXiv논문
PersonaTree: LLM 에이전트의 인물 이해를 위한 구조화된 라이프사이클 메모리
PersonaTree는 LLM 에이전트가 상호작용을 통해 인물에 대한 이해를 형성하는 과정을 구조화된 메모리 프레임워크로 구현합니다. 상황적 증거를 재사용 가능한 패턴과 인물 수준의 주장으로 추상화하는 3단계 트리 구조를 제안합니다.
6월 4일0
arXiv논문
K-12 교육에서의 대규모 언어 모델 (LLMs): 주 교육과정 표준 및 학생 페르소나와의 정렬
LLM이 미국의 주별 교육과정 표준 및 다양한 학생 페르소나에 얼마나 잘 정렬되어 있는지 평가한 연구입니다. 모델이 학년 수준에는 잘 적응하지만, 주별 교육과정의 미세한 차이는 정치적 성향에 따라 왜곡될 수 있음을 발견했습니다.
6월 4일0
arXiv논문
MusaCoder: Moore Threads GPU에서의 풀스택 학습을 통한 네이티브 GPU 커널 생성
MusaCoder는 Moore Threads GPU 환경에서 효율적인 네이티브 GPU 커널을 생성하기 위한 풀스택 학습 프레임워크입니다. 데이터 합성, 거부 미세 조정, 실행 피드백 강화학습을 결합하여 기존 LLM의 커널 생성 한계를 극복했습니다.
6월 4일0
arXiv논문
에이전트 계획 벤치마크: LLM 에이전트의 계획 능력 진단을 위한 프레임워크
LLM 에이전트의 계획 능력을 정밀하게 진단하기 위한 새로운 벤치마크인 APB를 소개합니다. 기존의 단순 성공 여부 판별을 넘어, 계획 단계의 오류와 실행 단계의 오류를 구분하여 분석할 수 있는 프레임워크를 제공합니다.
6월 4일0
arXiv논문
Lean에서의 에이전트 기반 정리 증명기(Agentic Theorem Provers)의 비용-품질 트레이드오프 최적화
Lean 환경에서 에이전트 기반 정리 증명기의 비용과 품질 간 트레이드오프를 최적화하는 연구를 소개합니다. 액션 라우팅 에이전트를 통해 불필요한 컴퓨팅 자원 소모를 줄이고 효율적인 증명 경로를 탐색합니다.
6월 4일0
arXiv논문
GRAIL: 검증 가능한 보상을 활용한 강화학습을 위한 그래디언트 재가중치 적용 어드밴티지 (Gradient-Reweighted
GRAIL은 강화학습 시 모든 토큰에 동일한 가중치를 부여하는 기존 방식의 한계를 극복하기 위해 제안된 새로운 그래디언트 재가중치 방법입니다. 그래디언트 활성화 돌출도를 활용하여 추론에 핵심적인 토큰에 더 높은 가중치를 부여함으로써, 프로세스 보상 모델 없이도 모델의 수학적 추론 능력을 향상시킵니다.
6월 4일0
arXiv논문
BEATS: 반복적인 인간-AI 협업을 통한 검색용 이커머스 속성 분류 체계 구축
이커머스 플랫폼의 검색 품질을 높이기 위해 인간과 LLM이 협업하는 BEATS 프레임워크를 제안합니다. 다단계 생성 파이프라인과 인간의 피드백을 반복적으로 적용하여 정교한 상품 속성 분류 체계를 구축합니다.
6월 4일0
arXiv논문
Caliper: LLM에서의 어휘적 앵커(Lexical Anchors)와 인과 구조(Causal Structure) 탐색
LLM이 인과 추론 시 구조적 논리가 아닌 어휘적 패턴 매칭에 의존하는지 검증하는 Caliper 방법론을 소개합니다. 실험 결과, 변수 이름을 익명화했을 때 모델의 성능이 급격히 하락하여 현재 LLM이 진정한 인과적 구조를 이해하지 못함을 시사합니다.
6월 4일0
arXiv논문
BreastGPT: 유방암 임상 루틴의 전 과정을 위한 멀티모달 거대 언어 모델 (Multimodal Large Language Model)
유방암 임상 워크플로우 전 과정을 지원하는 멀티모달 거대 언어 모델인 BreastGPT를 제안합니다. 5가지 영상 양식과 136개 작업 템플릿을 포함하는 BreastStage 코퍼스와 벤치마크를 통해 임상 추론 능력을 입증했습니다.
6월 4일0
arXiv논문
양방향 경사 최적화를 통한 대규모 언어 모델(LLM)의 데이터 기여도 산정
양방향 경사 최적화를 활용하여 LLM의 출력에 대한 학습 데이터의 기여도를 산정하는 새로운 방법론을 제안합니다. 경사 상승법과 하강법을 통해 모델을 섭동시켜 데이터의 사실적 및 스타일적 기여도를 측정하며, 기존 방식보다 뛰어난 해석 가능성을 제공합니다.
6월 4일0
arXiv논문
크라우드소싱은 LLM 시대에 살아남을 수 있을까? 인간 데이터 수집에 관한 커뮤니티 조사
LLM의 확산으로 인해 크라우드소싱 데이터의 유효성이 위협받는 상황을 연구자 155명을 대상으로 조사했습니다. 응답자의 44%가 데이터 수집 과정에서 LLM 사용을 목격했으며, 현재의 탐지 전략과 대응책이 여전히 불충분함을 시사합니다.
6월 4일0
arXiv논문
SemBlock: Diffusion LLM을 위한 의미적 경계 기반 동적 블록
Diffusion LLM의 효율성을 높이기 위해 의미적 경계를 기반으로 동적 블록을 생성하는 SemBlock 프레임워크를 제안합니다. 고정된 블록 대신 의미적 경계를 예측하여 디코딩 성능을 최적화하며, 다양한 벤치마크에서 기존 방식보다 우수한 성능을 입증했습니다.
6월 4일0
arXiv논문
LLM의 위험 결정에서 결과 수준의 유사성과 메커니즘 수준의 정렬 탐구: St. Petersburg Game을 통한 증거
LLM이 위험 결정 과업에서 인간과 유사한 결과를 내더라도, 실제 의사결정 메커니즘은 인간과 다를 수 있음을 St. Petersburg game 실험을 통해 증명했습니다. 연구 결과, 표면적인 행동 정렬이 내부적인 메커니즘 정렬을 보장하지 않으므로 고위험 평가 시 메커니즘 수준의 검토가 필요함을 강조합니다.
6월 4일0
arXiv논문
SAID: 스캐폴드 인식 반복 디코딩 (Scaffold-Aware Iterative Decoding)을 통한 확산 기반 언어 모델
확산 기반 언어 모델(DLLM)의 높은 추론 비용 문제를 해결하기 위해 스캐폴드 인식 반복 디코딩(SAID) 프레임워크를 제안합니다. 스캐폴드 토큰에 계산량을 우선 할당하여 구조를 잡은 뒤 세부 토큰을 완성함으로써, 성능 저하 없이 추론 속도를 최대 9.1배 가속화합니다.
6월 4일0
arXiv논문
GARL: 다중 에이전트 전략적 우선순위 결정을 위한 게임 이론 기반 강화학습
GARL은 다중 에이전트 시스템의 전략적 의사결정을 위해 게임 이론을 결합한 강화학습 프레임워크입니다. 에이전트 간의 자원 할당과 중재 과정을 2단계 게임으로 공식화하여 정책 최적화를 유도합니다. 법률 도메인 실험을 통해 소규모 오픈 소스 LLM이 폐쇄형 모델과 경쟁할 수 있음을 입증했습니다.
6월 4일0
arXiv논문
Depth-Attention: 언어 모델을 위한 계층 간 가치 혼합 (Cross-Layer Value Mixing)
Transformer의 계층 간 정보 재사용 문제를 해결하기 위해 Attention 모듈 내부에서 이전 계층의 값을 혼합하는 Depth-Attention 기법을 제안합니다. 추가적인 파라미터나 추론 캐시 비용 없이도 모델의 정확도를 높이고 Perplexity를 낮추는 효과를 입증했습니다.
6월 4일0
arXiv논문
TaDA: 태스크-도메인 LoRA 병합을 위한 보정된 프로브 게이팅 (Calibrated Probe Gating)
TaDA는 태스크와 도메인 LoRA 어댑터를 효율적으로 결합하는 새로운 훈련 불필요 알고리즘입니다. 레이어 깊이에 따른 비대칭성을 활용한 게이팅과 서브스페이스 인식 병합을 통해 추론 오버헤드 없이 높은 성능을 구현합니다.
6월 4일0
arXiv논문
파운데이션 모델 (Foundation Model) 연구의 타당성 위협
파운데이션 모델 연구 시 비용 절감을 위해 사용하는 프록시 실험, 스케일링 법칙, 관찰 연구 등의 전략이 초래하는 타당성 위협을 분석합니다. 인과 추론 프레임워크를 통해 각 연구 전략이 가진 통계적, 내부, 외부, 구성 타당성의 한계를 규명합니다.
6월 4일0
arXiv논문
강건한 추론 체인 수리를 위한 대규모 언어 모델의 양방향 논리 주입
LLM의 단방향 CoT 추론에서 발생하는 오류 누적 문제를 해결하기 위해 양방향 논리 주입 프레임워크인 TRI를 제안합니다. 중간 채우기(FIM) 방식을 활용하여 오류 구간을 논리적으로 재구성함으로써 추론의 강건성을 높입니다.
6월 4일0
arXiv논문
인컨텍스트 그래피컬 추론 (In-Context Graphical Inference)
이산 그래피컬 모델의 추론 성능과 확장성 문제를 해결하기 위해 자기회귀 Graph Transformer인 ICG-I를 제안합니다. Tensor-Train 압축과 가중 콘포멀 예측(WCP)을 결합하여 정확도와 수렴성을 동시에 확보했습니다.
6월 4일0