Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXiv논문
매끄러운 스케일링 법칙(Scaling Laws)에 숨겨진 단계별 토큰 학습
언어 모델의 스케일링 법칙이 발생하는 원인을 토큰 수준의 학습 이벤트로 분석한 연구입니다. 토큰 학습이 특정 시점에 집중되는 '학습 시간 스펙트럼'이 스케일링 법칙의 형태를 결정함을 입증했습니다.
6월 30일0
arXiv논문
자연어 처리(NLP) 분야에서 알고리즘 언급 동기에 대한 탐색: 딥러닝 접근 방식
NLP 논문에서 알고리즘이 언급되는 동기(설명, 사용, 비교, 개선)를 식별하고 분석하는 문장 수준의 프레임워크를 제안합니다. 딥러닝 모델을 통해 알고리즘 언급 패턴의 시간적 진화와 유형별 특징을 규명했습니다.
6월 30일0
arXiv논문
KbSD: 에이전트 검색의 행동 교정을 위한 지식 경계 인식 자기 증류 (Knowledge Boundary aware
에이전트 검색 시 발생하는 보상 희소성 문제를 해결하기 위해 지식 경계 인식 자기 증류(KbSD) 프레임워크를 제안합니다. 토큰 수준의 밀집 감독과 사분면 적응형 최적화를 통해 모델이 파라미터 메모리와 검색 결과 사이에서 최적의 결정을 내리도록 돕습니다.
6월 30일0
arXiv논문
중국 문헌정보학(LIS) 분야의 신규성 진화 양상 규명
중국 문헌정보학(LIS) 분야의 학술 논문 신규성 진화 양상을 분석한 연구입니다. BERTopic과 조합적 혁신 이론을 활용하여 주제별 신규성 차이와 저자 협업 패턴 간의 상관관계를 규명했습니다.
6월 30일0
arXiv논문
ARKD: 텍스트 생성을 위한 적응형 강화학습 유도 양방향 KL 발산 증류 (Adaptive Reinforcement
지식 증류 과정에서 발생하는 주요 분포와 롱테일 확률 모델링 간의 불균형을 해결하기 위한 새로운 프레임워크를 제안합니다. 강화학습을 통해 FKL과 RKL의 가중치를 동적으로 조절하여 생성 품질과 일반화 성능을 동시에 향상시킵니다.
6월 30일0
arXiv논문
임상 추론 그래프: LLM 진단 추론의 구조적 평가를 통해 드러난 일관성 없는 역량
LLM의 임상 진단 정확도와 실제 추론 과정의 구조적 일관성 사이의 괴리를 분석한 연구입니다. 임상 추론 그래프를 통해 모델이 유사한 사례에 대해 일관된 추론 패턴을 보이는지 평가한 결과, 정확도와 별개로 구조적 일관성이 부족함을 확인했습니다.
6월 30일0
arXiv논문
SABER-Math: 수학 분야 정보 검색 (IR) 평가를 위한 자동화된 벤치마크
수학적 정보 검색(IR) 성능을 평가하기 위한 최초의 완전 자동화된 벤치마크인 SABER-Math를 소개합니다. LLM을 활용해 수학적 관련성을 정밀하게 측정하며, 기존 범용 벤치마크가 수학적 특수성을 반영하지 못하는 한계를 극복하고자 합니다.
6월 30일0
arXiv논문
Mamba의 타임스텝(Timesteps)은 인간의 읽기 시간과 일치한다
Mamba 모델의 단어당 처리 시간인 이산화 타임스텝($Δ_t$)이 인간의 실제 읽기 시간과 밀접하게 일치함을 입증한 연구입니다. Mamba의 내부 역학을 통해 인간의 실시간 언어 처리 과정을 분석할 수 있는 새로운 관점을 제시합니다.
6월 30일0
arXiv논문
에이전트 시나리오에서 LLM-as-a-Judge가 루브릭(Rubric)을 신뢰성 있게 검증할 수 있는가?
에이전트 시나리오에서 LLM-as-a-Judge(LaaJ)가 루브릭을 얼마나 신뢰성 있게 검증할 수 있는지 분석한 연구입니다. 새로운 벤치마크인 RuVerBench를 통해 최신 LLM들의 성능을 평가하고, 프롬프트 디자인 및 다수결 투표 등 주요 전략의 효과를 검증했습니다.
6월 30일0
arXiv논문
MemDelta: 에이전트 메모리 평가에서의 통제된 베이스라인 및 숨겨진 혼란 변수
에이전트 메모리 평가 시 발생하는 혼란 변수를 통제하기 위한 새로운 프로토콜인 MemDelta를 제안합니다. 실험을 통해 임베딩 모델이나 LLM의 변화가 메모리 성능 평가 결과에 결정적인 영향을 미칠 수 있음을 입증했습니다.
6월 30일0
arXiv논문
정렬 역학(Alignment Dynamics)에 대한 물리적 직관을 향하여: 무작위 결정화(Randomness Crystallization)
언어 모델의 정렬(Alignment) 과정을 열역학적 상전이 이론인 '결정화' 관점에서 분석한 연구입니다. 사후 학습 중 모델의 행동 변화를 고엔트로피 액체, 핵 생성, 안정화의 세 단계로 정의하여 정렬 역학에 대한 물리적 직관을 제공합니다.
6월 30일0
arXiv논문
LatentRevise: Zero-Hit 추론으로부터의 학습
RLVR 학습 시 정답을 찾지 못하는 '제로 히트' 프롬프트 문제를 해결하기 위한 LatentRevise 방법을 제안합니다. 실패한 롤아웃과 정답을 활용해 입력 임베딩을 최적화함으로써 학습 신호를 복구합니다. 이를 통해 수학 벤치마크에서 SFT 및 RLVR 성능을 향상시켰습니다.
6월 30일0
arXiv논문
가져오기 전에 알기: 검색 증강 생성(RAG)을 위한 보정된 검색 예산 할당
RAG 시스템에서 쿼리마다 검색할 구절의 수를 동적으로 결정하는 '보정된 검색 예산 할당' 연구를 소개합니다. 확률 인터페이스를 통해 불확실성을 정답 확률로 보정하여, 효율적인 컨텍스트 선택과 지연 시간 및 토큰 비용 최적화를 달성합니다.
6월 30일0
arXiv논문
IHDec: 다중 턴 지시 계층 (Instruction Hierarchies) 보안을 위한 발산 유도 대조 디코딩
LLM이 다중 턴 대화에서 지시 계층(Instruction Hierarchies)을 유지하지 못하는 문제를 해결하기 위한 IHDec를 제안합니다. JSD 프레임워크를 활용해 별도의 미세 조정 없이도 토큰 수준에서 계층 위반을 감지하고 대조 디코딩을 통해 이를 교정합니다.
6월 30일0
arXiv논문
우리는 전략을 측정하고 있는가, 아니면 표현 방식을 측정하고 있는가? LLM 수학적 추론에서 표면적 다양성과 접근 방식 수준 다양성 사이의 간극
LLM의 수학적 추론 시 표면적 변이와 실제 전략적 차이(접근 방식 수준의 다양성) 사이의 간극을 분석한 연구입니다. 기존 다양성 지표가 실제 추론 전략을 반영하지 못함을 밝히고, 이를 개선하기 위한 과제를 제시합니다.
6월 30일0
arXiv논문
LLM 에이전트는 잠재적 컨텍스트 관리자이다: 자기 관리형 컨텍스트를 이끌어내는 고유 수용적 대시보드
LLM 에이전트의 컨텍스트 관리 한계를 해결하기 위해, 모델의 내부 상태를 시각화하고 관리하는 VISTA 프레임워크를 제안합니다. VISTA는 학습 없이도 작업 기억을 블록 단위로 관리하여 Gemini 등 다양한 모델의 성능을 크게 향상시킵니다.
6월 30일0
arXiv논문
노드-이웃 간 의미론적 일관성: TAG 이상 탐지를 위한 텍스트-위상 정렬
텍스트 속성 그래프(TAG)에서 노드와 이웃 간의 의미론적 불일치를 탐지하는 N2NSC 프레임워크를 제안합니다. LLM과 그래프 위상 정보를 결합하여 텍스트 의미론과 구조적 관계 사이의 대응 관계를 효과적으로 포착합니다.
6월 30일0
arXiv논문
매개변수적 기술 (Parametric Skills)
텍스트 형태의 기술 지침을 LoRA 어댑터로 변환하여 모델의 매개변수에 직접 인코딩하는 ParametricSkills 프레임워크를 제안합니다. 이를 통해 긴 문맥에서도 기술을 효율적으로 활용하며, 인컨텍스트 학습보다 높은 성능과 지속 학습의 가능성을 보여줍니다.
6월 30일0
arXiv논문
완전한 인간은 아닌 취향: LLM 설문 대리인의 정형화된 잡식성
LLM이 대중의 문화적 취향을 모사할 때 발생하는 편향과 한계를 분석한 연구입니다. OpenAI, Anthropic, DeepSeek 모델을 활용해 생성된 '실리콘 대리인'이 인간의 실제 취향 구조를 정형화된 방식으로 왜곡함을 증명했습니다.
6월 30일0
arXiv논문
작은 두뇌, 큰 업적: 소형 언어 모델(Compact Language Models) 탐구
본 연구는 RAG 시스템 내 생성 단계에서 소형 언어 모델(SLM)의 성능과 효용성을 조사합니다. 다양한 데이터셋을 통한 벤치마킹 결과, SLM 기반 RAG 시스템이 GPU 없이 온디바이스 환경에서도 효율적으로 실행될 수 있음을 입증했습니다.
6월 30일0