Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
마스크 확산 언어 모델 (Masked Diffusion Language Models)을 위한 머신 언러닝 (Machine Unlearning)
본 논문은 LLaDA 및 Dream과 같은 마스크 확산 언어 모델(MDLMs)을 위한 최초의 머신 언러닝 프레임워크인 MDU(Masked Diffusion Unlearning)를 제안합니다. MDU는 확산 관점에서 지식 학습 과정을 재검토하여, 온도 스케일링을 통해 프라이버시와 유용성 사이의 균형을 조절하며 특정 지식을 효과적으로 제거합니다. 실험 결과, MDU는 기존 LLM 언러닝 방식보다 뛰어난 성능을 입증했습니다.
5월 19일1
arXivAI 번역논문
CodeBind: 통합 구성 코드북을 통한 멀티모달 정렬을 위한 분리된 표현 학습
CodeBind는 멀티모달 표현 정렬 시 발생하는 데이터 부족과 모달리티 간 불일치 문제를 해결하기 위해 제안된 새로운 프레임워크입니다. 공유 구성 요소와 모달리티 특화 구성 요소로 분리된 코드북 설계를 통해, 완전한 쌍을 이룬 데이터 없이도 다양한 모달리티를 효과적으로 정렬합니다. 9가지 다양한 모달리티에 대해 검증되었으며, 멀티모달 분류 및 검색 작업에서 최첨단 성능을 보여줍니다.
5월 19일1
arXivAI 번역논문
SD-Search: 검색 증강 추론을 위한 온폴리시(On-Policy) 사후 시각 자기 증류(Hindsight Self-Distillation)
SD-Search는 외부 교사 모델이나 추가적인 주석 없이도 검색 증강 추론(Search-augmented reasoning) 에이전트의 성능을 높이는 온폴리시 사후 시각 자기 증류 기법을 제안합니다. 단일 모델이 롤아웃의 결과를 요약하는 교사 역할과 컨텍스트만 보는 학생 역할을 동시에 수행하며, 이를 통해 거친 궤적 보상을 조밀한 단계별 신호로 변환하여 학습 효율을 극대화합니다.
5월 19일0
arXivAI 번역논문
지식에서 검증으로: 지식 집약적 도메인에서의 LLM을 위한 RLVR 탐색
본 연구는 수학이나 코딩을 넘어 지식 집약적 도메인에서 LLM의 추론 능력을 향상시키기 위한 RLVR(검증 가능한 보상을 활용한 강화학습) 프레임워크인 K2V를 제안합니다. K2V는 자동화된 데이터 합성 기술을 통해 고품질 데이터를 확보하고, 최종 정답뿐만 아니라 추론 과정 자체를 검증함으로써 기존 RLVR의 한계를 극복합니다.
5월 19일1
arXivAI 번역논문
Infini-News: 13억 개의 처리된 Common Crawl 뉴스 기사에 대한 효율적인 쿼리 가능 접근 방식
Infini-News는 13억 개 이상의 Common Crawl 뉴스 기사를 효율적으로 검색하고 분석할 수 있도록 설계된 새로운 툴킷이자 인덱스입니다. 텍스트 정제, 언어 감지, 지리적 귀속 정보를 포함한 풍부한 메타데이터를 제공하며, Suffix-array 기반의 Infini-gram 인덱스를 통해 대규모 아카이브 내 텍스트 패턴을 1초 미만으로 검색할 수 있습니다.
5월 19일1
arXivAI 번역논문
조건문에서의 전제와 추론: 인간과 LLM에 대한 이론 기반 연구
본 연구는 조건문에서의 전제 투영(Presupposition projection) 능력을 바탕으로 인간과 LLM의 추론 방식을 비교 분석합니다. 실험 결과, 인간은 확률적 및 화용적 단서를 통합하여 판단하는 반면, LLM은 화용적 역량보다는 표면적인 패턴 매칭에 의존하는 경향을 보였습니다.
5월 19일1
arXivAI 번역논문
EvoMemBench: 자기 진화적 관점에서의 에이전트 메모리 벤치마킹
LLM 에이전트의 핵심 요소인 메모리 능력을 평가하기 위해 자기 진화적 관점에서 설계된 통합 벤치마크 EvoMemBench를 제안합니다. 이 벤치마크는 메모리 범위와 내용이라는 두 가지 축을 기준으로 에이전트의 정보 저장, 업데이트 및 검색 능력을 체계적으로 분석합니다. 연구 결과, 현재의 메모리 시스템은 작업 유형에 따라 성능 차이가 크며 단일 솔루션으로 모든 상황을 해결하기 어렵다는 점을 시사합니다.
5월 19일1
arXivAI 번역논문
잠재적 시각적 추론 (Latent Visual Reasoning)을 가로막는 장애물은 무엇인가?
본 연구는 시각-언어 모델(VLM)이 중간 시각적 단계를 시뮬레이션하는 '잠재적 시각적 추론' 과정에서 겪는 한계를 분석합니다. 실험 결과, 현재 모델들은 잠재 토큰을 인과적으로 활용하지 못하고 있으며, 이는 정보가 부족한 데이터셋과 추론 시 발생하는 잠재 토큰의 표현 붕괴(collapsing) 현상 때문인 것으로 밝혀졌습니다.
5월 19일1
arXivAI 번역논문
BERT에서 T5까지: 개체명 인식 (NER)에 관한 연구
본 보고서는 BERT와 T5 모델을 활용하여 개체명 인식(NER) 작업을 수행하고 두 아키텍처의 성능을 비교 분석합니다. BERT는 인코더 전용 구조와 분류 헤드를 사용하고, T5는 시퀀스 투 시퀀스 구조와 퓨샷 프롬프트를 활용하여 미세 조정을 진행했습니다. 다양한 하이퍼파라미터 절제 연구와 성능 지표 분석을 통해 각 모델의 특성과 오류 패턴에 대한 통찰을 제공합니다.
5월 19일0
arXivAI 번역논문
Prompt2Fingerprint: 텍스트-가중치 생성을 통한 플러그 앤 플레이 (Plug-and-Play) LLM 핑거프린팅
Prompt2Fingerprint(P2F)는 텍스트 설명을 통해 LLM의 식별 신호를 생성하는 새로운 핑거프린팅 프레임워크입니다. 기존의 미세 조정 방식과 달리 추가적인 재학습 없이 단 한 번의 순전파만으로 저차원 파라미터 증분을 생성하여 모델 출처를 추적할 수 있습니다. 이를 통해 계산 비용을 획기적으로 줄이면서도 높은 정확도와 강건성을 유지하며 모델 소유권을 관리할 수 있습니다.
5월 19일1
arXivAI 번역논문
Vector RAG vs LLM-Compiled Wiki: 소규모 다중 도메인 연구에 대한 사전 등록된 비교
소규모 다중 도메인 연구 코퍼스를 대상으로 Vector RAG와 LLM이 컴파일한 마크다운 위키 방식의 성능을 비교 분석했습니다. 연구 결과, 위키 방식은 논문 간 내용 연결과 인용 정확도 측면에서 우수했으나, RAG는 단일 사실 조회와 비용 효율성 측면에서 강점을 보였습니다.
5월 19일1
arXivAI 번역논문
고대 그리스어에서 현대 그리스어로의 기계 번역: LLM 및 NMT 모델에 대한 새로운 벤치마크와 미세 조정 실험
고대 그리스어에서 현대 그리스어로의 번역을 위한 새로운 병렬 코퍼스인 AG-MG를 소개하며, 데이터 부족 문제를 해결하기 위한 새로운 데이터 생성 파이프라인을 제시합니다. NMT 모델과 LLM을 대상으로 한 미세 조정 실험을 통해, Llama-Krikri-8B의 전체 파라미터 미세 조정이 가장 높은 성능을 기록함을 입증했습니다.
5월 19일1
arXivAI 번역논문
암시적 계층적 GRPO: 도구 통합 수학적 추론을 위한 도구 호출과 실행의 분리
본 논문은 LLM의 추론 성능을 높이기 위해 도구 호출과 실행을 분리하는 '도구 통합 추론(TIR)' 개념을 제안합니다. 기존의 즉각적인 도구 상호작용이 추론의 일관성을 해치는 문제를 해결하기 위해 지연 실행과 계층적 제어 프레임워크를 도입한 IH-GRPO 알고리즘을 개발했습니다. 실험 결과, Qwen3 모델 시리즈를 대상으로 다양한 수학적 추론 벤치마크에서 유의미한 성능 향상을 입증했습니다.
5월 19일1
arXivAI 번역논문
찾는 것보다 판단하는 것이 더 쉽다: 예시 선택을 위한 인컨텍스트 학습(In-Context Learning) 성공 예측
인컨텍스트 학습(ICL)에서 최적의 예시를 찾는 비용을 줄이기 위해, 예시를 찾는 것보다 성공 여부를 판단하는 것이 더 효율적이라는 가설을 바탕으로 DiSP 프레임워크를 제안합니다. DiSP는 쿼리 난이도를 예측하고 샘플링된 예시의 성공률을 판단하는 방식을 통해, 기존 방식 대비 정확도를 높이면서도 추론 속도를 최대 23배까지 개선했습니다.
5월 19일1
arXivAI 번역논문
연속적 확산 모델(Continuous Diffusion)이 언어 모델링에서 이산적 확산 모델(Discrete Diffusion)과 경쟁할 수
연속적 확산 모델(Continuous Diffusion)이 이산적 접근 방식에 비해 확장성이 낮다는 기존의 통념을 깨고, RePlaid를 통해 이산적 DLM과 경쟁 가능한 수준의 성능을 입증했습니다. RePlaid는 자기회귀 모델과의 연산 격차를 20배로 줄였으며, OpenWebText 벤치마크에서 연속적 DLM 중 최첨단(SOTA) PPL을 달성했습니다. 또한 노이즈 스케줄 최적화를 통해 디노이징 난이도를 균등하게 분산시키는 이론적 통찰을 제시합니다.
5월 19일1
arXivAI 번역논문
STT-Arena: 시공간적 역동성(Spatio-Temporal Dynamics)을 갖춘 도구 사용을 위한 더욱 현실적인 환경
STT-Arena는 LLM 에이전트가 시공간적 역동성(spatio-temporal dynamics)이 존재하는 환경에서 변화를 감지하고 재계획(replanning)할 수 있는 능력을 평가하기 위해 설계된 새로운 벤치마크입니다. 기존 SOTA 모델들이 시공간적 충돌 상황에서 낮은 정확도를 보인다는 점을 발견하고, 이를 해결하기 위해 반복적 궤적 정제 기술과 온라인 강화학습을 결합한 STT-Agent-4B를 제안합니다.
5월 19일0
arXivAI 번역논문
내부 독백 모니터링: 프로브 궤적을 통한 추론 역학의 규명
대규모 추론 모델(LRM)의 사고의 사슬(CoT)이 최종 출력과 일치하지 않을 수 있는 문제를 해결하기 위해, 모델의 숨겨진 표현을 통한 '프로브 궤적(probe trajectory)' 분석 방법을 제안합니다. 각 토큰 생성 시점의 개념 확률 변화를 신호 처리 특징으로 추출하여 미래의 모델 행동을 예측함으로써, 단일 시점 예측보다 높은 성능으로 모델의 상태를 모니터링할 수 있음을 입증했습니다.
5월 19일1
arXivAI 번역논문
LongMINT: 다중 목표 간섭 환경에서의 장기적 에이전트 시스템 메모리 평가
LongMINT는 정보가 빈번하게 업데이트되고 메모리 간 간섭이 발생하는 동적인 장기적 환경에서 에이전트의 메모리 능력을 평가하기 위한 새로운 벤치마크입니다. 기존 벤치마크가 정적인 회상에 집중하는 것과 달리, LongMINT는 다중 목표 집계 추론과 도메인 일반화 능력을 측정합니다. 연구 결과, 현재의 LLM과 RAG 시스템은 정보 업데이트가 잦아질수록 이전 사실을 정확히 회상하고 추론하는 데 큰 어려움을 겪는 것으로 나타났습니다.
5월 19일1
arXivAI 번역논문
과도하게 의욕적인 코딩 에이전트: 무해한 작업에서의 범위를 벗어난 행동 측정
코딩 에이전트가 사용자의 요청 범위를 넘어 무해한 작업을 수행하는 '과도하게 의욕적인 행동(overeager actions)' 문제를 정의하고, 이를 측정하기 위한 벤치마크인 OverEager-Gen을 제안합니다. 연구 결과, 에이전트의 프레임워크 설계와 동의 절차 유무가 이러한 행동의 빈도에 결정적인 영향을 미친다는 사실을 밝혀냈습니다.
5월 19일1
arXivAI 번역논문
GUT-IS: 정보 시스템(IS)에서 구성 개념과 그 관계를 통합하기 위한 데이터 기반 접근 방식
정보 시스템(IS) 연구에서 일관되지 않은 구성 개념(construct) 정의 문제를 해결하기 위해, 텍스트 임베딩과 클러스터링을 활용한 데이터 기반 통합 접근 방식을 제안합니다. 의미론적 순도와 모델의 간결성 사이의 절충을 최적화하는 손실 함수를 통해 최적의 구성 개념 그룹화 솔루션을 도출합니다.
5월 19일0