Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
FocuSFT: 희석 인식(Dilution-Aware)을 위한 이중 레벨 최적화 기반 장문 컨텍스트 파인튜닝
본 논문은 LLM이 긴 컨텍스트에 걸쳐 분산된 정보를 효과적으로 활용하는 데 어려움을 겪는 문제(어텐션 희석)를 해결하기 위해 FocuSFT라는 새로운 이중 레벨 최적화 프레임워크를 제안합니다. FocuSFT는 내부 루프에서 관련 콘텐츠에 주의를 집중시키는 매개변수 메모리를 형성하고, 외부 루프에서 이를 조건으로 SFT를 수행하여 모델의 장문 컨텍스트 능력을 향상시킵니다. 이 방법은 다양한 벤치마크에서 높은 정확도 개선을 보여주었습니다.
5월 12일7
arXivAI 번역논문
TRACER: 멀티모달 도구 사용 에이전트를 위한 검증 가능한 생성적 출처 추적
TRACER는 멀티모달 LLM 에이전트가 외부 도구를 사용하여 추론할 때 발생하는 '출처 추적 격차' 문제를 해결하기 위해 설계된 검증 가능한 생성적 출처 추적 프레임워크입니다. 기존 시스템은 최종 결과만 제공하여 주장의 근거를 명확히 알기 어려웠으나, TRACER는 각 답변 문장이 어떤 도구 턴과 증거 단위에 의해 직접적으로 지지되는지를 구조화된 기록으로 제시합니다. 이를 통해 생성 과정의 신뢰성을 높이고, 추적 가능성 제약 조건 및 강화학습(RL)을 위한 출처 기반 크레딧으로 활용할 수 있습니다.
5월 12일5
arXivAI 번역논문
다수결 투표를 넘어서: 주관적 NLP 작업에서 어노테이터 관점을 모델링하기 위한 합의 기반 클러스터링
본 논문은 NLP 데이터셋 개발 과정에서 발생하는 어노테이션 불일치를 모델링하기 위한 '합의 기반 클러스터링(agreement-based clustering)' 기법을 제안합니다. 기존의 다수결 투표 방식의 한계를 극복하고, 개별 어노테이터의 다양한 관점을 효과적으로 활용하는 것이 목표입니다. 감성 분석, 감정 분류 등 주관적 NLP 작업을 포괄하여 40개 데이터셋에서 실험한 결과, 이 클러스터링 기법이 기존 방법들보다 분류 성능을 크게 향상시킬 수 있음을 입증했습니다.
5월 12일4
arXivAI 번역논문
G-Zero: 제로 데이터로부터의 개방형 생성(Open-Ended Generation)을 위한 자가 플레이(Self-Play)
G-Zero는 자가 플레이(Self-Play) 메커니즘을 활용하여 외부 심판이나 프록시 모델의 한계에서 벗어난, 개방형 작업 환경에서의 대규모 언어 모델(LLMs) 자체 진화를 목표로 하는 공진화적 프레임워크입니다. 핵심 혁신인 Hint-$δ$는 생성기 응답과 스스로 만든 힌트에 조건화된 응답 간의 예측 변화량을 정량화하여 내재적 보상으로 사용합니다. 이 시스템은 제안자 모델이 도전적인 질의와 정보성 힌트를 합성하며, 생성기는 이를 통해 지속적으로 개선되어 LLM 자체 진화를 가능하게 합니다.
5월 12일5
arXivAI 번역논문
진실은 생성된 토큰 어딘가에 있다
본 논문은 자기회귀적으로 생성된 언어 모델의 은닉 상태를 효과적인 표현으로 축소하는 방법을 제시합니다. 연구진은 인과 마스킹 하에서도 평균 풀링(mean pooling)이 개별 토큰 사용보다 더 풍부한 의미론적 정보를 제공함을 발견했습니다. 또한, 이 방법론을 통해 생성된 토큰 전반에 걸친 정렬을 분석하여 모델의 해석 가능한 역동성을 밝히고, 프롬프트 기반 표현보다 우수한 성능을 입증합니다.
5월 12일8
arXivAI 번역논문
GLiNER2-PII: 개인 식별 정보 추출을 위한 다국어 모델
본 논문은 개인 식별 정보(PII) 추출의 어려움(이질적, 지역 의존적, 문맥 민감성 등)을 해결하기 위해 GLiNER2를 기반으로 개발된 소규모 다국어 모델인 GLiNER2-PII를 소개합니다. 이 모델은 42가지 광범위한 PII 개체 유형을 문자-스팬 해상도에서 인식하도록 설계되었습니다. 연구진은 주석 데이터 부족 문제를 해결하기 위해 제약 기반 생성 파이프라인으로 다국어 합성 코퍼스를 구축했으며, 까다로운 SPY 벤치마크에서 최고 성능을 달성하여 오픈 소스로 공개했습니다.
5월 12일3
arXivAI 번역논문
대역폭 예산 하의 연합 언어 모델: 증류율 및 공형 커버리지
본 논문은 데이터가 분산되어 있고 중앙 집중화할 수 없는 환경에서 대역폭 제한 하에 연합 언어 모델(Federated Language Models)을 훈련하는 이론적 한계를 탐구합니다. 연구진은 명시적인 '대역폭 예산'을 최상위 통계 매개변수로 사용하여, 기존 연구가 다루지 않았던 새로운 분석 도구인 FPLD와 FC-RAG 프로토콜을 제시했습니다. 주요 결과는 노드 수, 샘플 크기, 양자화 및 검색 대역폭에 동시에 의존하는 KL-일관성 비율과 분포 비의존적 주변 커버리지 경계를 제공하며, 이는 대역폭 제약이 모델 성능에 미치는 영향을 수학적으로 정량화합니다.
5월 12일3
arXivAI 번역논문
Merlin: 대규모 언어 모델 추론에서 손실 없는 컨텍스트 최적화를 위한 결정론적 바이트 단위 중복 제거
Merlin은 대규모 데이터셋에서 발생하는 고질적인 중복성 문제를 해결하기 위해 설계된 로컬 우선의 컨텍스트 최적화 엔진입니다. 이 시스템은 SIMD 친화적인 해시 세트와 xxHash3-64를 결합하여 텍스트 구절과 데이터 청크에 대해 빠르고 바이트 단위로 정확한 중복 제거를 수행합니다. 특히 RAG(검색 증강 생성)와 같은 LLM 생태계에서 입력 데이터를 크게 줄이면서도 정보의 충실도를 유지할 수 있어, 대규모 언어 모델 추론 효율성을 획기적으로 개선하는 데 기여합니다.
5월 12일6
arXivAI 번역논문
어노테이션이 포스트 트레이닝 모드 붕괴를 완화한다
본 기사는 지도 미세 조정(Post-training) 과정에서 발생하는 의미론적 모드 붕괴 문제를 다루고 있습니다. 이 문제는 모델이 저엔트로피의 미세 조정 데이터에 편향되어 사전 학습 단계에서 얻은 풍부한 다양성을 잃는 현상입니다. 이를 해결하기 위해, 연구진은 '어노테이션 기반 학습(annotation-anchored training)'을 제안합니다. 이 방법은 의미론적 어노테이션과 쌍을 이루는 문서로 모델을 사전 학습시켜, 포스트 트레이닝 과정에서도 원래의 다양성을 유지하고 전이할 수 있도록 합니다.
5월 12일4
arXivAI 번역논문
코딩 에이전트 설정 파일의 지침 준수: 네 가지 파일 구조 변수에 대한 요인 설계 연구
본 연구는 최첨단 코딩 에이전트가 설정 파일의 지침을 얼마나 잘 따르는지(준수도)를 구조적 변수를 중심으로 요인 설계 방식으로 분석했습니다. 1,650회의 Claude Code CLI 세션 데이터를 사용하여 네 가지 구조적 변수(파일 크기, 지침 위치 등)와 코딩 작업 간의 상호작용 효과를 측정했으나, 이들 구조적 변수들이 준수도에 미치는 유의미한 영향은 발견하지 못했습니다. 대신, 가장 큰 효과는 세션 내에서 에이전트가 생성하는 함수 개수 증가에 따른 단계별 준수 확률 감소(비단조적 경향)였으며, 이는 코딩 작업과 함수 생성 순서에 따라 준수도가 체계적으로 변화함을 시사합니다.
5월 12일7
arXivAI 번역논문
Swarm Skills: 협업 엔지니어링을 위한 이식 가능하고 자체 진화하는 다중 에이전트 시스템 명세
본 논문은 인공지능 공학의 패러다임 변화에 맞춰, 단일 에이전트를 넘어선 다중 에이전트 시스템의 협업 능력을 체계적으로 개선하는 방법을 제시합니다. 핵심 개념인 'Swarm Skills'는 Anthropic Skills 표준을 확장한 이식 가능한 명세로, 역할, 워크플로우, 실행 경계를 포함하여 배포 가능한 1급 자산으로 다중 에이전트 워크플로우를 구조화합니다. 특히 Swarm Skills는 자체 진화 알고리즘을 통해 성공적인 실행 궤적을 자동으로 추출하고 성능 지표(효과성, 활용도, 신선도)에 기반하여 지속적으로 개선되어, 프레임워크 종속성 없이 에이전트 팀의 협력 전략이 자율적으로 발전할 수 있게 합니다.
5월 12일3
arXivAI 번역논문
이진 피드백을 이용한 LLM 개인화: 선호도 보정 최적화 프레임워크
본 논문은 LLM 개인화에 관한 새로운 프레임워크인 C-BPO를 제안합니다. C-BPO는 사용자의 명시적 선호도(긍정 피드백)와 다른 사용자 데이터를 암묵적인 부정 신호로 활용하여, 개별 사용자 간의 미묘한 차이점을 포착하는 데 중점을 둡니다. 특히 '선호도 중첩' 문제를 해결하기 위해 PU 이론에 기반한 목적 함수를 도입함으로써, 일반적인 유용성을 유지하면서도 고유한 개인화 특성을 효과적으로 반영합니다.
5월 12일6
arXivAI 번역논문
NCO: 디코딩에서 부정적 제약 조건 처리를 위한 다용도 플러그인
본 논문은 대규모 언어 모델(LLM)의 출력에서 욕설이나 개인 식별 정보(PII)와 같은 원치 않는 콘텐츠를 효과적으로 제어하는 새로운 디코딩 전략인 NCO를 제안합니다. 기존 방식들이 가진 높은 계산 비용과 복잡한 다중 제약 조건 처리의 어려움을 해결하기 위해, NCO는 여러 하드 및 정규 표현식 제약을 온라인으로 효율적으로 매칭하고 추적하여 상태 폭발 없이 오버헤드를 줄입니다. NCO는 빔 서치나 소프트 마스킹 같은 표준 LLM 추론 기법과 완벽하게 호환되며, PII 및 욕설 필터링 등 실제 응용 분야에서 그 효과를 입증했습니다.
5월 12일7
arXivAI 번역논문
PHAGE: 표현 학습을 위한 특허 이질적 어텐션 가이드 그래프 인코더
PHAGE는 특허 청구항의 복잡하고 계층적인 종속 구조를 효과적으로 모델링하기 위해 설계된 새로운 그래프 인코더입니다. 기존 방식들이 청구항을 단순 텍스트로 선형화하여 구조적 정보를 손실하는 문제를 해결합니다. PHAGE는 결정론적 파이프라인으로 관계 유형을 이질적인 엣지로 분리하고, 연결성 마스크와 학습 가능한 바이어스를 통해 토폴로지 정보를 어텐션 메커니즘에 통합함으로써 청구항 수준의 구조를 유지하며 문맥적 이해도를 높입니다. 또한, 이중 그라뉼러리티 목적 함수를 사용하여 특허 내부 구조와 외부 분류학 모두에 대한 표현 학습을 최적화합니다.
5월 12일4
arXivAI 번역논문
FERA: 대규모 언어 모델을 위한 불확실성 인식 연합 추론
본 논문은 중앙 집중화가 어려운 분산된 사적 데이터를 활용하여 대규모 언어 모델(LLMs)의 추론 능력을 향상시키는 '불확실성 인식 연합 추론(FERA)' 프레임워크를 제안합니다. FERA는 서버가 클라이언트의 원시 데이터에 접근할 수 없는 환경에서, 반복적인 서버-클라이언트 공동 정제 과정을 통해 다단계 추론을 개선합니다. 핵심은 불확실성을 측정하고 이를 기반으로 신뢰도를 가중치화하여 이질적인 클라이언트 간의 충돌을 해결하는 '불확실성 인식 자체 비판 집계(UA-SCA)' 메커니즘입니다.
5월 12일5
arXivAI 번역논문
SkillRAE: 검색 증강 실행을 위한 에이전트 스킬 기반 컨텍스트 컴파일
SkillRAE은 대규모 언어 모델(LLM) 기반 에이전트의 검색 증강 실행(RAE)을 개선하기 위해 제안된 2단계 접근 방식입니다. 이 방법은 스킬 라이브러리에서 선택된 여러 스킬과 지식 조각들을 단순히 모으는 것을 넘어, 이를 압축적이고 근거가 명확하며 즉시 사용 가능한 형태로 '컨텍스트 컴파일'하는 데 중점을 둡니다. SkillRAE는 오프라인 단계에서 다단계 스킬 그래프를 구축하고, 온라인 검색 및 구조 복구 인지 압축 컴파일을 통해 최종적으로 작업에 최적화된 고품질 컨텍스트를 생성하여 기존 RAE 방법론 대비 성능 향상을 입증했습니다.
5월 12일6
arXivAI 번역논문
GLiNER-Relex: 개체명 인식 및 관계 추출을 위한 통합 프레임워크
GLiNER-Relex는 개체명 인식(NER)과 관계 추출(RE)를 단일 통합 프레임워크에서 수행할 수 있도록 설계된 새로운 NLP 아키텍처입니다. 이 프레임워크는 공유 트랜스포머 인코더를 사용하여 텍스트, 개체 유형, 관계 유형을 공동으로 표현하며, 이를 통해 제로샷 추출이 가능합니다. GLiNER-Relex는 높은 성능과 계산 효율성을 유지하면서도 사용자가 임의의 개체 및 관계 유형에 대해 단일 호출로 트리플렛(triplets)을 얻을 수 있는 오픈 소스 API를 제공합니다.
5월 12일5
arXivAI 번역논문
합성 전(Pre)-사전 훈련이 언어 모델의 노이즈가 포함된 사전 훈련 데이터에 대한 강건성을 향상시킨다
본 연구는 대규모 언어 모델(LLMs)의 사전 훈련 데이터에 내재된 노이즈가 모델 성능을 저하시키는 문제를 다루며, 이를 해결하기 위해 합성 데이터를 기반으로 하는 경량의 전(Pre)-사전 훈련(PPT) 단계를 제안합니다. 다양한 손상 설정에서 PPT를 거친 모델은 후속 사전 훈련 단계에서 노이즈 데이터에 대한 강건성을 일관되게 향상시키는 것으로 나타났습니다. 특히, 이 방법은 적은 양의 합성 데이터를 사용하여 자연어 텍스트의 토큰 사용량을 크게 줄이면서도 높은 성능을 유지할 수 있음을 입증했습니다.
5월 12일10
arXivAI 번역논문
MolSight: 이미지를 이용한 분자 특성 예측
MolSight는 이미지를 활용하여 분자의 특성을 예측하는 체계적이고 대규모의 연구 프레임워크입니다. 이 연구는 10가지 비전 아키텍처와 7가지 사전 학습 전략을 사용하여 물리적 특성 회귀, 신약 발견 분류 등 10가지 다운스트림 태스크에 걸쳐 성능을 평가했습니다. 특히, 구조적 복잡성에 기반한 '화학 정보 기반 커리큘럼'을 제안하여 모델의 성능을 향상시켰으며, 오직 단일 본드 라인 이미지 시각 정보만으로도 경쟁력 있는 예측이 가능함을 입증했습니다.
5월 12일4
arXivAI 번역논문
NyayaAI: 다중 에이전트 아키텍처와 검색 증강 생성(RAG)을 활용한 AI 기반 법률 보조 도구
NyayaAI는 인도 법률 정보의 접근성 문제를 해결하기 위해 설계된 AI 기반 법률 보조 도구입니다. 이 시스템은 방대한 법률 지식 기반에 근거한 검색 증강 생성(RAG) 파이프라인과 대규모 언어 모델(LLMs)을 결합합니다. 특히, Mastra TypeScript 프레임워크를 활용하여 오케스트레이션되는 다중 에이전트 아키텍처가 법률 연구, 문서 요약, 판례 검색 등 복잡한 법률 워크플로우를 자동화하고 효율성을 크게 향상시킵니다.
5월 12일5