Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
고립된 작업에서 구조화된 능력으로: 대규모 언어 모델(LLM)을 위한 다층 분류 체계
LLM 평가가 작업 중심에서 능력 중심으로 전환되어야 함을 강조하며, 인지 과학에 기반한 다층 분류 체계를 제안합니다. 14개 영역과 91개 하위 기술로 구성된 이 체계는 연구 조직과 모델 진단을 위한 새로운 프레임워크를 제공합니다.
7월 27일1
arXivAI 번역논문
교차 언어 전이(Cross-Lingual Transfer) 및 LoRA 어댑터 병합(Adapter Merging)을 통한 저자원 아랍 문자
아랍 문자 기반 저자원 언어의 생물 의학 번역 성능을 높이기 위해 교차 언어 전이와 LoRA 어댑터 병합 전략을 연구했습니다. 고자원 언어를 피벗으로 활용하여 다리어, 파슈토어 등 저자원 언어의 번역 품질을 개선하는 다양한 전이 기법을 평가했습니다.
7월 27일1
arXivAI 번역논문
grapheme-kit: 다국어 NLP를 위한 자소 단위(Grapheme-Level) 지표 및 텍스트 처리
유니코드 코드 포인트 기반의 기존 지표가 가진 한계를 극복하기 위해 자소 클러스터 단위로 작동하는 오픈 소스 Python 라이브러리 'grapheme-kit'을 소개합니다. 이 라이브러리는 다국어 NLP 환경에서 더 정확한 텍스트 처리와 평가를 지원합니다.
7월 27일1
arXivAI 번역논문
Skill Self-Play: 공진화하는 기술을 통한 LLM 능력의 한계 돌파
LLM의 자기 진화 과정에서 발생하는 작업 다양성과 검증 신뢰성 사이의 딜레마를 해결하기 위한 Skill Self-Play(Skill-SP) 프레임워크를 제안합니다. 제안자, 해결사, 기술 컨트롤러가 강화학습을 통해 상호작용하며 모델의 도구 사용 및 추론 능력을 지속적으로 향상시킵니다.
7월 27일1
arXivAI 번역논문
Byte-Prefix Marginalization을 통한 교차 토크나이저 온-정책 증류 (Cross-Tokenizer On-Policy
서로 다른 토크나이저를 사용하는 모델 간의 온-정책 증류(OPD) 효율을 높이기 위한 Byte-Prefix Marginalization(BPM) 기술을 제안합니다. BPM은 바이트 공간을 활용해 교사 모델의 확률 질량을 학생 모델의 어휘로 정확하게 재표현하여 정보 손실을 최소화합니다.
7월 27일1
arXivAI 번역논문
문법 교재를 활용한 저자원 기계 번역용 합성 데이터 생성의 요인 연구
문법 교재를 활용해 저자원 언어의 기계 번역을 위한 합성 병렬 데이터를 생성하는 파이프라인을 제안합니다. LLM을 통해 문법 규칙과 예문을 추출하여 미세 조정을 수행하며, 다양한 언어 유형에서 성능 향상을 입증했습니다.
7월 27일1
arXivAI 번역논문
Windowed-MTP: 백만 토큰 컨텍스트에서 Full-Context Draft-KV 비용 제거하기
백만 토큰 이상의 긴 컨텍스트 환경에서 Multi-Token-Prediction(MTP) 초안 생성 시 발생하는 KV 캐시 읽기 비용 문제를 해결하기 위한 Windowed-MTP 방식을 제안합니다. 슬라이딩 윈도우와 어텐션 싱크를 적용하여 학습 없이도 초안 생성 비용을 획기적으로 절감하면서 타겟 모델의 출력 품질은 그대로 유지합니다.
7월 24일1
arXivAI 번역논문
OpenForgeRL: 모든 환경에서 Harness-native 에이전트 학습하기
OpenForgeRL은 복잡한 추론 하네스를 사용하는 AI 에이전트를 엔드투엔드로 학습시키기 위한 오픈 소스 프레임워크입니다. 경량 프록시와 Kubernetes 오케스트레이터를 활용해 학습과 추론을 분리하며, 다양한 환경에서 대규모 에이전트 학습을 가능하게 합니다.
7월 24일1
arXivAI 번역논문
DONDO: 아프리카 언어를 위한 오픈 w2v-BERT 음성 인식(Speech-Recognition) 베이스 모델
아프리카 27개 언어 변체를 지원하는 오픈 소스 음성 인식(ASR) 베이스 모델 제품군인 DONDO를 소개합니다. w2v-BERT 2.0을 기반으로 하며, 학습률 어닐링 미세 조정과 언어 조건화 메커니즘을 통해 높은 성능을 구현했습니다.
7월 24일0
arXivAI 번역논문
RUMBA: 러시아어 사용자 메모리 벤치마크
LLM의 장기 메모리 능력을 평가하기 위해 설계된 새로운 벤치마크인 RUMBA를 소개합니다. 러시아어와 영어 서브셋을 지원하며, 시간적 추론과 세션 간 검색 능력을 정밀하게 측정하는 방법론을 제공합니다.
7월 24일1
arXivAI 번역논문
MedGame: 대규모 언어 모델(LLMs)을 활용한 의료 교육용 스토리텔링 게임화
MedGame은 LLM을 활용해 정적인 임상 사례를 구조화된 스토리텔링 게임으로 변환하는 프레임워크입니다. 이중 엔진 설계를 통해 임상 내러티브를 생성하고 멀티모달 오케스트레이션을 수행하며, 성능 평가를 위한 MedGame Bench를 함께 제안합니다.
7월 24일1
arXivAI 번역논문
LKValues: 대규모 언어 모델(LLMs)을 스리랑카 사회적 가치에 정렬하기
LLM의 서구 중심적 가치 편향을 해결하기 위해 스리랑카의 사회적 가치를 반영한 LKValues 리소스를 제안합니다. 40개의 사회적 가치를 도출하고, 이를 바탕으로 지시어 코퍼스(LKvaluesIT)와 평가 벤치마크(LKvaluesBench)를 구축했습니다.
7월 23일1
arXivAI 번역논문
노출은 선택 사항이다: 언어 모델에서의 비동일 등위 접속(Unlike Coordination) 학습
언어 모델이 비동일 등위 접속(unlike coordination)을 학습할 때 직접적인 데이터 노출이 필수적인지 연구했습니다. GPT-2를 활용한 실험 결과, 모델은 동일 등위 접속 학습만으로도 비동일 사례를 성공적으로 일반화할 수 있음을 확인했습니다.
7월 23일1
arXivAI 번역논문
PoTRE: 인지적 이질성(Cognitive Heterogeneity)에서 영감을 얻은 테스트 시간 추론(Test-Time Reasoning)
PoTRE는 인지적 이질성을 활용하여 LLM의 복잡한 추론 능력을 향상시키는 새로운 프레임워크입니다. 네 가지 특화된 에이전트와 적응형 집계 계층을 통해 장기 계획 및 오류 수정 문제를 해결하며, 주요 벤치마크에서 SOTA 성능을 기록했습니다.
7월 23일1
arXivAI 번역논문
LLM은 어떤 가치를 혼동하는가? Schwartz 기반의 인식 연구
LLM이 Schwartz의 10가지 기본 가치를 얼마나 정확하게 인식하는지 분석한 연구입니다. 모델이 올바른 가치 영역은 잘 찾아내지만, 인접한 가치들 사이에서 특정 방향으로 혼동을 일으키는 경향이 있음을 밝혀냈습니다.
7월 23일1
arXivAI 번역논문
마스커빌리티 지수 (Maskability Index): 사전 학습된 언어 모델의 태스크-목적 정렬 예측
사전 학습된 언어 모델의 프롬프팅 전략과 학습 목적 간의 정렬을 예측하는 '마스커빌리티 지수(MI)'를 제안합니다. MI는 마스크 스타일과 접두사 스타일 프롬프팅 중 어떤 것이 적합한지 정량적으로 측정하며, 이는 모델의 지식 추출 성능과 높은 상관관계를 보입니다.
7월 23일1
arXivAI 번역논문
자기 지도 학습(Self-supervision)이 임상 지도 학습(Clinical supervision)보다 의료 파운데이션 모델의 표현
의료 이미지 인코더 간의 표현 수렴 현상을 분석한 연구로, 이러한 수렴이 모델 규모나 임상 지도 학습이 아닌 자기 지도 학습(Self-supervision) 목표에 의해 주도됨을 밝힙니다. 연구 결과, 인코더 간 정렬은 양상 내에서만 제한적으로 발생하며 임상적 판단과는 차이가 있음을 확인했습니다.
7월 23일1
arXivAI 번역논문
대규모 언어 모델(LLM)을 위한 견고한 확률적 안전 경계(Sound Probabilistic Safety Bounds)
LLM이 유해한 출력을 생성할 확률에 대한 엄격한 확률적 경계를 계산하는 새로운 프레임워크를 제안합니다. 잠재 공간의 특징을 활용해 유해 가능성이 높은 생성 경로를 우선 탐색함으로써, 유해 확률이 매우 낮은 상황에서도 견고한 하한을 효율적으로 도출합니다.
7월 23일1
arXivAI 번역논문
PyroDash: 비용 효율적인 토큰 수준의 소형-대형 언어 모델 협업 추론
PyroDash는 SLM과 LLM의 토큰 수준 협업을 통해 추론 비용을 절감하는 프레임워크입니다. SLM이 제어 토큰을 통해 LLM에 도움을 요청하는 방식으로 작동하며, 별도의 라우터 없이도 높은 정확도와 비용 효율성을 동시에 달성합니다.
7월 23일1
arXivAI 번역논문
독자가 아닌 모델을 학습시켜라: 검증 가능한 활성화 설명(Activation Explanations)을 위한 디코더빌리티
기존 자연어 오토인코더 방식의 활성화 설명 평가가 모델의 실제 사실 관계를 반영하지 못하는 문제를 지적합니다. 이를 해결하기 위해 모델과 함께 학습되는 선형 헤드인 RECAP을 제안하여, 모델의 내부 콘텐츠를 독립적이고 신뢰할 수 있게 디코딩할 수 있음을 증명합니다.
7월 23일1