Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
arXivAI 번역논문
자기 지도 학습(Self-supervision)이 임상 지도 학습(Clinical supervision)보다 의료 파운데이션 모델의 표현
의료 이미지 인코더 간의 표현 수렴 현상을 분석한 연구로, 이러한 수렴이 모델 규모나 임상 지도 학습이 아닌 자기 지도 학습(Self-supervision) 목표에 의해 주도됨을 밝힙니다. 연구 결과, 인코더 간 정렬은 양상 내에서만 제한적으로 발생하며 임상적 판단과는 차이가 있음을 확인했습니다.
7월 23일1
arXivAI 번역논문
대규모 언어 모델(LLM)을 위한 견고한 확률적 안전 경계(Sound Probabilistic Safety Bounds)
LLM이 유해한 출력을 생성할 확률에 대한 엄격한 확률적 경계를 계산하는 새로운 프레임워크를 제안합니다. 잠재 공간의 특징을 활용해 유해 가능성이 높은 생성 경로를 우선 탐색함으로써, 유해 확률이 매우 낮은 상황에서도 견고한 하한을 효율적으로 도출합니다.
7월 23일1
arXivAI 번역논문
PyroDash: 비용 효율적인 토큰 수준의 소형-대형 언어 모델 협업 추론
PyroDash는 SLM과 LLM의 토큰 수준 협업을 통해 추론 비용을 절감하는 프레임워크입니다. SLM이 제어 토큰을 통해 LLM에 도움을 요청하는 방식으로 작동하며, 별도의 라우터 없이도 높은 정확도와 비용 효율성을 동시에 달성합니다.
7월 23일1
arXivAI 번역논문
독자가 아닌 모델을 학습시켜라: 검증 가능한 활성화 설명(Activation Explanations)을 위한 디코더빌리티
기존 자연어 오토인코더 방식의 활성화 설명 평가가 모델의 실제 사실 관계를 반영하지 못하는 문제를 지적합니다. 이를 해결하기 위해 모델과 함께 학습되는 선형 헤드인 RECAP을 제안하여, 모델의 내부 콘텐츠를 독립적이고 신뢰할 수 있게 디코딩할 수 있음을 증명합니다.
7월 23일1
arXivAI 번역논문
생성형 AI가 도서 시장을 범람시키고 희석시키다
생성형 AI가 생성한 저품질 콘텐츠가 도서 시장에 급증하며 시장 구조를 변화시키고 있습니다. 연구 결과, AI 생성 도서의 판매량은 늘고 있으나 매출 증가 속도는 이를 따라가지 못해 도서당 매출이 하락하는 양상을 보입니다.
7월 23일1
arXivAI 번역논문
시각-언어 모델(Vision-Language Models)의 양식 순서 일관성을 위한 테스트 시간 훈련 (Test-Time Training)
시각-언어 모델(VLM)이 이미지와 질문의 제시 순서에 따라 성능 차이를 보이는 '양식 순서 실패' 문제를 분석하고, 이를 해결하기 위한 테스트 시간 훈련(TTT) 방법을 제안합니다. 이 방법은 모델의 중간 레이어에서 발생하는 표현의 불일치를 복구하여 순서 간 성능 격차를 줄이고 전체적인 성능을 향상시킵니다.
7월 23일1
arXivAI 번역논문
자기 자신에게 남기는 노트: LLM이 경험적 추상화(Experiential Abstractions)로부터 이득을 얻을 수 있는가?
LLM이 인간처럼 경험을 재사용 가능한 추상화로 증류하여 문제 해결 능력을 높일 수 있는지 연구합니다. 수학적 추론 과정에서 추출한 자연어 추상화를 검색하거나 강화학습에 활용하여 성능을 향상시켰습니다.
7월 23일1
arXivAI 번역논문
대규모 프롬프트 디자인: 형식, 명령어 개수, 컨텍스트 길이가 대규모 언어 모델의 명령어 준수 및 환각에 미치는 영향
프롬프트의 형식, 명령어 개수, 컨텍스트 길이가 LLM의 명령어 준수 능력과 환각 발생에 미치는 영향을 연구합니다. 마크다운, 텍스트, 표 등 다양한 형식과 시스템 프롬프트의 한계를 분석합니다.
7월 22일1
arXivAI 번역논문
선택이 경계를 형성한다: 선택되지 않은 NLI 모집단에서의 단조성(Monotonicity) 및 레이블 일치도(Label Agreement)에
NLI(자연어 추론) 분야의 인간 레이블 변동성(HLV) 연구에서 이전 연구가 주장한 단조성 연산자와 레이블 일치도 간의 상관관계를 재검증했습니다. 연구 결과, 이전의 부정적 경계는 모집단의 특성이 아니라 특정 선택 조건에 따른 구조적 현상일 가능성이 높음을 밝혀냈습니다.
7월 22일1
arXivAI 번역논문
점수 예측을 넘어: 루브릭 보상을 활용한 강화학습 기반의 LLM 에세이 채점 및 피드백 생성
RLAES는 강화학습을 통해 LLM의 에세이 채점과 피드백 생성을 동시에 최적화하는 통합 프레임워크입니다. 루브릭 기반 평가(RFE)와 적응형 게이트 최적화(AGFO)를 도입하여 피드백 품질을 높이고 채점 성능을 극대화했습니다.
7월 22일1
arXivAI 번역논문
AdaFlash: 온폴리시 증류된 디퓨전 Drafter를 통한 적응형 투기적 디코딩 (Adaptive Speculative Decoding)
AdaFlash는 디퓨전 Drafter의 높은 분산 문제를 해결하여 투기적 디코딩의 효율을 높이는 프레임워크입니다. 온폴리시 증류(OPD)와 적응형 길이 헤드를 통해 도메인 및 토큰 수준의 변동성을 줄이고 추론 처리량을 극대화합니다.
7월 22일1
arXivAI 번역논문
LLM의 교차 언어적 사실적 일관성을 위한 추론 시간 스티어링 (Inference-Time Steering)
LLM의 고자원 언어 편향으로 인한 교차 언어적 사실 불일치 문제를 해결하기 위한 추론 시간 스티어링 전략을 연구합니다. 페르소나 프롬프팅, CAA, DPO 등 네 가지 개입 전략을 Gemma 3 12B Instruct 모델로 실험하여 그 효능을 비교 분석했습니다.
7월 22일1
arXivAI 번역논문
MeetingToM: 다자간 회의에서의 마음 이론 (Theory-of-Mind) 추론에 대한 멀티모달 LLM (MLLM) 평가
다자간 회의 상황에서 MLLM의 마음 이론(ToM) 추론 능력을 평가하기 위한 새로운 벤치마크인 MeetingToM을 제안합니다. 가짜 합의와 같은 복잡한 사회적 역학을 계층적으로 평가하며, 현재 모델들의 한계를 분석합니다.
7월 22일1
arXivAI 번역논문
개방형 생성 평가를 위한 2단계 메타 루브릭: 사실적 완결성 벤치마크인 GAMUT
장문 생성 모델의 사실적 완결성을 평가하기 위한 새로운 벤치마크인 GAMUT을 소개합니다. 2단계 메타 루브릭 프레임워크를 통해 복잡한 사실 관계와 콘텐츠의 구조적 중요성을 정밀하게 측정합니다.
7월 22일1
arXivAI 번역논문
CircuitKIT: 기계론적 해석 가능성 (Mechanistic Interpretability)을 위한 회로 발견, 평가 및 적용 툴킷
CircuitKIT는 기계론적 해석 가능성(Mechanistic Interpretability) 연구를 위해 회로 발견, 평가, 개입 과정을 통합한 오픈소스 라이브러리입니다. 파편화된 기존 워크플로우를 연결하여 알고리즘 비교와 다운스트림 애플리케이션 적용을 용이하게 합니다.
7월 22일1
arXivAI 번역논문
언어 모델 추론을 위한 선택적 상태 공간 적응 및 검색
기존 LoRA의 정적인 업데이트 한계를 극복하기 위해 토큰 및 컨텍스트 수준에서 동적 상태를 반영하는 새로운 어댑터 제품군을 제안합니다. MaLoRA와 MaRA를 통해 언어 모델의 추론 정확도를 크게 향상시켰습니다.
7월 22일1
arXivAI 번역논문
더 적게 복사하고 더 많이 근거하기: 근거 인식 강화학습 (Evidence-Aware Reinforcement Learning)을 통한 긴
긴 문맥(long-context) LLM이 문제를 해결하는 대신 입력 텍스트를 무분별하게 복사하는 '반복적 복사' 문제를 분석하고, 이를 해결하기 위한 GEAR(Grounding Evidence-Aware Reward) 강화학습 기법을 제안합니다.
7월 22일1
arXivAI 번역논문
VDAR-Router: 언어화된 질의 난이도 분석 검색을 통한 적응형 LLM 라우팅
VDAR-Router는 질의의 난이도를 분석하여 적절한 LLM을 할당하는 검색 기반 라우팅 프레임워크입니다. 기존의 의미론적 접근 대신 명시적인 난이도 분석과 유사 사례 검색을 통해 비용 대비 성능을 최적화합니다.
7월 21일1
arXivAI 번역논문
LLM-as-a-Coach: 검증 불가능한 작업(Non-Verifiable Tasks)을 위한 경험적 학습 (Experiential
개방형 작업에서 스칼라 보상 대신 풍부한 텍스트 피드백을 활용하는 'LLM-as-a-Coach' 기반의 경험적 학습(EL) 방식을 제안합니다. 이 방식은 고품질 응답 간의 미세한 차이를 보존하여 기존 루브릭 기반 강화학습보다 우수한 일반화 성능을 보입니다.
7월 21일1
arXivAI 번역논문
정렬 튜닝(Alignment Tuning)이 LLM 내 아첨(Sycophancy) 및 관련 단서 유도 편향(Cue-Induced
LLM의 아첨(Sycophancy) 및 단서 유도 편향이 정렬 튜닝 과정에서 발생함을 연구했습니다. 은닉 상태에서 편향별 방향을 추출하여 인과적 개입을 통해 편향을 제거하고 정답을 회복할 수 있음을 입증했습니다.
7월 21일1