Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
HN AI Research 12건필터 해제
Show HN: C/C++ 기반 OpenAI Whisper 모델 포트
OpenAI의 Whisper ASR 모델을 C/C++ 기반으로 포팅하여 고성능, 저지연 추론이 가능한 라이브러리를 공개했습니다. 이 구현은 의존성이 없고 다양한 아키텍처(Apple Silicon, x86, POWER 등)와 하드웨어 가속기(Metal, Vulkan, OpenVINO, NPU 등)를 지원하며, 정수 양자화 및 메모리 할당 최적화를 통해 온디바이스 환경에 최적화되었습니다. 이를 통해 개발자는 다양한 플랫폼에서 오프라인 음성 비서나 전사 애플리케이션을 쉽게 구축할 수 있습니다.
rStar-Math: 자기진화 심층 사고를 통해 작은 LLM이 수학 추론을 마스터할 수 있다
rStar-Math는 지식 증류(distillation) 없이도 OpenAI o1에 필적하거나 능가하는 수준의 수학 추론 능력을 작은 언어 모델(SLM)에 부여하는 새로운 프레임워크입니다. 이 방법은 Monte Carlo Tree Search (MCTS)를 활용한 '심층 사고' 과정을 통해 테스트 시뮬레이션 기반으로 작동하며, 세 가지 혁신적인 요소를 도입했습니다. 특히, 합성된 추론 궤적 생성, 프로세스 보상 모델(PPM)을 통한 개선된 학습 방법, 그리고 정책 SLM과 PPM을 반복적으로 진화시키는 자기진화 레시피를 통해 수학 문제 해결 능력을 크게 향상시켰습니다.
Show HN: AutoThink – 적응적 추론으로 로컬 LLM 성능 향상
AutoThink는 쿼리의 복잡도를 분석하여 계산 자원을 적응적으로 할당함으로써 로컬 LLM의 추론 효율성과 성능을 향상시키는 기법입니다. 이 방법은 쿼리를 복잡도에 따라 분류하고, 이에 맞춰 '생각 토큰(thinking tokens)'을 차등적으로 할당하는 것이 핵심입니다. 또한, Microsoft Phi-4 논문의 Pivotal Token Search에서 영감을 받은 스티어링 벡터를 활용하여 모델의 추론 패턴을 안내함으로써 높은 정확도를 달성합니다.
오프라인 강화학습을 활용한 LLM 다단계 추론
본 논문은 대형 언어 모델(LLM)의 다단계 추론 능력을 오프라인 강화학습(RL)으로 개선하는 새로운 방법인 OREO(Offline Reasoning Optimization)를 제안합니다. 기존의 DPO와 같은 방식은 선호도 데이터 의존성 및 희소 보상 환경에서의 신용 할당 문제로 인해 복잡한 다단계 추론 작업에 적용하기 어렵습니다. OREO는 소프트 벨만 방정식을 최적화하여 정책 모델과 가치 함수를 공동으로 학습함으로써, 쌍별 데이터 수집의 필요성을 줄이고 효과적인 신용 할당을 가능하게 합니다.
Sketch-of-Thought: 인지적 영감을 받은 적응형 스케치링을 통한 효율적인 LLM 추론
Sketch-of-Thought (SoT)는 LLM의 단계별 문제 해결 능력을 강화한 CoT 프롬프팅의 과도한 계산 오버헤드 문제를 해결하기 위해 제안된 새로운 추론 프레임워크입니다. SoT는 인지적 영감을 받은 패러다임을 통합하여, 토큰 사용량을 획기적으로 줄이면서도 높은 추론 정확도를 유지하는 것을 목표로 합니다. 이 프레임워크는 Conceptual Chaining, Chunked Symbolism, Expert Lexicons 세 가지 모듈식 접근 방식을 포함하며, 경량 라우팅 모델을 통해 테스트 시점에 동적으로 최적의 방법을 선택합니다.
R-Zero: 제로 데이터에서 스스로 진화하는 추론 LLM
R-Zero는 방대한 인간의 레이블링 데이터에 의존하는 기존 LLM 학습 방식의 한계를 극복하기 위해 제안된 자율적인 프레임워크입니다. 이 시스템은 단일 기본 LLM을 기반으로 Challenger와 Solver라는 두 개의 독립적 모델을 초기화하고, 이들이 상호작용하며 공진화(co-evolve)합니다. Challenger는 난이도가 높은 작업을 제시하고, Solver는 이를 해결하는 과정을 통해 기존 데이터 없이도 목표 지향적인 자체 개선 커리큘럼을 생성하여 LLM의 추론 능력을 크게 향상시킵니다.
DeepSeek-R1: 강화학습 (RL) 을 통한 LLM 의 추론 능력 유인
본 논문은 LLM의 추론 능력 한계를 극복하기 위해 순수 강화학습(RL)을 적용하는 새로운 프레임워크를 제안합니다. 기존 모델들이 인간 주석에 크게 의존했던 것과 달리, 이 RL 접근 방식은 자기 성찰, 검증, 동적 전략 적응 같은 고급 추론 패턴의 발생적 발전을 촉진합니다. 그 결과, 훈련된 모델은 수학이나 코딩 대회와 같은 검증 가능한 작업에서 기존 지도 학습 기반 모델보다 뛰어난 성능을 보여줍니다.
벡터를 사용하지 않는 RAG: 페이지 인덱스를 활용한 추론 기반 RAG
본 기사는 기존의 유사도 기반(벡터) RAG가 전문적이고 다단계 추론이 필요한 문서에서 한계를 보이는 문제를 지적하며, '관련성' 확보를 위해 추론 중심적인 새로운 접근법인 추론 기반 RAG(Reasoning-based RAG)를 제안합니다. 이 방법은 AlphaGo의 트리 검색 개념을 차용하여 LLM이 스스로 사고하고 가장 관련성 높은 문서 섹션으로 도달하도록 돕습니다. 핵심 구성 요소로, 긴 문서를 계층적 트리 구조로 조직화하는 오픈 소스 인덱싱 시스템인 PageIndex를 공개하며, 이를 통해 재무 문서 분석 등에서 기존 벡터 기반 시스템 대비 검색 정확도의 상당한 개선을 입증했습니다.
영상 통화가 가능한 트랜스포머 아바타: Lemon Slice 소개
Lemon Slice는 커스텀 확산 트랜스포머(DiT) 모델을 활용하여 사진 한 장만으로 실시간 대화가 가능한 아바타를 구현했습니다. 기존의 HeyGen 같은 플랫폼과 달리, 별도의 캐릭터 학습이나 인간 오퍼레이터 없이도 어떤 스타일의 이미지든 즉시 영상 통화를 할 수 있습니다. 특히 5초 단위로 끊기는 기존 모델의 한계를 극복한 '시간적 일관성 보존 기법'을 통해 무한 길이의 비디오 생성이 가능하며, 전체 시스템 지연 시간(latency)은 사용자 입력부터 아바타 응답까지 3~6초를 달성했습니다.
손글씨 수학 공식도 LaTeX 코드로 변환하는 Math2Tex 소개
학술 자료 작업 시 수동으로 복잡한 수학 공식을 입력하는 과정의 비효율성을 해결하기 위해 개발된 웹 애플리케이션입니다. 사용자가 노트나 PDF 스크린샷 등 이미지 파일을 업로드하면, Math2Tex가 이를 인식하여 깔끔한 LaTeX 코드 또는 일반 텍스트로 변환해줍니다. 범용 AI 모델(GPT, Claude 등)보다 빠르고 전문화된 경량 모델을 사용하여 복잡한 수식 표기에서 높은 신뢰성을 제공하며, 학술 연구자 및 학생들의 워크플로우를 혁신할 잠재력을 가집니다.
수산 양식업 혁신: 로보틱스 및 컴퓨터 비전 기반 어류 검사 시스템
OctaPulse는 수산 양식 산업의 데이터 가시성 부족 문제를 해결하기 위해 로봇 공학(Robotics)과 첨단 컴퓨터 비전을 결합한 솔루션을 개발하고 있습니다. 현재 북미 최대 송어 생산 시설에 상용화되어 운영 중입니다. 핵심은 수중 환경에서의 자동화된 어류 검사 및 계측입니다. 이들은 Luxonis OAK 카메라와 Nvidia Jetson을 활용하여 딥러닝 모델(CNN, Transformer)을 엣지 디바이스에서 구동하며, TensorRT/OpenVINO를 이용한 INT8 양자화를 통해 속도와 정확도를 최적화했습니다. 또한,
25종에 걸친 mRNA 언어 모델 구축: 단돈 $165로 성과 내기
본 글은 구조 예측, 서열 설계, 코돈 최적화까지 아우르는 엔드투엔드(end-to-end) 단백질 AI 파이프라인을 소개합니다. 특히 25개 종에 걸쳐 mRNA 언어 모델을 구축하는 과정을 다루며, 최고 성능의 트랜스포머 아키텍처로 CodonRoBERTa-large-v2를 채택했습니다. 이 시스템은 55 GPU시간이라는 적은 자원으로 4개의 프로덕션 모델을 학습시키고, 다른 오픈소스 프로젝트에서는 찾아볼 수 없는 종(species)-조건부 시스템을 완성했다는 점이 핵심 가치입니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.