Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
HuggingFaceAI 번역헤드라인
Arize Phoenix 를 사용하여 에이전트 추적 및 평가하기
본 기술 기사는 Arize Phoenix를 활용하여 AI 에이전트의 행동을 추적(tracing)하고 성능을 평가(evaluation)하는 방법을 안내합니다. 에이전트가 어떤 단계를 거쳐 의사결정을 하는지 실시간으로 관찰할 수 있게 해주는 중앙 집중식 플랫폼인 Phoenix는 OpenTelemetry와 OpenInference를 통해 구현됩니다. 또한, LLM-as-a-judge 기법을 사용하여 검색 도구의 응답 관련성 등 에이전트의 성능을 정량적으로 평가하는 방법까지 다룹니다.
5월 7일7
HuggingFaceAI 번역헤드라인
Open R1: 업데이트 #3
본 기술 기사는 코드 추론 능력을 테스트하기 위한 새로운 고품질 데이터셋과 모델을 소개합니다. 특히 CodeForces와 국제 정보학 올림피아드(IOI)의 난이도 높은 문제를 활용하여, 10만 개의 샘플을 포함하는 'CodeForces-CoTs' 및 IOI 전용 데이터셋을 구축했습니다. 이를 기반으로 Claude 3.7 Sonnet 같은 폐쇄형 모델보다 우수한 성능을 보이는 오픈 웨이트 코드 모델인 'OlympicCoder'를 개발하고 공개합니다.
5월 7일8
HuggingFaceAI 번역헤드라인
Open R1: 로컬에서 OlympicCoder 를 사용하는 방법
본 기사는 오픈소스 코딩 보조 도구인 Open R1의 발전으로 인해 상용 AI 서비스의 매력이 감소하고 있음을 지적하며, 로컬 환경에서 강력한 성능을 보이는 OlympicCoder 7B 모델을 사용하는 방법을 안내합니다. 독자들은 LM Studio를 통해 양자화된(quantized) OlympicCoder 7B 모델을 다운로드 및 실행하고, VS Code와 Continue 확장 프로그램을 연결하여 IDE 내에서 코드 완성, 생성, 설명 등 다양한 AI 코딩 기능을 활용할 수 있습니다.
5월 7일8
HuggingFaceAI 번역헤드라인
100 만 Gradio 사용자를 향한 여정!
Gradio는 5년 전 스탠퍼드 연구자들이 웹 인터페이스를 통해 컴퓨터 비전 모델을 데모할 수 있도록 출시된 간단한 Python 라이브러리입니다. 현재 매달 100만 명 이상의 개발자가 AI 웹 애플리케이션 구축 및 공유에 사용하는 핵심 도구로 성장했습니다. 이 성공은 '좋은 기본 구조(primitives)'에 집중하고, 사용자들이 앱을 쉽게 공유할 수 있는 '바이러스성' 기능을 제공하며, 기계 학습(ML) 웹 앱이라는 명확한 틈새 시장에 초점을 맞춘 전략 덕분입니다.
5월 7일11
HuggingFaceAI 번역헤드라인
Hugging Face 의 AI 인프라를 위한 비밀 관리 확장
Hugging Face는 AWS 단일 환경에서 Azure, GCP를 포함하는 멀티 클라우드 환경으로 진화함에 따라, 비밀(secrets) 관리의 중앙 집중화 및 보안 강화를 필요로 했습니다. 기존의 복잡하고 무거운 솔루션 대신 Infisical을 채택하여 개발자 친화적인 워크플로우와 강력한 멀티 클라우드 추상화를 확보했습니다. 이 마이그레이션을 통해 Okta 기반의 세밀한 RBAC를 구현하고, Kubernetes 오퍼레이터를 활용해 비밀 업데이트 및 애플리케이션 재시작 과정을 자동화함으로써 보안성과 개발 생산성을 동시에 크게 향상시켰습니다.
5월 7일8
HuggingFaceAI 번역헤드라인
효율적인 요청 큐잉 - LLM 성능 최적화
본 기사는 LLM 추론 엔진(vLLM 등)의 성능 최적화와 공정한 사용자 경험 제공에 필요한 고급 스케줄링 전략을 다룹니다. GPU 효율성을 위해 요청을 배치 처리하는 백엔드 큐가 필수적이지만, 이로 인해 특정 사용자가 과도하게 많은 요청을 보내면 다른 사용자들이 불필요하게 지연되는 문제가 발생합니다. 따라서 LLM-Server와 같은 프론트 스케줄러 계층에서 사용자별 우선순위 및 공정성을 관리하고, 백엔드 큐 길이를 모니터링하여 새로운 사용자의 대기 시간을 최소화하는 것이 핵심입니다.
5월 7일9
HuggingFaceAI 번역헤드라인
CodeAgents + 구조: 실행 동작을 수행하는 더 나은 방법
AI 에이전트가 복잡한 작업을 수행하는 방식은 전통적인 JSON 도구 호출에서 실행 가능한 Python 코드를 직접 작성하는 CodeAgent로 진화했습니다. 여기에 한 단계 더 나아가, 사고 과정(thoughts)과 코드 실행을 명시적인 JSON 구조로 강제하여 생성함으로써, 코드의 유연성과 구조화된 출력의 신뢰성을 결합한 새로운 패러다임을 제시합니다. 이 '구조화된 CodeAgent' 접근법은 여러 벤치마크에서 기존 방식 대비 일관되고 높은 성능 향상을 보여주며, 특히 파싱 오류와 같은 구현상의 취약점을 근본적으로 해결합니다.
5월 6일10
HuggingFaceAI 번역헤드라인
vLLM V0 에서 V1 로의 전환: 강화학습에서 정확성을 수정하기 전
본 문서는 vLLM의 초기 버전(V0)과 최신 버전(V1) 간의 차이점을 분석하고, 특히 강화학습(RL) 목표를 수정하기 전에 백엔드 동작 패리티를 확보하는 과정을 다룹니다. 연구진은 V1이 V0 참조 결과와 일치하도록 여러 가지 기술적 문제를 해결했는데, 여기에는 처리된 로그 확률(logprobs)의 의미론적 불일치 수정(`processed_logprobs` 사용), 추론 경로 기본값 통일화(prefix caching 및 비동기 스케줄링 등 명시적 설정), 그리고 가중치 업데이트 과정의 동기화가 포함됩니다. 이러한 백엔드 패리티를 확보한 후에야 RL 목표 수준의 변경 사항을 평가할 수 있었습니다.
5월 6일11
HuggingFaceAI 번역헤드라인
Python 에서 Gradio 를 활용한 MCP 서버 구현: AI 쇼핑 어시스턴트
본 기사는 Gradio 라이브러리를 활용하여 강력한 MCP(Model Communication Protocol) 서버를 구현하고, 이를 통해 AI 기반의 쇼핑 어시스턴트 시스템을 구축하는 방법을 설명합니다. 핵심은 Gradio가 파이썬 함수를 LLM이 호출할 수 있는 도구로 자동 변환해주는 기능입니다. 이 기능을 이용해 가상 트라이온(Virtual Try-On) 모델(IDM-VTON)과 연동하여, 사용자가 온라인 쇼핑몰에서 옷을 검색하고 자신의 사진에 해당 의류를 입혀보는 AI 경험을 구현할 수 있습니다.
5월 6일11
HuggingFaceAI 번역헤드라인
VibeGame: Vibe Coding 게임 탐구
본 기사는 'Vibe Coding'이라는 개념을 탐구하며, 이는 AI를 고수준 프로그래밍 언어로 사용하여 무언가를 구축하는 방식을 의미합니다. 초기에는 작동하지만 프로젝트가 커지면 컨텍스트 창(context window)이 채워지면서 모델 성능 저하 문제가 발생하는데, 이를 해결하기 위해 작성자는 가벼운 context 관리 시스템 'Shallot'을 개발했습니다. 또한, Vibe Coding에 적합한 플랫폼으로 Roblox를 제시하며, 그 이유로 내장된 추상화 수준과 쉬운 코드 변환 능력을 꼽았습니다.
5월 4일11
HuggingFaceAI 번역헤드라인
BigCodeArena: 코드 생성 모델 평가의 새로운 기준
BigCodeArena는 코드 생성 모델을 평가하기 위해 코드를 실제로 실행하고 결과를 확인할 수 있는 혁신적인 인간-루프(human-in-the-loop) 플랫폼입니다. 기존 벤치마크가 정적 비교에 그쳤던 한계를 넘어, 실제 웹 애플리케이션 구축부터 게임 개발까지 다양한 시나리오에서 모델의 실질적인 성능을 평가할 수 있게 합니다. 이 플랫폼은 격리된 샌드박스 환경에서 코드를 실행하고 사용자 투표를 통해 최고 등급의 모델을 식별하며, 다중 턴 상호작용을 지원하여 실제 프로그래밍 작업에 근접한 평가 경험을 제공합니다.
5월 4일8