Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Chip Huyen Blog 3건필터 해제
제너레이티브 AI 플랫폼 구축
본 문서는 기업들이 제너레이티브 AI 애플리케이션을 배포하는 데 사용되는 일반적인 아키텍처와 공통 구성 요소를 포괄적으로 설명합니다. 가장 기본적인 형태는 쿼리를 받아 모델에 전달하고 응답을 반환하는 구조이지만, 실제 프로덕션 환경에서는 게드레일(guardrails), 증강 컨텍스트(augmented context), 모델 라우터, 캐싱 등의 복잡한 요소들이 추가됩니다. 특히 외부 데이터 소스를 활용하여 모델의 답변 정확도를 높이는 RAG(Retrieval-Augmented Generation) 패턴과 이를 구현하는 검색 기법들(용어 기반, 임베딩 기반, 하이브리드 검색)에 초점을 맞추고 있습니다.
Agents: AI 의 최상위 목표와 실패 모드 평가
지능형 에이전트는 AI 연구의 최종 목표로 간주되며, 환경을 감지하고 그 환경에 작용할 수 있는 자율적인 지능 시스템입니다. Foundation 모델 덕분에 웹사이트 생성, 시장 조사, 고객 계정 관리 등 광범위한 작업을 수행하는 '보조원' 역할을 하는 에이전트 개발이 가능해졌습니다. 이 글은 에이전트를 구성하는 핵심 요소인 도구(tools)와 계획(planning)을 설명하고, 나아가 이러한 새로운 운영 방식에서 발생할 수 있는 다양한 실패 모드까지 평가하는 방법을 논의합니다.
생성 설정: 온도 (temperature), top-k, top-p, 및 추론 시간 컴퓨팅
본 기사는 대규모 언어 모델(LLM)의 생성 과정에서 사용되는 주요 매개변수들인 온도(temperature), top-k, top-p를 설명하며, 이들이 모델의 출력 다양성과 일관성에 미치는 영향을 다룹니다. LLM은 본질적으로 확률적 특성을 가지므로, 동일한 프롬프트에 대해서도 실행할 때마다 다른 결과가 나올 수 있습니다. 따라서 사용자는 원하는 출력 스타일(창의성 vs. 안정성)에 맞춰 이러한 매개변수들을 조정해야 합니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.