Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AgentChain은 LLM을 활용하여 여러 에이전트를 오케스트레이션하는 프레임워크입니다. 텍스트, 이미지, 오디오 등 완전한 멀티모달 입출력을 지원하며, 복잡한 작업 수행을 위해 도구 조합과 계층적 구조화를 통해 지능적인 작업을 처리할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GitHub AI Research의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기AgentChain은 대규모 언어 모델(LLMs)을 사용하여 여러 에이전트 또는 대규모 모델(LMs)을 기획하고 오케스트레이션하여 복잡한 작업을 수행합니다. AgentChain은 완전한 멀티모달 기능을 갖추고 있어 텍스트, 이미지, 오디오, 테이블 형식의 데이터를 입력 및 출력으로 받아들입니다.
pip install -r requirements.txtbash download.shOPENAI_API_KEY={YOUR_OPENAI_API_KEY} # 이 애플리케이션에서 LLM이 핵심이기 때문에 필수
SERPAPI_API_KEY={YOUR_SERPAPI_API_KEY} # 에이전트가 웹 검색을 할 수 있게 하려면 serp API 키를 포함해야 함
...
4. ffmpeg 라이브러리 설치 (whisper에 필요): sudo apt update && sudo apt install ffmpeg (Ubuntu 명령어)
5. 메인 스크립트 실행: python main.py
이 커밋 기준으로, AgentChain을 실행하려면 최소 29 GB의 GPU 메모리가 필요합니다.
다만, main.py에서 GPU 장치를 올바르게 할당하는지 확인하십시오.
GPU 메모리 사용량을 줄이려면 일부 도구와 모델에 주석 처리할 수 있습니다 (하지만 기능은 감소함).
AgentChain 데모 1: 오디오를 전사(transcribing)하고 그 결과를 이미지로 시각화합니다. AgentChain 인터페이스의 비디오에는 업로드된 오디오와, 해당 오디오 콘텐츠를 나타내는 생성된 이미지가 표시됩니다.
AgentChain 데모 2: 이미지에 대해 질문하기. AgentChain 인터페이스의 비디오에는 이미지와 그에 대해 던지는 질문이 표시되고, 결과 답변이 아래에 표시됩니다.
AgentChain 데모 3: 표 형식 데이터(tabular data)에 대한 질의응답 및 결과를 보고하기 위한 전화 통화. AgentChain 인터페이스의 비디오에는 데이터 테이블과 그에 대해 던지는 질문이 표시되고, 결과 답변이 표시된 후 CommsAgent를 사용하여 전화 통화가 이루어집니다.
이 문서의 내용은 주로 우리의 비전과 AgentChain으로 달성하고자 하는 목표를 보여줍니다.
지금까지 달성한 내용을 이해하려면 데모 섹션을 확인하십시오.
AgentChain은 일반적인 문제를 해결하는 것을 목표로 하는 정교한 시스템입니다. 여러 에이전트들을 오케스트레이션하여 하위 문제(sub-problems)를 완수할 수 있습니다. 이 에이전트들은 서로 다른 그룹으로 구성되어 있으며, 각 그룹은 고유한 기능과 역량 세트를 가지고 있습니다. AgentChain의 일부 에이전트 그룹은 다음과 같습니다:
SearchAgents 그룹은 검색 엔진, 온라인 데이터베이스, API 등 다양한 출처에서 정보를 수집하는 역할을 담당합니다. 이 그룹의 에이전트들은 최신 세계 지식 정보를 검색하는 데 매우 능숙합니다. 이 그룹에 속한 에이전트들의 몇 가지 예시로는 Google Search API, Bing API, Wikipedia API, 그리고 Serp가 있습니다.
CommsAgents 그룹은 이메일 전송, 전화 통화, 또는 다양한 플랫폼을 통한 메시징 등 여러 당사자 간의 통신 처리를 담당합니다. 이 그룹의 에이전트들은 광범위한 범위의 플랫폼과 통합될 수 있습니다. 이 그룹에 속한 에이전트들의 몇 가지 예시로는 TwilioCaller, TwilioEmailWriter, TwilioMessenger 그리고 Slack이 있습니다.
ToolsAgents 그룹은 계산 수행, 스크립트 실행, 명령어 실행 등 다양한 컴퓨팅 작업을 수행하는 역할을 담당합니다. 이 그룹의 에이전트들은 광범위한 범위의 프로그래밍 언어 및 도구와 함께 작업할 수 있습니다. 이 그룹에 속한 에이전트들의 몇 가지 예시로는 Math, Python REPL, 그리고 Terminal이 있습니다.
MultiModalAgents 그룹은 텍스트, 이미지, 오디오 또는 비디오(출시 예정)와 같은 다양한 모달리티의 입출력을 처리하는 역할을 담당합니다. 이 그룹의 에이전트들은 여러 가지 모달리티를 처리하고 이해할 수 있습니다. 이 그룹에 속한 에이전트들의 몇 가지 예시로는 OpenAI Whisper, Blip2, Coqui, 그리고 StableDiffusion가 있습니다.
ImageAgents 그룹은 이미지 품질 향상, 객체 탐지, 또는 이미지 인식과 같이 이미지를 처리하고 조작하는 역할을 담당합니다. 이 그룹의 에이전트들은 이미지에 대한 복잡한 작업을 수행할 수 있습니다. 몇 가지 예시로는 Upscaler, ControlNet 그리고 YOLO가 있습니다.
DBAgents 그룹은 데이터베이스에서 데이터를 추가하고 가져오는 역할을 담당합니다. 예를 들어, 데이터베이스에서 메트릭이나 집계 값을 얻는 등의 작업을 수행합니다. 이 그룹의 에이전트는 데이터베이스와 상호 작용하며 다른 에이전트들에게 데이터베이스 정보를 풍부하게 제공합니다. 이 그룹에 속하는 에이전트의 예시로는 SQL, MongoDB, ElasticSearch, Qrant, 그리고 Notion 등이 있습니다.
새롭고 이국적인 목적지를 홍보하는 여행사에게는 잠재 여행객의 시선을 사로잡을 수 있는 고품질 이미지가 필수적입니다. 하지만 멋진 이미지를 수동으로 제작하는 것은 시간과 비용이 많이 듭니다. 그래서 해당 여행사는 AgentChain을 사용하여 이미지 생성 프로세스를 자동화하고 다양한 에이전트의 도움을 받아 아름다운 비주얼을 만들고자 합니다.
AgentChain은 다음과 같이 여러 에이전트를 연결(chaining)함으로써 도움을 줄 수 있습니다:
SearchAgent (Google Search API, Wikipedia API, Serp)를 사용하여 목적지에 대한 정보와 영감을 수집합니다. 여기에는 가장 인기 있는 랜드마크, 현지 요리, 그리고 지역의 독특한 특징 등이 포함됩니다.ImageAgent (Upscaler)를 사용하여 이미지 품질을 향상시키고, 최첨단 알고리즘을 이용해 해상도를 높이고 노이즈를 제거하여 이미지를 더욱 매력적으로 만듭니다.MultiModalAgent (Blip2)를 사용하여 이미지에 대한 설명적인 캡션(caption)을 생성함으로써 더 많은 맥락을 제공하고 이미지를 더욱 의미 있게 만듭니다.CommsAgent (TwilioEmailWriter)를 사용하여 이메일이나 다른 메시징 플랫폼을 통해 대상 청중에게 이미지를 전송하여, 멋진 비주얼로 잠재 여행객의 관심을 끌고 새로운 목적지를 홍보합니다.대규모 주식 포트폴리오를 관리하는 투자 회사에게는 최신 시장 동향을 파악하고 다양한 주식의 성과를 분석하여 정보에 입각한 투자 결정을 내리는 것이 매우 중요합니다. 하지만 여러 출처의 데이터를 분석하는 것은 시간이 많이 걸리고 오류가 발생하기 쉽습니다. 따라서 이 투자 회사는 AgentChain을 사용하여 분석 프로세스를 자동화하고 다양한 에이전트의 도움으로 보고서를 생성하고자 합니다.
AgentChain은 다음과 같이 여러 에이전트를 연결(chaining)하여 도움을 줄 수 있습니다:
ToolsAgent (Python REPL, TableQA)를 사용하여 다양한 출처(예: CSV 파일, 주식 시장 API)의 데이터를 분석하고 수익, 배당금, P/E 비율과 같은 금융 지표와 관련된 계산을 수행합니다.SearchAgent (Bing API)를 사용하여 포트폴리오 내 주식과 관련된 최근 실적 보고서, 산업 동향, 애널리스트 평점 등 뉴스와 정보를 수집합니다.NLPAgent (GPT)를 사용하여 수집된 뉴스 및 정보의 요약본과 글머리 기호(bullet points)를 작성하여 시장 심리와 잠재적인 트렌드에 대한 통찰력을 제공합니다.CommsAgent (TwilioEmailWriter)를 사용하여 분석 결과를 적절한 이해관계자에게 요약 보고서로 전송함으로써, 이들이 투자에 대해 정보에 입각한 결정을 내릴 수 있도록 돕습니다.우수한 고객 서비스를 제공하고자 하는 전자상거래 사이트에게는 고객 문의 및 지원 요청을 시의적절하고 효율적인 방식으로 처리할 수 있는 챗봇을 갖추는 것이 중요합니다. 하지만 복잡한 고객 요청을 이해하고 응답하는 챗봇을 구축하는 것은 어려울 수 있습니다. 따라서 이 전자상거래 사이트는 AgentChain을 사용하여 챗봇 프로세스를 자동화하고 다양한 에이전트의 도움으로 우수한 고객 서비스를 제공하고자 합니다.
AgentChain은 다양한 에이전트를 연결(chaining)하여 다음과 같이 도움을 줄 수 있습니다:
MultiModalAgent (Blip2, Whisper)를 사용하여 텍스트, 이미지, 오디오 등 다양한 모달리티의 입력을 처리함으로써, 고객들이 자연스러운 방식으로 질문하고 요청할 수 있도록 합니다.SearchAgent (Google Search API, Wikipedia API)나 DBAgent를 사용합니다.CommsAgent (TwilioMessenger)를 사용하여 메시징 플랫폼을 통해 고객과 소통하며, 실시간으로 지원하고 질문에 답변합니다.ToolsAgent (Math)를 사용하여 할인, 세금 또는 배송비와 관련된 계산을 수행함으로써, 고객들이 구매에 대해 정보에 입각한 결정을 내릴 수 있도록 돕습니다.MultiModalAgent (Coqui)를 사용하여 자연스러운 응답을 생성하고 더 복잡한 대화를 유지하여, 고객에게 개인화되고 몰입도 높은 경험을 제공합니다.개인 건강 지원 서비스는 비용이 많이 들고 제한적일 수 있습니다. 개인이 자신의 건강과 웰빙을 관리하는 데 도움을 줄 수 있는 개인 건강 비서를 갖는 것이 필수적입니다. 하지만 특히 노인의 경우, 개인화된 건강 조언 및 알림을 제공하는 것은 어려울 수 있습니다. 이것이 바로 AgentChain이 다양한 에이전트의 도움을 받아 건강 비서 프로세스를 자동화하고 개인화된 지원을 제공하는 것을 목표로 하는 이유입니다.
AgentChain은 여러 에이전트를 연결(chaining)하여 다음과 같이 도움을 줄 수 있습니다:
DBAgent를 사용하여 다양한 건강 모니터링 장치(예: 심박수 측정기, 혈압계, 수면 추적기)로부터의 입력을 처리하고, 실시간 건강 데이터와 알림을 건강 비서에게 제공합니다.SearchAgent(Google Search API, Wikipedia API) 또는 다른 의료 데이터베이스를 사용하여 부작용, 복용량, 상호작용 등 건강 주제 및 의약품에 대한 정보를 제공합니다.NLPAgent(GPT)를 사용하여 노인의 건강 목표와 선호도를 고려하여 식단, 운동 및 약물에 대한 개인화된 권장 사항을 생성합니다.CommsAgent(TwilioCaller, TwilioMessenger)를 사용하여 조언하고, 알림(reminders)을 설정하며 경고(alerts)를 제공하여 건강 목표를 유지하도록 돕고, 삶의 질을 개선하며 응급 치료의 필요성을 줄입니다.다음 프로젝트들의 오픈 소스에 감사드립니다:
Hugging Face
LangChain
Stable Diffusion
ControlNet
InstructPix2Pix
CLIPSeg
BLIP
Microsoft