휴대폰에서 17개 에이전트 AI 스웜을 구축한 방법

휴대폰에서 17개 에이전트 AI 스웜을 구축하는 방법

자, 준비하세요. 이건 좀 거친 경험일 거예요. 지난 몇 주 동안 저는 'IronVision Nexus'라고 부르는 것에 집착적으로 작업해 왔습니다. 이것은 제 Android 휴대폰에서 완전히 실행되는 다중 에이전트 AI 시스템입니다. 서버는커녕 클라우드 의존성도 없습니다. 그저 17개의 작은 AI 두뇌들이 돌아다니며 상호 작용하고 기본적인 과제, 즉 협업적 객체 인식 및 장면 설명 문제를 해결하려고 시도합니다. 적어도 배우는 과정이었습니다. 그래서 저는 이 여정, 어려움, 그리고 제가 어떻게 그것을 가능하게 했는지 공유하고 싶습니다.

왜 휴대폰인가? 그리고 왜 스웜(Swarm)인가?

좋은 질문입니다! '휴대폰인 이유'는 엣지 컴퓨팅(edge computing)에 대한 매혹에서 비롯되었습니다. 저는 _로컬_에서 가능한 것의 경계를 밀어붙이고 싶었습니다. 우리는 클라우드에 너무 의존하고 있고, 자체적으로 완결성이 있으며 개인 정보 보호에 초점을 맞춘 AI라는 아이디어가 흥미로웠습니다. 게다가 멋진 기술적 도전이기도 합니다.

'스웜' 측면은 창발적 행동(emergent behavior)을 탐구하려는 욕구에서 나옵니다. 개별 AI 에이전트는 비교적 단순합니다. 하지만 그들을 한데 모으고, 각각 고유의 약간 다른 목표와 관점을 갖게 하면 흥미로운 일들이 발생합니다. 이는 제한된 범위 내에서도 집단 지능(collective intelligence)을 활용하는 것에 관한 것입니다.

아키텍처: Tasky & TinyLLM

IronVision Nexus의 핵심은 두 가지 주요 구성 요소, 즉 Tasky(저의 경량 작업 관리 시스템)와 양자화된 버전의 TinyLLM을 기반으로 구축되었습니다.

• TinyLLM: 이곳에서 '사고'가 일어납니다. 저는 llama.cpp를 사용하여 1.1B 파라미터 버전의 TinyLLM을 4비트 정밀도로 양자화(quantized)하여 사용하고 있습니다. 이것은 휴대폰에서 실행하는 데 매우 중요합니다. 전체 모델은 불가능할 것입니다. 저는 TinyLLM이 작고 비교적 빠르면서도 기본적인 언어 이해 능력을 보여주도록 설계되었기 때문에 이 모델을 선택했습니다.
• Tasky: 이것은 에이전트를 오케스트레이션(orchestrating)하는 저만의 시스템입니다. 작업 큐(task queue)이자 통신 버스라고 생각하시면 됩니다. 각 에이전트는 큐에서 작업을 가져와 처리한 다음, 그 결과를 다시 게시하고 다른 에이전트들을 위해 새로운 작업을 생성할 수도 있습니다.

에이전트: 전문화가 핵심입니다

저는 똑같은 에이전트 17개를 원하지 않았습니다. 그것은... 지루했을 것이기 때문입니다. 대신, 각 에이전트는 특정 역할에 특화되어 있습니다. 세부 내용은 다음과 같습니다:

• Image Captioners (4개): 이 에이전트들은 원본 이미지 데이터(휴대폰 카메라에서 가져옴)를 받고 초기 텍스트 설명을 생성합니다. 프롬프트: “이미지를 가능한 한 자세하게 설명하세요.”
• Object Detectors (4개): 사전 학습된 MobileNetV2 모델(TensorFlow Lite 사용)을 활용하여, 이 에이전트들은 이미지 내의 객체를 식별하고 그 경계 상자(bounding boxes)와 신뢰도 수준을 보고합니다.
• Scene Understanding Agents (3개): 이 에이전트들은 Image Captioners와 Object Detectors로부터 나온 출력을 받아, 장면의 더 높은 수준의 이해를 구축하려고 시도합니다. 프롬프트: “이미지 설명과 감지된 객체를 바탕으로, 이 장면에서 무슨 일이 일어나고 있나요?”
• Detail Enhancement Agents (3개): 이 에이전트들은 설명을 다듬하는 데 중점을 둡니다. 초기 설명을 받고 명확히 하는 질문을 하거나 추가 세부 사항을 찾습니다. 프롬프트: “이전 설명에 대해 확장해 주세요. 눈에 띄는 특정 특징은 무엇인가요?”
• Consensus Agent (3개): 이 에이전트들은 중재자 역할을 합니다. 다른 모든 에이전트들로부터 출력을 받고, 최종적이고 합의된(consensus-driven) 장면 설명을 만들려고 시도합니다. 바로 여기서 '스웜 인텔리전스(swarm intelligence)'가 실제로 작동하는 것입니다.

코드 스니펫: 내부 작동 방식 엿보기

Tasky가 에이전트의 작업 부하를 어떻게 관리하는지 보여주는 간소화된 Python 코드를 살펴보겠습니다. 이 코드는 휴대폰에서 Pydroid 3을 통해 실행됩니다:

import queue

class Agent:
...

이것은 매우 단순화된 예시입니다. 실제 구현에서는 에이전트 간의 통신을 처리하고, 자원 할당(메모리는 정말 제약적입니다!)을 관리하며, TinyLLM 추론 엔진과 통합합니다.

도전 과제 및 최적화 방안

이것을 휴대폰에서 실행하는 것은 어려움이 없는 것은 아닙니다:

• 메모리 관리: 가장 큰 문제입니다. 4비트 양자화(quantization)가 도움이 되지만, 17개의 TinyLLM 인스턴스는 여전히 메모리를 많이 사용합니다. 저는 결과를 공격적으로 캐싱하고 에이전트가 활발하게 작업을 처리하지 않을 때 언로드(unloading)합니다.
• 연산 능력: 휴대폰의 CPU가 병목 지점입니다. MobileNetV2 모델에는 TensorFlow Lite를 사용하고, -ngl과 같은 llama.cpp 매개변수를 통해 TinyLLM 추론을 대폭 최적화했습니다 (GPU로 레이어를 오프로딩하는 기능인데, 놀라울 정도로 효과적입니다!).
• 프로세스 간 통신(IPC): Python의 멀티프로세싱은 느릴 수 있습니다. 에이전트 간 데이터 전달에 필요한 오버헤드를 줄이기 위해 공유 메모리(shared memory)를 실험하고 있습니다.
• 배터리 수명: 이 장치는 배터리를 소모합니다. 비활성 상태의 에이전트는 전력을 보존하기 위해 일시 중지하는