BoxAgnts Runtime (6) — Rust + WASM, 로컬 퍼스트 (Local-First)

지난 10년 동안 소프트웨어 인프라는 클라우드 네이티브 (cloud-native) 아키텍처를 향해 결정적으로 이동해 왔습니다. AI 에이전트 (AI agents) 또한 클라우드 호스팅 모델, 원격 API, 중앙 집중식 오케스트레이션 (orchestration)과 같은 동일한 경로를 따랐습니다. 하지만 개인정보 보호 요구가 증가하고, 인프라 비용이 상승하며, 오프라인 시나리오가 등장함에 따라, 한때 해결된 것으로 간주되었던 질문이 다시 검토되고 있습니다:

AI 에이전트가 항상 클라우드에서 실행되어야 하는가?

그 답은 점점 더 명확하지 않아지고 있습니다. 로컬 퍼스트 (Local-first) AI 시스템은 의료, 금융, 정부 및 기업 컴플라이언스 (compliance) 시나리오에서 대체 불가능한 가치를 입증하고 있습니다. BoxAgnts는 처음부터 이 경로를 선택했습니다.

클라우드 중심 에이전트의 한계

개인정보 보호 (Privacy): 많은 에이전트 워크플로우 (workflow)는 소스 코드, 내부 문서, 데이터베이스 및 독점적인 비즈니스 프로세스에 대한 접근 권한이 필요합니다. 이를 외부 인프라로 전송하는 것은 컴플라이언스 리스크와 보안 문제를 의미합니다.

지연 시간 (Latency): 에이전트 시스템은 파일 작업, 코드 분석 및 리포지토리 (repository) 탐색을 빈번하게 수행합니다. 모든 동작을 원격 API를 통해 라우팅하는 것은 불필요한 지연 시간을 유발합니다.

오프라인 (Offline): 클라우드 퍼스트 (Cloud-first) 시스템은 안정적인 네트워크 연결을 가정합니다. 하지만 실제 환경에서는 이러한 가정이 위반되는 경우가 빈번합니다. 개발자에게는 오프라인 코딩 어시스턴트, 엣지 컴퓨팅 (edge-computing) 에이전트, 그리고 프라이빗 인프라 자동화가 필요합니다.

BoxAgnts의 솔루션은 명확합니다: 런타임 (runtime)을 사용자의 머신에 배치하고, 필요에 따라 로컬 또는 클라우드 모델을 선택하십시오. 브라우저에서 http://127.0.0.1:30001을 여십시오. 모든 에이전트 상호작용은 로컬에서 발생합니다.

왜 Rust가 에이전트 런타임 개발에 적합한가

대부분의 AI 툴링 (tooling)은 Python을 사용합니다. 빠른 반복, 풍부한 라이브러리, 연구 친화적이라는 장점이 있습니다. 하지만 런타임 인프라는 다른 우선순위를 가집니다: 예측 가능한 성능, 메모리 안전성 (memory safety), 효율적인 동시성 (concurrency), 낮은 리소스 오버헤드 (resource overhead), 휴대 가능한 배포. Rust는 이 모든 영역에서 탁월합니다.

BoxAgnts는 몇 가지 엔지니어링 이유로 Rust를 선택했습니다:

메모리 안전성 (Memory safety): 에이전트 런타임 (Agent runtimes)은 실행 상태 (execution state), 도구 레지스트리 (tool registries), 컨텍스트 저장소 (context stores), 그리고 오케스트레이션 그래프 (orchestration graphs)를 유지합니다. 복잡성이 증가함에 따라 메모리 안전성은 더 이상 선택 사항이 아닙니다. Rust는 가비지 컬렉션 (GC) 중단 없이 강력한 보장을 제공합니다.

동시성 (Concurrency): 현대적인 에이전트는 병렬 도구 호출 (parallel tool calls), 동시 검색 (concurrent retrieval), 멀티 에이전트 조정 (multi-agent coordination), 그리고 비동기 오케스트레이션 (async orchestration)을 실행합니다. Rust의 async/await와 Tokio 생태계는 이러한 워크로드에 자연스럽게 부합합니다.

배포 단순성 (Deployment simplicity): Python 환경은 의존성 해결 (dependency resolution), 패키지 관리 (package management), 런타임 설정 (runtime configuration)이 필요합니다. 반면 Rust는 **단일 바이너리 (single binary)**로 컴파일됩니다:

# pip install도, conda도, Docker도 필요 없음
boxagnts --workspace-dir /path/to/workspace --port 30001

BoxAgnts의 전체 Cargo.toml 워크스페이스는 모든 모듈을 정적 링크된 실행 파일 (statically-linked executable)로 컴파일합니다. 다운로드, 압축 해제, 실행. 단 세 단계면 충분합니다.

WebAssembly가 도구 모델을 변화시키다

도구 실행은 AI 에이전트에서 가장 어려운 보안 과제 중 하나입니다. 전통적인 경로인 Agent → Python → Shell → Host System 방식은 엄청난 위험을 수반합니다.

BoxAgnts는 실행 체인 전체를 WebAssembly (WASM)로 대체합니다:

에이전트 결정 (Agent Decision)
    ↓
도구 트레이트 인터페이스 (Tool Trait Interface, 통합 추상화)
...

boxagnts/tools-manager/src/lib.rs에서 모든 도구가 어떻게 등록되는지 살펴보십시오:

pub fn all_tools() -> Vec<Box<dyn Tool>> {
    vec![
        // Built-in tools
...

Each WASM tool compiles once, runs cross-platform—macOS, Linux, Windows—with identical behavior. This portability is enormously important for AI ecosystems—agent tools shouldn't be fragile "works on my machine" artifacts.

Unified Tool Interface Design

BoxAgnts' most important runtime abstraction is the Tool trait—every tool looks identical from the agent's perspective:

pub trait Tool: Send + Sync {
    fn name(&self) -> &str;
    fn description(&self) -> &str;
...

The runtime doesn't care whether a tool is native Rust, WebAssembly, MCP-compatible, or a remote service—a unified interface means unified governance. All tools' permission_level is checked by the same permission system; all WASM tools' execute goes through the same sandbox pipeline.

Context Lifecycle Management

Context management is one of the hidden pain points of agent systems. Most discussions focus on "context window size," but the runtime needs to think about more: context creation, persistence, compaction, expiration, sharing.

BoxAgnts manages these through the boxagnts/workspace/ module. Sessions are stored as JSON files in the local workspace:

// boxagnts/gateway/src/api/chat_session.rs
pub async fn get_sessions() -> Result<Vec<Session>> {
    let sessions_dir = saved_dir.join("sessions");
...

Session history is entirely local—not uploaded to the cloud, not controlled by third-party services. Privacy and latency benefit simultaneously.

Multi-Agent Orchestration

BoxAgnts' Managed Agent mode implements the Manager-Executor architecture:

Planner Agent (Manager)
      ↓
┌──────────┬──────────┬──────────┐
...

In boxagnts/query/src/managed_orchestrator.rs, the system prompt defines the Manager's workflow:

1. Analyze the user request and decompose into well-defined sub-tasks
2. Launch an Executor for each sub-task using the Agent tool
3. Review Executor results; if insufficient, re-dispatch with clarified instructions
4. Synthesize all results into a coherent response

Each Executor has independent max_turns, independent tool sets, and optional Git worktree isolation—runtime-level fault isolation, not prompt-level suggestions.

Resource Governance

BoxAgnts enforces multi-layer resource control through the WASM sandbox:

Dimension	Mechanism	Purpose
Time	wasm_timeout	Prevents long-running execution
...
Without this governance, highly autonomous agents eventually become operational liabilities.

Skill System: Composable Agent Capabilities

BoxAgnts' skill system is a lightweight capability extension mechanism. Skills are defined as Markdown files in app/extensions/skills/:

skills/
├── code-review/SKILL.md           ← Code review
├── css-refactor-advisor/SKILL.md  ← CSS refactoring advice
...

Each SKILL.md uses YAML frontmatter to declare name, description, trigger conditions, required tools, and parameters. SkillTool loads and expands these templates, injecting results into the LLM context. Skills can be shared, composed, and reused across workspaces—capability security manifested at the application layer.

Conclusion

AI agents are evolving from conversational apps into infrastructure systems. Local-first architecture provides privacy, low latency, and offline capability. Rust provides performance, safety, and portability. WebAssembly provides sandboxing, capability isolation, and portable execution—together, they form a powerful foundation for next-generation agent runtimes.

BoxAgnts proves one thing: the future of AI agents need not be entirely cloud-native—in many scenarios, it should be local-first, capability-driven, and sandboxed by default.

Resources

• BoxAgnts: https://github.com/guyoung/boxagnts