대부분의 에이전트 프레임워크는 로컬 서버를 "Base URL이 다른 OpenAI"로 취급합니다. 이러한 가정 때문에 로컬 설정이 제대로 작동하지 않습니다. 대신 제가 내린 다섯 가지 결정은 다음과 같습니다:

1. 소규모 컨텍스트 모드 (Small-context mode): 프롬프트에 메모리와 스킬 본문을 통째로 붙여넣는 것을 중단했습니다. Ethos는 이름 인덱스와 memory_read 도구를 주입하며, 모델은 필요한 것만 가져옵니다.

2. 단일 OpenAI 형식이 아닌 백엔드별 구조화된 출력 (Structured output per backend): Ollama는 최상위 형식의 JSON 스키마를 사용하고, vLLM은 guided_json을 원하며, OpenAI-compat는 response_format을 원합니다. Ethos는 각 백엔드에 고유한 네이티브 형식을 전송합니다.

3. 서버가 실제로 제공하는 컨텍스트 탐색 (Probe the context): Ethos는 광고된 숫자를 신뢰하는 대신, 시작 시 실제로 무엇이 제공되는지 확인하여 어떤 에이전트가 적합한지 알려줍니다.

4. 접두사 안정적 프롬프트 (Prefix-stable prompts): 모든 정적 요소는 앞부분에 배치하고, 매 턴 발생하는 콘텐츠는 뒷부분에 배치하여, 접두사(prefix)가 매 턴 바이트 단위로 동일하게 유지되도록 함으로써 접두사 캐싱 (prefix caching)이 실제로 작동하게 했습니다.

5. 타임아웃 (Timeouts): 클라이언트 데드라인을 조이는 대신 10분으로 설정했습니다. 로컬 서버는 가중치를 VRAM으로 불러오는 동안 아무것도 보내지 않을 수 있기 때문입니다.

이 오픈 소스 MIT 에이전트 프레임워크를 구축 중입니다: https://github.com/ethosagent/ethos
이 프로젝트나 로컬 모델을 위한 처리가 필요하지만 제가 놓친 중요한 부분에 대해 피드백을 부탁드립니다.