API 키 없이 로컬에서 실행되는 50가지 AI 기술을 오픈소스로 공개하며 1년 동안 배운 점들
요약
API 키 없이 로컬 LLM에서 실행 가능한 50가지 AI 기술(SKILL.md)을 오픈소스로 공개했습니다. 프롬프트 엔지니어링을 넘어선 설명 엔지니어링의 중요성과 MCP 프로토콜 활용, 로컬 실행의 프라이버시 이점 등 1년간의 개발 경험을 공유합니다.
핵심 포인트
- 프롬프트 엔지니어링보다 설명(Description) 엔지니어링이 중요함
- MCP 프로토콜 기반의 도구 사용 결정은 설명에 의존함
- 토큰 단위가 아닌 작업 성공 기반의 과금 모델이 고객 지원 감소에 효과적
- 로컬 실행은 프라이버시 보장으로 민감한 도구 사용 의지를 높임
- 사용량은 소수의 핵심 기술에 집중되는 파레토 분포를 따름
저는 약 1년 동안 AI 도구들을 만들어 왔으며, 최근 그중 50개를 사용자의 로컬 모델에서 완전히 실행되는 "기술 (skills)" 형태로 오픈소스로 공개했습니다. API 키도 필요 없고, 클라우드 호출도 없으며, 완벽한 프라이버시를 보장합니다. 이 기술들은 무엇인가요? 이것들은 어떤 로컬 LLM이라도 실행할 수 있는 마크다운 기반의 지침 세트 (SKILL.md 형식)입니다. 입력 스키마 (input schemas), 검증 게이트 (validation gates), 출력 포맷팅 (output formatting)이 구조화된, 강화된 형태의 전문가용 프롬프트라고 생각하시면 됩니다. 카테고리는 다음과 같습니다: - 심리학/MBTI 코칭 (8개 기술) - 커리어 개발 (10개 기술) - 학습 도구 (15개 기술) - 사회적 의사소통 (10개 기술) - 전통 중국 문화 분석 (7개 기술) 제가 배운 점들: 프롬프트 엔지니어링 (prompt engineering)보다 설명 엔지니어링 (description engineering)이 더 중요합니다. MCP 프로토콜을 통해 서비스를 제공할 때, AI는 오직 설명을 바탕으로 사용자의 도구를 사용할지 여부를 결정합니다. 우리는 좋은 호출률 (call rates)에 도달하기까지 5번의 버전을 반복했습니다. 토큰당 과금보다 작업당 과금이 더 낫습니다. 우리의 유료 티어 (284개 기술)의 경우, 작업이 성공적으로 완료되었을 때만 비용을 청구합니다. 실패는 무료입니다. 이 단 하나의 결정이 고객 지원 티켓을 60% 감소시켰습니다. 로컬 실행은 대화의 양상을 바꿉니다. 사용자들이 자신의 기기에서 아무것도 외부로 나가지 않는다는 것을 알게 되면, 민감한 도구(성격 분석, 관계 조언 등)를 시도하려는 의지가 놀라울 정도로 높습니다. 트래픽의 90%는 봇이었습니다. 솔직한 어려움인데, 웹 트래픽의 대부분이 스크래퍼 (scrapers)인 것으로 밝혀졌습니다. 소규모 팀에게 실제 사용자 확보는 어렵습니다. 파레토 분포 (Pareto distribution)는 실재합니다. 20개의 기술이 전체 사용량의 80%를 차지합니다. 우리는 평범한 284개 대신 훌륭한 20개로 시작했어야 했습니다. 링크: - GitHub (50개 무료 기술): https://github.com/tancoai/lianzhu-skill - 플랫폼 (284개 기술, 5개 무료 작업): https://tancoai.com - MCP 엔드포인트 (endpoint): https://mcp.tancoai.com/mcp 아키텍처, 과금 시스템 또는 MCP 통합에 관한 질문이 있다면 기꺼이 답변해 드리겠습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기