Hackesh: 당신의 AI 비서, 당신의 머신, 당신의 규칙

만약 프리랜서가 모든 요청을 제3자 AI 제공업체로 보내거나 모든 API 호출에 대해 비용을 지불하지 않고도 반복적인 작업을 자동화하는 데 AI 비서를 사용할 수 있다면 어떨까요?

이 질문은 저에게 Hackesh를 구축하게 된 영감의 원천이 되었는데, Hackesh는 독립 개발자, 프리랜서 및 소규모 기업들이 AI 기반 자동화를 더 쉽게 이용할 수 있도록 설계된 로컬 우선(local-first) AI 에이전트입니다.

저의 목표는 간단합니다. 사람들이 직접 실행하고, 맞춤 설정하며, 궁극적으로 자신의 업무에서 지루한 부분을 자동화하는 데 사용할 수 있는 AI 비서를 만드는 것입니다.

AI를 제 애플리케이션이 의존하는 원격 API로 취급하기보다는, 모델(model), 에이전트 로직(agent logic), 도구(tools)가 개발자의 통제하에 있을 때 어떤 것이 가능한지 탐구하고 있습니다.

그리고 저는 이 아이디어를 사람들이 실제로 비용을 지불할 수 있는 무언가로 만들고 싶습니다.

제가 구축한 것

Hackesh는 오픈 웨이트(open-weight) 언어 모델과 도구 통합을 중심으로 구축된 로컬 우선 AI 에이전트입니다.

많은 프리랜서들은 애플리케이션 간 전환, 정보 검색, 반복적인 작업을 수행하는 데 몇 시간을 소비합니다. 그들은 종종 자동화가 필요하지만, 정교한 AI 워크플로우를 구축할 예산, 인프라 또는 기술 전문 지식이 반드시 있는 것은 아닙니다.

Hackesh는 다른 접근 방식을 탐구합니다: 요청에 대해 추론하고 유용한 작업을 수행하기 위해 도구를 사용할 수 있는 AI 비서입니다.

이 프로젝트는 로컬에서 실행되는 언어 모델을 기반으로 사용하며, 추가적인 도구로 확장할 수 있는 에이전트 아키텍처를 갖추고 있습니다.

현재 개발 작업에는 다음 내용이 포함됩니다:

• Local AI 추론 (inference): 모든 상호작용마다 호스팅된 모델 API를 요구하는 대신, Ollama를 통해 Llama 3.1을 실행합니다.
• 도구 통합 (Tool integration): 에이전트를 외부 기능에 연결하여 단순히 텍스트를 생성하는 것 이상의 작업을 수행할 수 있게 합니다.
• 계산기 도구 (Calculator tool): 에이전트가 전용 계산 도구에 접근하도록 합니다.
• YouTube 통합: 비디오 관련 정보에 대한 도구 지원 접근 방식을 탐색합니다.
• Gmail 통합: 이메일 전송 테스트를 포함하여 OAuth 기반의 이메일 기능을 구현합니다.
• 확장 가능한 에이전트 아키텍처 (Extensible agent architecture): LangGraph를 사용하여 에이전트의 실행 및 도구 호출 워크플로우를 구성합니다.

단순히 질문에 답하는 챗봇을 만드는 것이 흥미로운 부분이 아닙니다.

도구, 워크플로우, 그리고 다양한 모델을 통해 기능이 성장할 수 있는 비서(assistant)를 구축하는 것입니다.

누가 비용을 지불할까요?

저의 초기 목표 사용자는 다음과 같습니다:

• 반복적인 관리 업무를 자동화하려는 프리랜서.
• 사용자 정의 가능한 AI 비서를 원하는 독립 개발자.
• 저렴한 워크플로우 자동화가 필요한 중소기업(Small businesses).
• 가능할 때 AI 처리를 자신의 장치에서 유지하는 것을 선호하는 개인 정보 보호에 민감한 사용자.

다른 일반적인 챗봇에 대한 접근 권한을 사람들에게 청구하기보다는, 실용적인 자동화—사용자가 특정 작업에서 시간을 절약해 주는 도구와 워크플로우—를 판매하는 방안을 탐색하고 싶습니다.

장기적인 비즈니스 방향은 유용한, 바로 실행 가능한 워크플로우를 제공하며, 선택적으로 유료 맞춤 설정 및 설정 지원 서비스를 추가하는 것입니다.

이 제품은 사용자에게 비용보다 더 많은 시간과 돈을 절약해 줌으로써 그 자리를 얻어야 합니다.

데모 (Demo)

프로젝트: Hackesh AI 에이전트

[작동하는 데모 또는 짧은 화면 녹화 링크를 여기에 추가하세요.]

데모는 실제 애플리케이션 실행, 로컬 모델에 의해 요청이 처리되는 과정, 그리고 최소한 하나의 도구가 성공적으로 호출되는 것을 보여줘야 합니다.

또한 핵심 추론 워크플로우(inference workflow)에서 호스팅된 LLM API에 의존하는 것이 아니라 Ollama를 통해 모델이 실행되고 있음을 시연하고 싶습니다.

코드 (Code)

GitHub 저장소: Hackesh AI Agent**

이 프로젝트는 Python, Ollama, LangGraph 및 도구 통합을 사용하여 개발되고 있습니다.

저는 Hackesh가 이해하기 쉽고 확장 가능하도록 유지하고 싶습니다. 이를 통해 개발자들이 에이전트가 어떻게 작동하는지 검사하고, 그 도구들을 실험하며, 자신들의 워크플로우에 맞게 조정할 수 있도록 할 것입니다.

로컬 AI 에이전트, 오픈 웨이트 모델(open-weight models), 또는 실용적인 AI 자동화에 관심이 있으시다면, 여러분의 피드백과 기여를 환영합니다.

구축 과정 (How I Built It)

저는 단순한 아키텍처 원칙을 중심으로 Hackesh를 구축했습니다:

언어 모델(language model)은 교체 가능해야 하며, 에이전트의 기능은 확장 가능해야 합니다.

기본 아키텍처는 다음과 같습니다:

User
  |
  v
...

모델은 언어 이해를 처리하고 요청에 어떻게 응답할지 결정하는 데 도움을 줍니다. 에이전트 프레임워크가 실행을 구성하며, 도구(tools)는 특정 기능을 제공합니다.

1. Ollama를 사용한 로컬 추론 (Local Inference)

저는 Llama 3.1을 로컬에서 실행하기 위해 Ollama를 사용합니다.

이를 통해 애플리케이션이 모든 프롬프트에 대해 원격 추론 API(remote inference API)를 필요로 하는 대신, 사용자 기기에서 모델 추론을 수행할 수 있게 합니다.

로컬 추론은 또한 모델 선택, 런타임 구성 및 개발 환경에 대한 더 큰 제어권을 제공합니다.

2. 에이전트 오케스트레이션을 위한 LangGraph

저는 에이전트의 워크플로우를 구조화하기 위해 LangGraph를 사용합니다.

이는 단순한 프롬프트-응답 루프보다 더 체계적인 실행 흐름을 구축할 수 있게 합니다.

프로젝트가 성장함에 따라, 모든 기능을 단일 하드코딩된 상호작용에 묶지 않고도 추가 도구, 라우팅 로직(routing logic), 다단계 워크플로우를 도입할 수 있습니다.

3. 응답을 행동으로 바꾸는 도구들 (Tools That Turn Responses into Actions)

텍스트만 생성할 수 있는 언어 모델은 사용자가 무언가를 수행하기를 원할 때 유용성이 제한적입니다.

도구들은 에이전트를 텍스트 생성을 넘어 확장합니다.

예를 들어, 계산기(calculator)는 계산을 처리할 수 있으며, 통합(integrations)은 에이전트를 다른 서비스에 연결할 수 있습니다.

이러한 분리는 또한 애플리케이션을 테스트하기 쉽게 만듭니다. 모델, 워크플로우, 개별 도구를 독립적으로 검토할 수 있기 때문입니다.

4. 실용적인 자동화를 위한 기반

다음 초점은 개별 도구 통합에서 벗어나 특정 문제를 해결하는 완전한 워크플로우로 이동하는 것입니다.

예를 들어, 프리랜서 중심의 워크플로우는 궁극적으로 수신 요청을 정리하고, 이메일 초안을 작성하며, 프로젝트 정보를 요약하고, 일상적인 관리 업무를 지원하는 데 도움이 될 수 있습니다.

이것들은 제가 이미 완성되었다고 주장하는 기능이 아니라 계획된 확장입니다.

목표는 불필요한 복잡성을 추가하기 전에 Hackesh가 실제 고객에게 유용하도록 만드는 것입니다.

오픈 혁신은 왜 중요한가?

Hackesh에게 있어 오픈 혁신은 단순히 오픈 소스 소프트웨어에 대한 선호도가 아닙니다.

이는 제품의 경제성, 개인 정보 보호 모델, 확장성을 변화시킵니다.

1. 요청당 의무적인 LLM API 비용 없음

호스팅된 AI API는 편리할 수 있지만, 반복되는 추론(inference) 비용은 프리랜서나 소규모 비즈니스를 위한 제품을 구축할 때 우려 사항이 될 수 있습니다.

로컬 추론(local inference)을 사용하면 Hackesh가 모델의 하드웨어 및 성능 요구 사항에 따라 사용자가 이미 소유한 하드웨어에서 실행될 수 있습니다.

모델이 다운로드되면, 일반적인 추론은 별도의 호스팅된 LLM API 요금을 필요로 하지 않습니다.

여전히 비용이 발생합니다: 전기, 하드웨어, 스토리지, 유지보수 및 개발입니다. 로컬 추론이 절대적으로 무료는 아닙니다.

하지만 이는 모든 상호 작용을 측정 가능한(metered) 추론 서비스에 의존하지 않으면서도 저렴한 제품을 구축할 수 있는 또 다른 방법을 제공합니다.

2. 민감한 정보에 대한 더 많은 제어권

프리랜서는 정기적으로 고객 서신, 프로젝트 세부 정보, 비즈니스 문서 및 기타 민감한 정보를 처리합니다.

추론이 로컬에서 발생하면, 로컬 모델로 전송되는 프롬프트는 원격 LLM 제공업체로 전송될 필요가 없습니다.

이는 불필요한 민감 정보 노출을 줄일 수 있습니다.

하지만 중요한 구분이 있습니다: Hackesh는 Gmail과 같은 외부 서비스와도 통합됩니다. 이러한 통합은 데이터를 해당 제공업체로 전송할 수 있으므로, 전체 애플리케이션을 완전히 오프라인이거나 완벽하게 비공개라고 자동적으로 설명할 수는 없습니다.

제 목표는 데이터 흐름을 명시적으로 만들고 실용적인 모든 곳에서 처리를 로컬에 유지하는 것입니다.

3. 모델 실험의 자유로움

저는 전체 제품이 단일 AI 제공업체의 가격 책정, API 제한 또는 모델 가용성에 의존하기를 원하지 않습니다.

Ollama를 통해 오픈 웨이트(open-weight) 모델을 사용하면 로컬에서 지원되는 모델을 실험하고 이를 제 사용 사례와 비교하여 평가할 수 있는 실질적인 방법을 제공합니다.

서로 다른 모델들은 서로 다른 하드웨어 요구 사항, 응답 품질 및 도구 호출 기능을 가지고 있습니다. 특정 장치나 워크플로우에 최적화하는 과정에서 대안을 테스트할 수 있다는 점은 가치가 있습니다.

4. 에이전트 동작 방식에 대한 더 많은 제어

에이전트의 워크플로우는 제품의 일부입니다.

LangGraph와 모듈식 도구를 사용하면 전체 시스템을 불투명한 원격 서비스로 취급하는 대신, 작업이 실행되는 방식을 검사하고 수정할 수 있습니다.

저는 워크플로우를 변경하고, 새로운 도구를 도입하며, 유효성 검사를 추가하고, 다양한 실행 전략을 테스트할 수 있습니다.

그러한 유연성은 범용 어시스턴트에서 특정 고객 그룹을 위한 전문화된 제품으로 이동할 때 중요합니다.

5. 지속 가능한 무언가 구축하기

가장 중요한 비즈니스 질문은 모델이 오픈인지 클로즈(closed)한지가 아닙니다.

그것은 누군가가 결과에 대해 비용을 지불할 만큼 충분한 가치를 제가 제공할 수 있는지 여부입니다.

오픈 웨이트 모델과 로컬 추론(local inference)은 Hackesh가 운영 비용을 통제할 수 있는 또 다른 방법을 제공합니다. 이는 특히 이미 적합한 하드웨어를 가진 사용자들에게 특정 저비용 자동화 제품을 더 실현 가능하게 만들 수 있습니다.

오픈 혁신(Open innovation)은 제가 그 비즈니스 모델을 실험할 자유를 줍니다.

진짜 테스트는 Hackesh가 누군가가 정기적으로 사용하기로 선택할 만큼 충분히 고통스러운 문제를 해결할 수 있는지 여부입니다.

나의 에이전트 세션

저는 Hackesh를 구축하는 과정을 기록하고 있습니다.

[여기에 DevRelay 에이전트 세션이 있다면 추가하세요.]

사람들이 최종 결과뿐만 아니라 프로젝트가 어떻게 진화하는지, 즉 아키텍처, 도구 통합, 디버깅 과정, 그리고 로컬 우선(local-first) 에이전트를 구축하는 데 관련된 의사결정 과정을 보고 싶어 합니다.

첫 번째 사용자 (My First User)

다음 마일스톤은 Hackesh를 실제 프리랜서나 소규모 사업자에게 전달하는 것입니다.

저는 간단한 실험부터 시작하고 싶습니다:

1. 그들이 매주 시간을 들이는 반복적인 작업을 하나 파악합니다.
2. 해당 작업에 맞춰 Hackesh를 구성합니다.
3. 그들의 허락 하에 실제 업무에 사용하게 합니다.
4. 자동화 전과 후의 워크플로우를 비교합니다.
5. 해결책에 대해 비용을 지불할 의향이 있는지, 그리고 무엇이 더 유용하게 만들 수 있을지 묻습니다.

저는 특히 사용자들이 로컬 추론(local inference), 워크플로우 사용자 정의(workflow customization), 호스팅된 LLM API에 대한 의존도 감소, 또는 단순히 절약되는 시간 중 무엇을 가치 있게 여기는지에 관심이 있습니다.

사람들이 단지 AI를 사용한다는 이유만으로 비용을 지불할 것이라고 가정하고 싶지 않습니다.

그들이 실제로 무엇을 필요로 하는지 알아내고 싶습니다.

[첫 번째 시도 후, 사용자가 어떤 것을 시도했는지, 무엇이 작동했고, 무엇이 실패했는지, 그리고 돈을 지불했는지 추가하세요.]

수상 부문 (Prize Categories)

[챌린지 규칙에 따라 Hackesh가 실제로 자격을 갖는 파트너 상 품목만 추가하세요.]

다음 단계는? (What's Next?)

저는 로컬 AI 에이전트, 오픈 가중치 모델(open-weight models), 그리고 도구 기반 자동화를 탐색하기 위해 Hackesh를 시작했습니다.

이제 저는 이를 좀 더 실용적인 질문으로 나아가고 싶습니다:

개발자가 프리랜서에게 충분히 저렴하고, 기술 사용자에게 충분히 맞춤화되어 있으며, 누군가 비용을 지불할 만큼 유용한 AI 비서를 만들 수 있을까?

다음 단계는 프로젝트를 인상적으로 보이게 하기 위해 더 많은 도구를 추가하는 것이 아닙니다.

하나의 실제 문제를 찾아 신뢰성 있게 해결하고, 그것을 사용하는 첫 번째 사람으로부터 배우는 것입니다.

만약 Ollama, LangGraph 또는 오픈 가중치 모델로 구축하고 있다면, 무엇을 작업하고 있는지 듣고 싶습니다.

반복적인 작업에 너무 많은 시간을 쓰는 프리랜서라면, 어떤 작업을 AI 비서가 가장 먼저 처리해주길 바라나요?

단순한 챗봇이 아닌 유용한 AI를 만들어 봅시다.