재정적 부담 없이 집에서 AI 코딩하는 세 가지 방법

회사처럼 많은 돈을 쓰지 않고도 집에서 AI 코딩을 할 수 있는 세 가지 방법이 있으며, 어떤 방법이 적합한지는 주로 내년 하드웨어와 모델 출시 계획에 얼마나 의존하느냐에 따라 달라집니다. 첫 번째는 셀프 호스팅(self host)입니다. 기계를 구매하여 오픈 소스 모델을 로컬에서 실행하고, 그 이후에는 토큰당 비용을 전혀 지불하지 않습니다. 초기 비용이 매우 높고 집에서 실제로 구동할 수 있는 모델은 최첨단 연구소들이 출시하는 것보다 성능이 약하기 때문에, 이 방법은 느리지만 저렴한 모델로 밤새도록 장시간 작업(long running tasks)을 꾸준히 돌릴 수 있을 때만 효과를 볼 수 있습니다. 대부분의 사람들은 그렇게 무거운 홈 머신을 유지할 수 없으며, 오늘 구매하는 하드웨어는 1년 후에는 좋지 않은 선택으로 보일 수 있습니다.

두 번째 방법은 하드웨어를 건너뛰고 동일한 오픈 소스 모델을 제공업체로부터 API 요율로 임대하는 것입니다. 대부분의 사람들에게 이것이 올바른 선택입니다. 구성이 아직 유동적인 상황에서 단 하나의 GPU 세팅에 수천 달러를 투자하는 것을 피할 수 있고, 오픈 모델에서 장시간 성능을 짜내는 작업을 건너뛸 수 있으며, 다음 달에 더 저렴하거나 나은 것으로 바꿀 때 박스를 재판매할 필요가 없습니다. OpenRouter 같은 서비스는 이 전환을 한 줄의 코드 변경만으로 가능하게 합니다.

세 번째 방법은 OpenAI와 Anthropic의 최첨단(frontier) 구독 서비스를 조합하여 사용하는 것입니다. 월 약 400달러짜리 플랜은 명목 가격 기준으로 약 2,800달러 상당의 API 사용량을 구매할 수 있어, 한도가 다할 때까지는 정말 좋은 거래입니다. 이 플랜들은 측정 방식(metered)으로 운영되며, 어떤 대규모 AI 네이티브 워크플로우든 포함된 토큰을 빠르게 소진시킵니다. 이 방법은 사람이 직접 주도하는 작업에는 탁월하지만, 하루 종일 작동하는 에이전트의 엔진으로는 부족합니다.

제가 가장 효과적이라고 본 것은 앞선 두 가지 방법을 혼합하는 것입니다. 어려운 사고(hard thinking)와 명세서 작성(spec writing)을 위해 몇 개의 최첨단 구독 서비스를 유지하고, 오픈 소스 모델에 대한 API 요율을 지불하여 작은 기계적인 부분들을 처리하게 하는 것입니다. 비용이 많이 드는 모델이 계획을 세우고 저렴한 모델들이 그 계획을 채워 넣도록 명세서 주도 개발(spec driven development)에 의존하는 것입니다. 이것을 잘 수행하면, 20명의 엔지니어 팀이 한 달 동안 만들어낼 결과물을 약 천 달러로 구축할 수 있습니다.