AI harness engineering은 흥미로운 분야이지만, 테스트 비용이 매우 빠르게 증가할 수 있습니다!

먼저, AI harness란 무엇일까요? 대부분의 사람들은 이를 LLM(Large Language Model)이라는 뇌에 연결되는 신체와 같다는 비유로 설명합니다. 하지만 저는 이것이 LLM이 실제로 생각하고 행동하는 방식에 미치는 영향이 매우 크기 때문에, 몇몇 장기와 연결된 신경계 (nervous system)에 더 가깝다고 주장하고 싶습니다 😅. 하지만 여러분이 어떻게 보든 간에, 특히 강력한 모델로 테스트를 진행한다면 하나를 구축하는 데 비용이 매우 빠르게 발생할 수 있습니다. 따라서 여러분이 학생이거나, 창업자이거나, 혹은 인디 해커 (indie hacker)의 길을 걷고 있다면, 구축 및 테스트 단계에서 그 비용이 빠르게 쌓일 수 있습니다. 저는 지난 3개월 동안 직접 하나를 구축해 왔는데, 제가 감당할 수 있는 것보다 더 많은 비용이 들고 있었습니다. 그래서 제가 공유하고 싶은 작은 해킹 (hack) 방법을 고안해 냈습니다. 제가 Local Bridge를 만들었습니다. 여러분은 이를 로컬 (locally)에서 실행하고 API 호출을 그곳으로 지정하면 됩니다. 그러면 모든 호출은 로컬 Claude 또는 Codex CLI 세션을 생성하여, LLM 엔드포인트 (endpoint)처럼 동작하고, 요청 파일을 읽고, 응답 JSON 파일을 출력하도록 지시합니다. 모든 호출은 과거의 기억이 없는 새로운 세션을 실행하므로, 모델이 요청에 포함된 내용 외에는 이전 호출에 대해 아무것도 모르는 실제 API 호출을 모방할 수 있습니다. 그런 방식으로 여러분은 초기 단계 테스트를 위해 실제 API를 사용하는 것보다 훨씬 저렴한 Claude 또는 Codex 구독을 사용할 수 있습니다. 물론 Claude와 Codex에는 일부 사전 구축된 시스템 프롬프트 (system prompts)가 있으므로, 저는 이것을 실제 API 평가의 100% 대체재가 아닌, 초기 단계의 테스트 및 디버깅 (debugging) 용도로 더 신뢰합니다. 오픈 소스: https://github.com/alisel5/local-bridge