최근 들어 ‘하네스(harness)’라는 단어를 정말 많이 듣게 되었습니다. 저는 단순히 ‘IDE’나 ‘에이전트를 실행하는 어떤 앱’을 의미한다고 생각했습니다. 하지만 알고 보니 그보다 더 깊은 개념이 있더군요.

그래서 @greggyb와 함께 앉아 기초부터 설명을 요청했습니다. 즉, LLM(거대 언어 모델)이 실제로 무엇을 하는지, 그것을 에이전트로 만드는 것은 무엇인지, 그리고 하네스가 이 모든 과정에서 어디에 위치하는지를 말입니다.

영상 내용 요약

• Simon Willison이 정의한 에이전트: 도구를 가진 LLM이 목표를 달성하기 위해 루프(loop)로 실행되는 것
• ‘도구(tools)’가 내부적으로 실제로 무엇을 의미하는지, 그리고 함수 호출(function calling)이 어떻게 LLM이 훈련되지 않은 컨텍스트를 끌어올 수 있게 하는지
• 루프 부분: 에이전트가 자신의 출력을 프로그래밍 방식으로 확인하여 자신이 정말로 끝났는지 결정하는 방법
• 하네스가 왜 LLM ‘이후’의 모든 것인지, 그리고 이것이 인터페이스와 어떻게 다른 개념인지
• 왜 하부 하네스를 건드리지 않고도 인터페이스를 교체할 수 있는지, 그리고 왜 일부 에이전트는 UI(사용자 인터페이스)가 전혀 필요 없는지

저에게 가장 와닿았던 점은 하네스는 사용자가 보고 있는 앱 자체가 아니라는 것입니다. 그것은 에이전트가 계속 진행할지 아니면 끝냈다고 호출할지를 결정하는 눈에 보이지 않는 배관 시스템입니다.

여러분은 ‘하네스’에 대한 개념 모델을 맞추셨나요? 아니면 다른 것을 상상하고 계셨나요?