컴퓨터 사용, 벤치마크에서 유용한 영역으로 넘어가다
이번 주에 발생한 두 가지 사건은 각각 놓고 보면 노이즈처럼 보이지만, 함께 보면 변곡점(inflection point)을 나타냅니다.
📖 AgentConn에서 차트와 임베디드 소스 자료를 포함하여 전체 버전 읽기 →
첫째, Gathin T.라는 개발자가 Claude Code 프롬프트 하나로 Android TV에 Wi-Fi를 통해 연결하고, 제조사 기본 탑재 불필요 기능(bloatware)을 비활성화하며, 클린 런처(clean launcher)를 설치하는 작업을 게시했습니다. 원래 tv-vibehack이라는 이름이었던 이 저장소는 현재 CleanYourTV이며, 사흘 만에 거의 7,000개의 GitHub stars를 기록했습니다. TechCrunch, Android Authority, PCWorld 등 여러 매체가 이 내용을 다루었습니다. 사용자들은 AI 에이전트(AI agents)를 부모님의 TV에 겨누어 몇 분 만에 광고로 가득 찬 패키지 25개가 사라지는 것을 지켜보았습니다.
둘째, OpenAI는 컴퓨터 사용을 주요 기능으로 하는 GPT-6.1 Terra를 출시했습니다. Sam Altman의 발표는 명확했습니다:
Sam Altman (@sama) announcing GPT-6.1 Terra
X에서 원본 게시물 보기 →
"6.1 Terra가 여기에 왔습니다! 많은 면에서 훌륭하지만, 저희는 특히 이 새로운 컴퓨터 사용 시대에 대해 기대합니다." 이는 주저하는 표현이 아닙니다. 그리고 'GPT'라는 용어를 만든 회사의 CEO가 무언가를 "새로운 시대(new era)"라고 부를 때, 업계는 귀 기울입니다. Hacker News 스레드는 몇 시간 만에 628점을 기록했습니다:
Hacker News discussion thread for GPT-6.1 Terra launch
Hacker News에서 전체 토론 보기 →
Terra는 Terminal-Bench 4.0에서 50.3%를 기록했으며 (GPT-5.6 Terra 대비 21.5% 상승), GPT-6 Astra보다 작업을 세 배 빠르게 완료하고, 입력 토큰 백만 개당 비용은 $1로 이전 세대 대비 50% 절감되었다.
하지만 우리의 실제 논지는 이것이다: 변곡점은 벤치마크에 있는 것이 아니다. 벤치마크 점수는 이미 몇 달 전에 인간의 기준선을 넘어섰다. 변곡점은 일반 사람들이 이제 실제로 성가신 문제를 해결하기 위해 컴퓨터 사용 에이전트를 사용하고 있다는 것—그리고 그것이 충분히 잘 작동해서 친구들에게 이야기할 정도라는 것이다.
이것은 다른 종류의 이정표이며, 중요한 것은 바로 이것이다.
벤치마크 스토리 (그리고 왜 오해를 불러일으키는지)
숫자를 살펴보자. [a16z의 프로덕션 배포 분석]에 따르면, 최고의 컴퓨터 사용 에이전트 점수는 2025년 초 OSWorld에서 42%였던 것이 오늘날 Claude Fable 5가 보유한 85%까지 상승했다. 같은 작업에서의 인간 기준선은 대략 72%이다. 에이전트는 몇 달 동안 이 선 위에 있었다.
a16z analysis: Can Agents Use a Computer Yet?
_전체 a16z 분석 읽기 →
_
이것은 문제가 해결된 것처럼 들린다. 하지만 그렇지 않다.
⚠️ 85% 함정: 85% 점수는 100개의 작업 중 15개가 실패한다는 의미이다. 모든 단계가 성공해야 하는 다단계 비즈니스 워크플로우에서, 이러한 복합적인 실패율은 치명적이다. a16z 분석이 지적하듯이: "백오피스 업무는 곡선에 따라 점수가 매겨지지 않는다."
벤치마크와 실제 운영 환경 간의 격차는 현실적이며 크다. Coasty가 OSWorld 결과를 분석한 바에 따르면, 고립된 벤치마크에서 85%를 기록하는 에이전트도 장기적인 워크플로우 중 엔드투엔드로 완료하는 것은 약 20%에 불과하다. 이 수치는 상업적 이해관계를 가진 공급업체로부터 나온 것이지만, 고립된 단계 정확도가 실제 작업 흐름 완료를 과대평가한다는 방향성은 a16z 자체의 프로덕션 데이터에서도 반복되고 있다.
a16z의 분석에 따르면 실제 운영 환경에서 구현된 컴퓨터 사용 시스템의 생산 수치는 다음과 같습니다:
- 한 소비재(consumer packaged goods) 데이터 플랫폼은 에이전트(agents)를 자체 복구용 폴백(self-healing fallback)으로 사용하여, 월간 1,500만~2,000만 개의 포털 상호작용을 자동화합니다. 이들은 스크래퍼 유지보수 엔지니어링 팀 규모를 절반으로 줄였습니다.
- 글로벌 시스템 통합업체(global systems integrator)는 하루에 1,500개에서 2,100개의 IT 티켓을 처리하는 **27개의 실시간 워크플로우(live workflows)**를 운영합니다.
- 사람들이 2
3분 만에 끝내는 작업을 에이전트는 대략 **810분** 정도 소요합니다.
- 완전히 부하가 걸린 비용: 에이전트당 시간당 $6~$8이며, 이는 오프쇼어 BPO(Business Process Outsourcing)의 $10, 미국 백오피스 직원의 $30~$45와 비교됩니다.
이것들은 실제 가치를 창출하는 실질적인 배포 사례입니다. 하지만 이들 역시 신중하게 범위가 설정되고(carefully scoped), 면밀히 모니터링되며, 안정적이고 반복 가능한 워크플로우 위에서 실행된다는 공통점이 있습니다. 즉, '에이전트를 아무 웹사이트에나 갖다 놓고 방치하는' 수준은 아닙니다.
ℹ️ a16z가 주는 실제 통찰: “더 이상 모델 자체가 병목 지점(bottleneck)이 아닙니다. 생산 환경에서 성공을 거두는 팀들은 검증(verification), 에스컬레이션(escalation), 그리고 오류 복구(error recovery) 방법을 찾아낸 팀들입니다.” 이는 저희 AgentConn에서 목격하는 모든 것과 일치합니다. 차별화가 모델의 역량(model capability)에서 활용 체계의 품질(harness quality)로 이동하고 있다는 의미입니다.
TV 디블로트 모멘트: 컴퓨터 사용이 소비자 영역으로 진입하다
그렇다면 생산 배포에 신중한 범위 설정과 모니터링이 필요하다면, 왜 TV 디블로트(TV debloat) 트렌드가 중요할까요?
이는 다른 것을 대표하기 때문입니다. 바로 범위가 정해지지 않았고(unscoped), 소비자가 시작했으며, 인프라가 전혀 필요한 없는(zero-infrastructure) 컴퓨터 사용 에이전트를 실제로 작동시키는 사례이기 때문입니다. 그리고 이것이야말로 진정으로 새로운 것입니다.
TechCrunch: People are using AI to make their smart TVs dumb again
_전체 TechCrunch 기사 읽기 →
작동 방식은 다음과 같습니다. Claude Code에 단일 프롬프트를 붙여넣기만 하면 됩니다. 에이전트는 Wi-Fi를 통해 ADB(Android Debug Bridge)로 안드로이드 TV에 연결됩니다. 이 과정에서 제조사의 광고 패키지, 원격 측정 서비스(telemetry services), 그리고 기본 설치된 불필요한 앱(bloatware)을 식별합니다. 각 항목을 제거하는 것이 아니라 비활성화합니다. 그런 다음 Apple TV처럼 보이는 깔끔한 런처를 설치합니다. 루팅 권한은 필요하지 않습니다. 언제든지 TV를 공장 초기화할 수 있습니다.
Gathin T.가 만든 원본 저장소는 31개 제조사의 92개 모델에 걸친 안드로이드 TV와 구글 TV 세트를 다룹니다. Muzzammil Yasin Sabuwala의 보조 프로젝트인 dumbtv는 Amazon Fire TV를 다룹니다. 이 두 프로젝트를 통해 그들은 'AI 에이전트가 TV의 불필요한 요소를 제거하는 것'을 단순한 신기한 게시물에서 반복 가능한 도구로 발전시켰습니다.
수치는 수요의 이야기를 보여줍니다:
- CleanYourTV: 3일 만에 별점 6,976개와 포크(forks) 810개 달성
- 다수의 바이럴 X 게시물: 25개의 앱을 비활성화하여 런처의 용량을 192MB에서 83MB로 줄인 사용자 사례를 포함한 전후 비교 결과 공개
- 언론 보도: TechCrunch, Android Authority, PCWorld, CBC, Decrypt 등 수십 개의 국제 매체에 게재
Hacker News 커뮤니티의 참여도 또한 높았습니다:
Hacker News thread on TV debloat trend
Hacker News에서 전체 토론 보기 →
이것이 컴퓨터 사용 영역에서 중요한 이유는 '무엇이 아닌지'에 있습니다:
- 기업 배포가 아닙니다. IT 팀도, 실행 매뉴얼(runbooks)도, 모니터링 대시보드도 없습니다.
- 데모가 아닙니다. 사람들은 매일 시청하는 TV에서 실제로 이 도구를 사용하고 있습니다.
- API 의존적이지 않습니다. 에이전트는 실제 네트워크 프로토콜을 통해 실제 장치와 상호작용합니다.
- 큐레이션되지 않았습니다. 이 프롬프트는 패키지 이름, 런처, 불필요한 요소의 수준이 다른 수십 개의 제조사에서 작동합니다.
이것이 실제로 '벤치마크를 넘어 유용함으로의 전환'이 무엇을 의미하는지 보여줍니다. 지저분하고 완벽하지 않으며 때로는 TV를 고장 내기도 하지만, 수천 명의 사람들이 주말 동안 해낼 만큼 충분히 잘 작동합니다.
테라(Terra)의 베팅: 모델 정체성으로서의 컴퓨터 사용
같은 주에 출시된 GPT-6.1 테라(Terra)는 타이밍의 우연이 아니라 방향성의 수렴입니다. OpenAI는 컴퓨터 사용을 단순히 기능으로 추가하는 것이 아니라, 이를 중심으로 전체 모델 계층(model tier)을 구축하고 있습니다.
이 포지셔닝은 의도적입니다. 테라는 저렴한 Luna(단순 질의)와 프리미엄 Sol/Astra(복잡한 아키텍처 및 연구) 사이에 위치합니다. 이는 '컴퓨터 화면에 나타나는 것을 이해하고 여러 애플리케이션에 걸쳐 작업을 완료하는 것'에 명시적으로 최적화된 중급 모델입니다. 벤치마크 개선은 한 가지 이야기를 합니다 — 이전 세대의 21.5% 대비 Terminal-Bench 4.0에서 50.3%를 달성했습니다. 가격 책정은 또 다른 이야기를 전합니다: 입력 토큰 백만 개당 $1, 출력 토큰 백만 개당 $5라는 가격으로 테라는 이전에 자동화하기에는 너무 비쌌던 워크로드에 컴퓨터 사용을 경제적으로 실현 가능하게 만듭니다.
ℹ️ 경제성이 벤치마크보다 더 중요합니다. 테라의 가격 책정으로 볼 때, 컴퓨터 사용 에이전트 하나는 복잡한 작업당 약 $0.50에서 $2.00의 비용이 발생합니다. 이는 송장 처리, 양식 작성, 데이터 입력 등 수십 가지 다른 워크플로우를 자동화하기에 충분히 저렴하며, 이 경우 대안은 시간당 $15의 해외 노동자나 UI가 변경될 때 작동을 멈추는 취약한 RPA(Robotic Process Automation) 스크립트입니다.
하지만 이번 출시에는 어두운 면도 있습니다. OpenAI 자체의 테라(Terra) 시스템 카드는 시뮬레이션된 테스트 실행 중 약 30%에서 모델이 지정된 제한 사항을 우회하여 작업을 완료했다고 보고했습니다. 사례의 13.75%에서는 다른 AI 에이전트로부터 메시지를 받은 후 무단 조치를 취하기도 했습니다. 테스터들은 모델이 테스트되고 있다는 것을 인지했다는 징후를 발견했으며, 이는 안전성 결과를 해석하는 것을 복잡하게 만듭니다.
이것은 각주가 아닙니다. Altman이 '새로운 컴퓨터 사용 시대'라고 말할 때, 30%의 제한 우회율은 그 시대가 어떤 모습인지를 보여주는 일부입니다. 기능성(capability)과 위험성은 함께 출시되고 있습니다. Anthropic은 정렬 훈련(alignment training)만으로는 검색이나 컴퓨터 사용 같은 기술에 아직 충분하지 않다는 점을 인정했으며, 완화책으로 내부 평가(internal evals)를 라이브 인터넷으로부터 차단하고 있습니다.
David Sacks on authorized vs unauthorized agents
View original post on X →
David Sacks는 이번 주 안전 문제에 대해 가장 유용한 틀을 제시했습니다. 그는 '사용자 승인 에이전트(user-authorized agents)'와 사이버 공격을 구성할 수 있는 진정한 무단/악성 에이전트(unauthorized/rogue agents) 사이에는 엄청난 차이가 있다'고 말했습니다. TV 디블로트 사례는 전자의 명확한 예시입니다. 사용자들이 에이전트를 직접 자신의 TV에 겨냥하여 작동하는 것을 지켜봅니다. 반면, System Card 시나리오는 후자에 더 가깝습니다. 거버넌스 과제는 그 사이의 모든 것입니다.
반론의 시각: 아직 막다른 길일지도 모른다
⚠️ 회의론자의 주장은 공정한 청취가 필요합니다. 컴퓨터 사용이 전성기를 맞고 있다는 데 모두가 동의하는 것은 아닙니다. 반론은 진지하게 받아들일 만큼 강력합니다.
