이것은 신이다.

GitHub에서 약 3만 스타를 모은, TikTok 운영 원인 ByteDance의 OSS.
「대상 앱의 제약 없이, API가 없는 오래된 업무 소프트웨어에서도 자동 조작이 가능한 AI 에이전트」가 공개되었습니다. 이름은 UI-TARS Desktop.

• 마우스와 키보드를 자연어 지시로 조작
• n8n이나 Zapier

이게 대단한 이유는, n8n이나 Dify처럼 '대응 커넥터가 준비된 앱'만 연동할 수 있는 게 아니라, '어떤 앱이든 AI로 자동 조종하는' 접근 방식을 취할 수 있다는 거예요.

Vision-Language Model로 화면 스크린샷을 분석하고, 인간처럼 마우스와 키보드를 움직이는 메커니즘.

즉, API나 공식 커넥터가 제공되지 않은 사내 시스템·오래된 업무 소프트웨어·마니아적인 웹 서비스도, 화면에 표시할 수만 있다면 자동화 대상에 포함시킬 수 있어요.

이건 본질적으로, "연동 앱을 미리 설정해두는" 게 아니라 "화면을 보고 어떤 앱이든 조작하는" 쪽으로의 전환.

・사내의 핵심 시스템을 순회하는 에이전트
・여러 SaaS를 넘나들며 전사하는 에이전트
・오래된 업무 소프트웨어를 자동 조작하는 에이전트

를 호출할 수 있게 된다.

예를 들어, "기핵 시스템에서 오늘의 매출을 읽어서, Excel의 보고서 형식에 전기해서"라고 요청하면,

① 기핵 시스템을 열어서 당일의 수치를 확인
② Excel을 열어서 해당 셀에 이동
③ 숫자를 붙여넣어서 저장
을 조합해서 실행할 수 있다.

원 포스트는こちら