Video: GPT6, 일반인도 잡일, 업무 다 대체됩니다… 제대로 쓰는 법 | AI 에이전트의 진짜 비용 구조 | Computer Use·하네스·토큰 절약법까지
Channel: 안될공학 - IT 테크 신기술
Duration: 16m 8s
Source: subtitle (auto, ko)
Transcript:
네, 여러분 안녕하세요. 패치입니다. GPT6 에스트라가 나온지도 이제 일주일 정도 됐는데요. 그동안 에스트라를 써 본 분들 사이에서 아, 얘가 이름 고자를 하는데 토큰이 너무 빨리 녹는다 이런 이야기가 나오고 있습니다. 저도 재미나이랑 클로드 그리고 GPT를 전부 구독을 해서 쓰고 있는데요. GPT는 원래 한 달에 20달러인 플러스 요금제를 쓰고 있었거든요. 그런데 에스트라로 여러 작업을 돌리기 시작을 하니까 사용량이 생각보다 훨씬 빨리 줄어 가지고 결국에는 월 100달러인 프로 요금제로 올려 버렸습니다. 일을 잘하긴 하는데 토큰도 정말 많이 쓰는 모델이라는 걸 제 금액으로 직접 체감은 셈이죠. 근데 인터넷에는 에스트라의 능력치를 보여 준다고 게임을 만들고 건물을 설계하고 이런 영상들이 계속 올라오는데요. 그런데 평범한 직장인이나 학생이 영상을 매일 만드는 건 아니죠. 그러다 보니까 이렇게 훌륭한 모델이 과연 우리가 귀찮아서 좀 밀어둔 일에도 쓸모가 있는지 그리고 토큰을 좀 덜 쓰고 효과적으로 쓰는 방법은 없는지 많은 분들이 궁금해할 수밖에 없습니다.

자, 지금 보시는 거는 댄시퍼가 X에 올린 실제 채팅 화면인데요. 에스트라한테 부탁한 일은 방금 신청한 요가 수업에 자세한 내용을 확인해 가지고 오늘 캘린더에 넣어 줘. 이거였습니다. 어려운 수학 문제도 풀 수 있는 AI를 자기는 요가 일정을 넣는데다 쓴다고 적었죠.이 이 정도면 AI가 우리 일상이랑 훨씬 가까워집니다. 예전처럼 어려운 일을 두고서 이거 어떻게 하는지 알려줘라고 이렇게 묻는 데서 끝나는게 아니라 이제는 그냥이 귀찮은 일 좀 나 대신 끝내 줘라고 부탁을 할 수 있게 된 거죠. 그런데 일정 하나를 넣는 짧은 요청에도 AI가 뒤에서 해야 할 일은 꽤 많아요. 먼저 예약 내역에서 날짜와 시간을 찾아야 되고요. 어느 캘린더에 넣을지도 확인을 해야 되고 시간이 애매하면 또 사용자한테 물어봐야 되죠. 일정을 등록한 뒤에는 제대로 들어갔는지도 봐야 합니다. 이게 사이트 화면을 직접 다룬다면 과정이 더 길어지게 되는데요. 화면을 읽고 입력한을 찾은 다음에 내용을 넣고 저장 버튼을 누르죠. 저장이 실패를 오류 메시지를 읽고 다시 시도를 해야 하는데요.

이렇게 화면이 바뀔 때마다 상태를 확인하면서 다음 행동을 이어가는 그 기능이 바로 컴퓨터 유즈입니다. 캘린더가 채지T랑 바로 연결이 되어 있다면 전용 도구로 등록을 할 수도 있어요. 컴퓨터 유즈는 이런 연결이 없거나 아니면 사람이 보듯이 화면을 직접 확인해야 하는 그런 사이트에서 쓸 수 있는데요. 물론 모든 일을 마우스로 처리를 한다는 건 아니고요. 파일이나 전용 도구로 빠르게 처리할 수 있는 일은 그쪽을 쓰고 화면을 봐야 하는 부분만 컴퓨터 유즈가 맞는 그런 방식입니다. 사용자는 명령 한 문장을 보냈지만 AI는 자료를 찾고 일정을 등록한 뒤에 결과까지 확인을 했습니다. 그러니까 우리가 맡긴 일이랑 AI가 실제로 한 일에 길이가 다른 거예요. 이렇게 긴 과정을 이어주는 장치를 하네스라고 부르는데요. 모델이 다음에 무엇을 할지 정하면 하네스가 필요한 도구를 실행을 하고요. 그 결과를 다시 모델에게 보여 줍니다. 작업이 길어질 때는 처음 받은 요청이랑 지금까지 한 일도 계속 기억을 해 줘야 되죠. 이거를 놓치면 같은 페이지를 또다시 열거나 이미 끝낸 일을 또 할 수 있으니까요.

에러 님이 다녀오신 Nv디디아 GTC 타이페이에서도 젠슨 황이 모델을 둘러싼 하네스랑 도구 그리고 작업 환경을 이야기한 바가 있습니다. 엔비디아 발표 자료에도 에이전트가이를 나누고 앞에 내용을 기억을 하고 필요한 도구를 쓰려면 하네스가 꼭 필요하다는 설명이 들어가 있기도 하죠. 로컬 AI에다가 직접 도구를 붙이고 하네스까지 만드시는 분들은 이미 이런 구조를 쓰고 계실 거예요. 오늘 제 이야기를 들으시는 분들은 아마 별도 시스템을 만들지 않고 채지피pt의 워크 채팅창에서 일을 맡기는 일반 사용자분들이실 겁니다. 서비스가 한네스를 준비해 뒀기 때문에 우리는 자료랑 목표를 주고요. 중간에 필요한 승인을 한 뒤에 결과를 확인하면 됩니다. 토큰이 빠르게 줄어드는 이유도 화면으로 보면 이해하기 쉬운데요. 요가 일정을 등록을 한다고 해 볼게요. AI가 예약 메일을 읽을 때 한 번, 캘린더 화면을 보고 입력한을 찾을 때 한 번, 그리고 저장한 뒤에 결과를 확인할 때 또 한 번 모델이 움직입니다. 저장 버튼을 잘못 눌렀다면 바뀐 화면을 다시 읽고 오류가 난 이유를 생각한 뒤에 제시도를 하게 되죠.

컴퓨터 유즈에서는 클릭 한 번마다 일정할 수의 토큰이 빠지는 건 아니에요. 화면에 담긴 정보의 양이랑 AI가 몇 번 판단하는지에 따라서 달라지는데요. 화면이 바뀔 때마다 새 화면 정보가 들어오고 모델은 처음 요청이랑 지금까지 한 일을 함께 읽으면서 다음 행동을 정하게 됩니다. 마지막 답변은 등록했습니다.이 한 줄이어도요. 그 앞에서는 여러 번을 읽고 생각을 한 거죠. 이게 글을 쓰거나 코딩을 할 때도 비슷한데요.이 오류를 고쳐 줘라고 요청을 하면 에이전트가 먼저 폴더를 열어 가지고 어떤 파일이 있는지 확인을 하죠. 관련 코드를 검색을 하고 파일을 읽고 고친 코드를 쓴 뒤에 터미널에서 테스트를 돌려요. 테스트가 실패를 하면 긴 오류 메시지가 다시 모델에게 들어가게 되고요. 모델은 코드를 다시 읽은 뒤에 또 수정을 합니다. 화면에는 수정된 코드 몇 줄만 남아도 그 전에 읽은 파일이랑 명령어 결과 테스트 기록까지 모두 작업에 쓰인 거예요. 파일을 읽는 거, 코드를 만드는 거, 그리고 터미널 결과를 다시 읽는 거, 실패 원인을 찾는 거 이런 거에서 토큰이 계속 들어가게 되는 겁니다.

여러 에이전트가 따로 움직이면 이런 작업 가정 자체도 여러 갈래로 늘어나게 되는데요. 한 에이전트는 자료를 찾고 다른 에이전트는 코드를 확인하고 또 다른 에이전트는 결과를 검사할 수 있겠죠. 각 에이전트는 자기가 맡은 요청이랑 필요한 자료를 따로따로 읽습니다. 마지막에는 중심이 되는 에이전트가이 결과들을 다시 읽고 하나로 합치게 돼요. 창 세 개가 동시에 움직이면 기다리는 시간은 줄어들 수 있지만 새 에이전트가 읽고 쓴 양을 합친 전체 토크는 늘어날 수 있겠죠. 이게 직원 세 명의 같은 업무 설명을 나눠 주면 설명서도 세 번 읽는 거랑 비슷한 거예요. 물론 필요한 작업도 있지만 우리가 줄일 수 있는 낭비도 있습니다. 버튼을 잘못 눌러서 같은 화면을 여러 번 보거나 작은 수정에 필요의 확인 작업을 붙이면 토큰이 더 들어가게 되는 거예요.이를 너무 잘게 나눠서 에이전트 여러 개에게 보내게 되면이를 나누고 다시 합치는데도 또 사용량이 들어가는 거고요. ARC 프라이즈가 공개한 아스트라 평가에서는 같은 그 높음 설정을 써도요.

하네스를 바꾸니까 점수가 올라가면서 비용이 절반 아래로 내려간 사례가 있습니다. 앞에서 생각하던 내용을 잘 이어주고 긴 대화를 좀 덜 헤매게 만든 결과였는데요. 이게 퍼즐을 푸는 평가라서 일반 회사 업무에 똑같이 적용이 된다고 볼 수는 없지만 모델만큼이나 일을 굴리는 방식도 진짜 중요하다는 걸 보여 주는 거죠. 근데 토큰을 많이 쓰는 대신에 또 맡길 수 있는 일도 늘어났어요. 오픈 AI의 린지 매클럼 레미는 제품 출시를 준비하면서 AI가 기자 명단을 관리를 하고 브리핑 참석 여부를 확인하고 또 나온 기사를 모아 가지고 보고서까지 만들었다고 공개를 했는데요. 이게 오픈 AI 내부 사용자의 활용 후기입니다. 이거는 사실 글 한편을 써 주는 일보다 손이 더 많이 가요. 새로운 답장을 기존 명단에다 반영을 하고 이미 처리한 사람이랑 구분을 하고 팀에서 쓰던 그 보고서 모양에 맞춰야 되니까요. 사람한테 시켰다면은 중간에 몇 번씩 어디까지 했어요라고 물어봤을 일이 한 덩어리로 그냥 쭉 이어진 거죠. 에스트라랑 관련해 가지고 공유된 다른 프롬포트도 있는데요.

인터넷에 퍼진 주장을 원래 출척까지 찾아가고 사람마다 말이 다른 부분을 확인을 해 가지고 가이드로 만들어 달라는 요청입니다. 스프레드시트를 검색이랑 필터가 가능한 웹 앱으로 만들고요. 계산 결과가 원본이랑 맞는지 확인해 달라고 하는 그런 사례도 올라왔어요. 직장인이라면 자료 조사랑 보고서 작성에다가 학생이라면 발표 자료를 준비할 때 쓸 수 있는 그런 일이겠죠. 필요한 파일이랑 앱 접근 권한을 준 뒤에 채팅창에서 부탁을 하고 마지막에 출한 계산이 맞는지만 사람이 확인하는 그런 흐름이에요. 그리고 또 인터넷에 공개된 개인 정보를 찾아 가지고 삭제 요청을 맡기는 그런 방법도 퍼지고 있습니다. 필리페 플로레스는 최제pt 에이전트로 자신에 관한 정보를 찾고요. 사이트마다 삭제 요청을 작성을 해 가지고 절차를 진행했다고 공개를 했는데요. 아 이게 물론 에스라가 나오기 전 사례이기 때문에 GPT 6에서만 처음 가능해진 일은 아니에요. 그리고 또 인터넷에 있던 정보가 모두 지어졌다고 따로 확인이 된 사례도 아니고요.

그래도 혹시 궁금하신 분들이 계시다면 채팅창에서는 이런 식으로 부탁을 할 수 있습니다. 내 정보가 나온이 페이지의 공식 삭제 방법을 찾아줘. 요청서도 작성을 하되 보내기 전에는 어디로 어떤 내용을 보낼지 나한테 먼저 보여 줘. 그렇게 되면 AI는 사이트의 삭제 안내를 찾고 필요한 요청서를 준비를 하게 돼요. 본인 인증이라던가 최종 제출처럼 민감한 단계에서는 사용자가 직접 참여를 해야 할 수도 있고 보낸 뒤에는 실제로 정보가 지어졌는지 확인도 해야 되죠. 구글 검색 결과에서 사라졌다고 원래 사이트 정보까지 지어진 건 아니기 때문에 두 곳을 좀 따로 확인해야 되는 거는 있습니다. 그리고 사이트마다 메뉴랑 신청서가 다르기 때문에 컴퓨터 유지의 성능이 결과에 영향을 주는데요. 삭제 메뉴를 찾아서 들어가고 양식을 채운 뒤에 제출하고 추가 인증 안내가 나오면 아직 끝나지 않았다는 걸 알아야 돼요. 에스트라는 화면에서 지시한 위치를 찾는 그런 스크린스팟 프로 평가에서 오픈 AI 발표 기준으로 약 93%를 기록을 했습니다.

솔은 약 77%였는데요.이 숫자가 물론 인터넷 업무 전체로 성공할 확률은 아니고요. 작은 버튼이라든가 입력한처럼 화면에서 필요한 것을 찾는 능력이 전보다 더 좋아졌다는 뜻입니다. 자, 그리고 토큰을 아끼는 방법도 이제는 훨씬 더 구체적으로 볼 수 있어요. 프롬프트 글자 몇 개를 줄이는 거보다는 비싼 모델이 맞는 일이랑 반복 횟수를 줄이는 쪽이 더 효과가 큰데요. 에 박스는 평범한 실행이랑 확인 작업은 솔한테 맡기고 어려운 판단이 필요할 때만 에스트라를 불러 가지고 조언을 받는 방식을 소개를 했습니다. 일반 사용자는 채지 워크의 모델 선택 메뉴를 바꾸면서 비슷하게 쓸 수 있는데요. 일단 참석자 명단을 정리를 한다고 해 볼게요. 먼저 솔의 중간으로 이렇게 요청을 해요. 자, 첨부한 답장을 보고 참석자 명단을 고쳐 줘. 같은 이름이거나 확실하지 않은 항목은 따로 모아 줘. 이렇게 되면 명단 대부분은이 단계에서 정리를 할 수 있어요. 애매한 항목만 남으면 같은 채팅에서 이제 아스트라의 높음으로 바꾼 다음에 이렇게 부탁을 하는 거죠.

자, 따로 모아둔 항목만 원문이랑 다시 맞춰 봐. 같은 사람이라고 본 이유를 적고 확실하지 않으면 확인 필요라고 남겨 줘. 이렇게 어려운 판단이 끝났다면 다시 솔의 중간으로 내려 가지고 확장된 내용을 보고서에 넣게 하면 됩니다. 채팅창에다가 뭐 솔로 해 줘, 아스트라로 해 줘 이렇게 적는게 아니라 메시지를 보내기 전에 모델 선택 메뉴에서 직접 바꾸셔야 돼요. 업무를 어떤 순서로 해야 할지 잘 모르겠다면 엑스트라를 앞에 잠깐 쓸 수도 있어요. 일단 에스트라의 높음으로 자료를 보고 처리 기준을 먼저 만들게 한 다음에 정리가 필요한 나머지 일들을 쏘런트 넘기는 그런 방식이죠. 모델이랑 추론 강도는 서로 다른 설정입니다. 모델을 고른 다음에 중간, 높음, 매우 높음, 최대 이런 가운데에 얼마나 오래 생각을 하게 할지도 고를 수 있는데요. 계정이나 선택한 모델에 따라서 화면에 보이는 항목은 좀 달라질 수 있어요. 예를 들어서 중간은 회의록에서 담당자랑 날짜를 뽑거나 정해진 양식에다 자료를 넣는 일부터 써 볼 만 하고요.

높음 단계는 여러 자료를 맞춰보고 조건을 확인할 때 어울리죠. 그리고 매우 높음은 숫자가 서로 안 맞거나 예외가 많아 가지고 원인을 오래 찾아야 할 때 그리고 최대는 앞선 설정들로부터 풀지 못한 그런 어려운 문제에 써 볼 수 있습니다. 이게 항상 낮게 설정을 한다고 토큰이 절약되는 건 아니에요. 왜냐면 낮은 설정에서 같은 실수를 세 번 해 가지고 고치는 거보다는 높은 설정에서 한 번에 끝내는 편이 더 토큰이 적게 될 수 있으니까요. 익숙한 일은 중간에서 시작을 하고 막힌 부분만 높이는 그런 방식이 현실적입니다. 작은 업무에는 다른 에이전트를 부르지 않는 방법도 공유가 되고 있는데요. 명단 하나를 고치는데 에이전트 세 개가 같은 자료를 따로 읽으면 이을 나누는데 쓰는 토큰이랑 결과를 합치는 토큰이 더 붙게 되죠. 이런 경우에는 자, 이번 작업은 추가 에이전트 없이 직접 처리해 줘라고 요청을 해 볼 수도 있습니다. 반대로 서로 다른 사이트 수식을 동시에 조사를 해야 된다면 에이전트를 나누는 편이 훨씬 빨리 끝날 수 있겠죠.

추가 에이전트를 무조건 막는게 아니라 정말 이게 나눌 만한 일인지를 보고 쓰는 거예요. 끝나는 조건도 미리 알려 주는게 좋은데요. 보고서를 그냥 멋지게 만들어 줘라고만 하면 AI가 조사랑 디자인을 어디까지 해야 하는지 좀 알기 어렵겠죠? 그러면 지난주 보고서를 함께 주고서 이렇게 말하는 거예요. 자, 지난주 양식은 그대로 쓰고 이번 주에 숫자랑 달라진 내용만 바꿔 줘. 합계가 맞는지 원문이랑 확인하면 끝이야. 그리고 또 학생의 발표 자료라면 이렇게 범위를 정해 볼 수도 있어요. 첨부한 자료 안에서 발표 초환을 만들어 줘. 자료에 근거가 없는 내용은 표시를 하고 인터넷 추가 조사는 하지 마. 이게 파일 안에서 초환을 확인하려던 일이 인터넷 전체를 뒤지는 그런 조사로 커지는 거를 막을 수 있겠죠. 필요한 확인 작업을 빼는게 아니라 어디까지 확인하면 끝인지 알려주는 그런 방법입니다. 결과물을 어디까지 만들지도 사용량을 크게 바꾸는데요. 안는 약 45분 만에 작은 3D 그래픽 데모를 만들었다고 공개를 했습니다.

여기에다가 날씨랑 세부 표현을 계속 더해 가지고 약 8시간 동안 작업을 한 뒤에는 주간 사용량의 절반 정도를 썼다고 설명을 했습니다. 개인 요금제랑 당시 작업 환경에서 나온 기록이에요. 처음 목표는 작동을 하는 그런 작은 화면이었지만 날씨랑 표현을 더하면서 이게 점점 일이 커진 거죠. 회사 업무도 마찬가지인데요. 표 하나만 받으면 되는지 아니면 검색이랑 수정까지 가능한 앱을 만들어야 하는지 이거에 따라서 필요한 작업량이 완전히 달라지게 되겠죠. 우리한테 필요한게 참석자 명단이라면 그 명단이 맞는지 확인한 뒤에 끝내면 돼요. 그리고 검색 기능까지 필요할지는 그 결과를 보고 나중에 정해도 되는 거고요. SNS에서 공유되는 절약법도 대부분 같은 방향인데요. 짧은 프롬프트를 만드는데 집중을 하기보다는 알트라가 맡을 일을 좁히고 필요 없는 에이전트랑 반복 작업을 줄이는게 더 아끼는 길입니다. 물론 얼마나 토큰이 절략된다는 그런 공통 수치는 아직 없기 때문에 자기가 자주 맡기는 일에서 결과랑 사용량을 직접 비교를 해 봐야 할 것 같습니다.

기업이 많은 토큰을 쓰면서도 이런 서비스를 도입을 하는 이유는 사람한테 일을 시킬 때 들어가는 시간까지 함께 보기 때문이에요. 가장님은 대리한테 타스크를 맡기고요. 대리는 그러면 신입사원한테 양식을 설명을 해야 되고 신입사원은 모르는 부분을 또 다시 물어봐야 되겠죠. 부장님이 원한 기준이랑 다르면 그거를 또 고쳐야 되고요. 다른 부서의 자료가 필요하면 그쪽에서 보내 줄 때까지 기다려야 되고요. 부석끼리 경쟁을 하거나 의견이 부딪히는 문제를 AI가 없애 주지는 못합니다. 근데 이미 접근할 수 있는 자료를 모아 가지고 정해진 형식으로 만드는 일이라면 누구한테 일을 나눠주고 어디까지 했는지 계속 확인하는 그런 시간들은 줄일 수 있겠죠. 로펌인 길벌트 앤드 토비는 채지 엔터프라이즈를 활용한 채용 자료 조사랑 정보 추출 작업이 4시간에서 무려 20분으로 줄었다고 밝혔습니다. 어디언스 strat티지스는 클라우드 엔터프라이즈로 인터뷰를 준비를 하고 분석하는 시간이 2시간에서 25분으로 줄었다고 공개를 했고요.

두 회사가 공개한 활용 사례고요. 이게 뭐 아스트라나 컴퓨터 유저 하나만의 효과를 따로 젠 결과는 아닙니다. 그런데 4시간이 20분으로 줄었다면 3시간 40분을 아낀 거예요. 한 사람의 한시간 비용을 대략 5만 원 정도로 잡으면 약 18만 원에 해당하는 시간인데요.이 돈이 물론 그대로 회사 통장에 남는다는 그런 뜻은 아니고요. AI 이용료랑 사람이 결과를 확인하고 고치는 시간까지 빼고도 다른 일을 할 시간이 남는지 그걸 봐야겠죠. 개인 사용자도 같은 방식으로 생각을 할 수 있을 것 같은데요. 매주 보고서를 만드는데 한시간이 걸렸는데 AI한테 자료를 주고 결과를 확인하는데 10분이 든다면 50분을 아낀 셈이겠죠. 그리고 그 50분을 돌려받기 위해서 토큰을 얼마나 쓸 수 있는지가 기준이 됩니다. 내가 돈을 줄테니까이 귀찮은 일 좀 나 대신에 해 줄래? 이런 부탁을 이제 우리는 AA한테도 해 볼 수 있게 된 거예요. 사실 우리는 이미 배달비라든가 택시비처럼 우리의 귀찮음이랑 수고스러움 그리고 시간을 줄이기 위해서 돈을 쓰고 있습니다.

이제 AI도 비슷해요. 토큰을 무조건 적게 쓰는 것보다 이을 맡긴 뒤에 내가 다시 해야 할 일이 얼마나 남았는지를 보는 편이 더 현실적인데요. 토큰을 아껴 가지고 엉성한 결과를 받느니 좀 더 쓰더라도 내가 몇 시간 붙잡고 있던 일을 빠르고 깔끔하게 끝내 준다면 그쪽에다가 돈을 쓸 이유랑 명분이 분명히 생기는 거죠. 처음 맡겨 보신다면 적당한 업무는 내가 직접 하기엔 좀 귀찮으면서도 결과가 맞는지 내가 직접 확인할 수 있는 일이 좋습니다. 매주 만드는 보고서라든가 참석자 명단처럼 말이에요. 수의 중간으로 시작을 하고요. 애매한 부분만 에스라랑 높은 설정에 맡긴 뒤에 어디까지 하면 끝인지를 알려 주세요. 그렇게 한다면 토큰이 얼마나 녹았는지보다 내 시간이 실제로 얼마나 남았는지가 더 잘 보일 것 같습니다. 그럼 오늘은 여기까지 패치였습니다.