Video: 방금 나온 클로드 더 똑똑하게 만들어주는 공식 기능. 클로드 Advisor Tool
Channel: 코드팩토리
Duration: 11m 28s
Source: subtitle (auto, ko)
Transcript:

자, 몇 시간 전에 나온 따끈따끈한 어드바이서 툴 기능입니다. 이거를 여러분한테 대모를 해 드리기 위해서 제가 직접 돈을 태워서 한번 만들어 봤는데 제 이게 왜 지금 나왔을까 생각이 들 정도로 굉장히 혁신적인 기능이라고 생각을 합니다. 우리 함께 어드바이저툴 어떤 기능인지 한번 알아보고 직접 사용해 보고 대목까지 한번 같이 진행을 해 보도록 할게요. 쏘as지. 자, 4월 9일 미국 기준이니까 우리 기준으로 오늘 나온 거죠. 그죠? 자,이 블로그 글은 어V이저스 straty라는 거에 대해서 설명을 하고 있는데 굉장히 조금 흥미로워요. 자, 그래서 한국어로 얘기를 하면은 자문 전략이라고 얘기를 하는데 자,이 다이아그램이 모든 걸 다 보여주고 있다라고 우리가 얘기를 해 볼 수가 있을 것 같아요. 자, 그래서 우리가 여러 개 모델을 쓰는 건데 오퍼스를 우리가 어드바이저로 두고요. 지금은 오퍼스밖에 어드바이서로 우리가 사용할 수가 없습니다. 자, 그리고 논리적으로 생각을 해 봐도 자문을 우리가 구한다면 당연히 좋은 모델한테 구해야 될테니까 오퍼스를 쓰는게 당연히 많겠죠.

자, 그리고 실행하는 자가 있어요. 자,이 친구는 우리가 어떤 모델을 써도 상관이 없어요. 소네을 써도 되고 하이쿠를 써도 되는데 우리가 실제로 메인으로 돌리는 모델, 그니까 메인이 파이프라인 안에 있는 모델을이 엑시큐터라고 우리가 얘기를 해요. 자, 그럼 여기서 이제 재밌는게 우리가 소을 엑스큐터를 썼다라고 하면은이 친구가 필요할 때마다 우리 컨텍스트 안에서 툴코를 사용해서 오퍼스를 부를 수가 있다라는 거예요. 그래서 우리가 작업하고 있는이 스트림라인 안에서 우리가 다른 모델한테 자문을 구하고 그 결과를 우리가 컨텍스트를 더 향상시켜서 더 좋은 결과를 낼 수가 있다. 더 빠르게, 더 저렴하게 가능하다라는 거죠. 자, 그래서 SW 벤치를 통해서 우리가 벤치 마킹을 해 봤더니 우리가 소만 썼을 때는 72.1%를 1%를 스코어링했고 돈은 1.09달러를 우리가 소모를 했는데 우리가이 툴을 합쳐서이 소넷 4.6과 오퍼스 어드바이저를 우리가 합쳐서 사용을 해 봤더니 똑같은 문제를 해결하기 위해서 74.8%의 8%의 점수를 얻으면서 오히려 비용은 줄었다라는 이야기를 하는 거예요.

근데 우리가 생각을 해 보면은이 자문 모델이라는 거는 우리가 지금까지 본능적으로 해 왔던 프로세스랑 굉장히 비슷하거든요. 우리가 지금까지도 어 플랜할 때는 오퍼스를 사용을 하고 그리고 실행을 할 때는 토큰을 아끼고 싶으면은 쏘네이나 하이쿠 써 가지고 진행을 했었잖아요. 자, 근데 그게 그냥 섞여 있다. 하나로 묶여 버렸다라고 여러분이 생각하시면 될 거 같아요. 하나의 툴로. 자, 그래서 우리가 어드바이서를 사용을 하게 되면은 우리가 이렇게 조금 더 높은 성능과 더 저렴한 가격을 우리가 누릴 수가 있다라고 여러분이 기억을 해 주시면 되겠고요. 자, 그리고이 기능은 모델이 안 좋은 모델일수록, 그러니까 저렴한 모델일수록 훨씬 더 두드러워졌다. 자, 하이쿠 같은 경우에는 굉장히 큰 향상을 잃었고요. 돈은 조금 더 많이 들었어요. 하지만 우리가 오퍼스만 사용했을 때 또는 우리가 하이쿠만 사용을 했을 때 똑같은이 퍼포먼스를 나타내기 위해서 우리가 필요할 만한 돈과 비교를 한다면은 사실상 굉장히 효율적인 향상이 일어났다라고 여러분이 생각할 수가 있습니다.

자, 그래서 특히나 여러분이이 밸런스가 필요할 때이 어드바이서 2를 쓰게 되면은 정말 효율적으로 우리가 작업을 할 수가 있다. 그리고 제가 이따 보여 드릴 겁니다. 제가 만든이 프로그램을 기반으로. 자, 어떻게 사용하는가? 자, 재미있는게 딱 이겁니다. 툴에 들어가게 돼요. 자, 툴에다가 우리가 원래 다른 모델을 넣을 수가 없었는데 자, 이걸 보자마자 저는 어, 기발하다. 근데 왜 이게 이제서야 생겼을까라는 생각이 들 정도인데 여기에 툴에다가 우리가 그냥 클로드 오퍼스를 집어 넣어 버리면은 소네시 작업을 하다가 실제 모델은 소네이죠. 얘가 생각을 했을 때 오퍼스가 필요하다 또는 좀 어려운 작업이다라는 판단이 들면은 그냥 툴콜로 오퍼스를 불러 버린다는 거죠. 자, 그래서 여러분, 지금 당장 바로 사용을 하기 시작할 수가 있을 거고요. 비용을 줄이는 상당한 혁신이 될 거라고 생각을 합니다. 자, 그래서 제가 만든 기능은요.이 여행을 플래닝해 주는 기능을 한번 제가 만들어 봤는데 자, 하이쿠만 썼을 때, 소네만 썼을 때, 그리고 오버스 썼을 때, 그리고 소네과 오버스를 우리가 합쳐서 썼을 때 비용과 작업하는 시간 그리고 실제로 내주는이 결과물이 얼마나 다른지를 제가 측정을 해 보는 벤치마크 시스템을 대강적으로 한번 만들어 봤습니다.

한번 실행을 해 볼게요. 자, 그래서 일본을 뭐 3일 동안 여행하는데 1,500달러의 예산을 갖고 있고 음식이랑 뭐 관광을 기준으로 우리가 좀 플래을 하고 싶다. 그리고 호텔은 우리가 신주쿠 확정을 하고 싶다라고 하면은 제가 이렇게 제너레이트를 눌렀을 때 자, 바로 이렇게 작업을 시작을 하거든요. 자, 그럼 볼 수 있는 것처럼 당연히 하이쿠가 굉장히 빠르게 앞서 나가는 걸 볼 수가 있어요. 자, 근데 이렇게 빠르게 작업하는 거 치고는 돈이 얼마 안 들고 있죠. 그죠? 자, 소액 같은 경우에는 돈이 당연히 조금 더 많이 듭니다. 거의 뭐 한 10열배 넘게 들고 있는 거 같은데 속도도 괜찮지만 어쨌든 하이쿠보다 조금 느려요. 자, 소네플러스 오퍼스 같은 경우는 아까 초록색으로 조금 담겨 있었죠. 자,이 친구가 오퍼스한테 먼저 컨설팅을 받고 나서 그리고서 이제 작업을 소네한테 넘겨서 소이 메인이니까 그 기반을 오퍼스가 답변해 준 걸 기반으로 손넷이 지금 작업을 하고 있는 거예요. 그래서 잠깐 동안이 블랭크한 기간이 있었던 거고이 재밌는게 뭐 제가이 스트리밍 기능을 썼는데 이따가 제가 API 다큐멘트를 보면서 말씀을 드릴 거지만 스트리밍 기능을 써도 우리 툴콜에서 가져오는 것들은 스트리밍을 할 수가 없어요.

자, 그렇기 때문에 오퍼스가 답변을 해 주는 기능 동안은 우리가 그냥 잠깐 동안 우리가 아무것도 스트리밍을 받지 못하는 상황이 생기게 되고 오퍼스가 응답을 했을 때 어드바이스가 응답을 하고 난 다음부터 소이 이제 스트리밍을 이렇게 할 수가 있게 되는 겁니다. 그죠? 자, 오퍼스만 사용을 했을 때는 10초 정도 더 일찍 끝났는데 한 8초죠. 근데 비용이 상당히 많이든 걸 볼 수 있죠. 0.29달러가 들었고요. 자, 우리가 소네 오버스를 같이 사용했을 때 그니까 어드바이저로 사용을 했을 때는 0.06달러밖에 안 들었고 소만 섰을 때는 조금 더 저렴했어요. 0.0 0달러. 자, 왜냐 오퍼스를 우리가 사용하면은 그만큼 이제 비용이 조금 더 증가하니까. 어, 벤치마크에서 보여줬던이 내용처럼 실제로 지금 우리가 시도를 했을 때 둘을 섞어 사용했을 때 더 저렴하면서 더 퍼포먼스가 좋은 건 우리가 결과를 내지 못했지만 이거 여러 번 제가 몇 번 돌려봤는데 더 저렴하게 나올 때도 있기는 해요. 네. 있기는 하기 때문에 확률상 저렴할 수도 있고 조금 더 비쌀 수도 있다라고 여러분들이 생각하시면 될 거 같아요.

자, 하이쿠 같은 경우에는 정말 저렴하게 나왔죠. 그죠? 자, 그럼 결과를 한번 봐 볼 건데. 자, 하이쿠가 짠이 지도를 보니까 딱 봐도 이건 뭔가 잘못됐죠. 그죠? 자, 왔다 갔다 왔다 갔다 왔다 갔다 하는 형태로 지금 짜놨는데 소액 정도는 가야지 우리가 조금이 여행을 효율적으로 갈 수 있도록 만들어 준 거를 볼 수가 있어요. 그죠? 자, 그리고 소네플러스 어드라이저와 오퍼스는 거의 비슷하게 나왔습니다. 자, 그 뜻은 뭐냐? 오퍼스가 플래닝한 거를 우리가 소시 임플리멘트 하도록 하면은 굉장히 저렴한 가격으로 오퍼스가 제시한 요구 사항들을 우리가 그대로 거의 비슷하게 임플레멘트를 할 수가 있다라는 이야기가 될 수도 있겠죠. 자, 그래서 결과는 이런 식으로 나왔고요. 실제 벤치마크를 우리가 확인을 해 보면은이 경로의 효율은 지금 소넷과 오퍼스를 같이 섰을 때 조금 더 높게 평가를 받았습니다. 나머지 요소는 굉장히 비슷했고요. 그죠? 자, 그래서 우리가 비교를 해 보면은 제 현재 하이쿠가 굉장히 저렴하게 퀄리티를 가장 낮게 도출을 해 놨다면은 자, 소액 같은 경우에는 이것보다는 거의 한 20% 정도 더 효율적인 결과를 내냈고요.

그 대신 당연히 조금 더 비쌌죠. 그죠? 자, 소액과 오퍼스를 섞었을 때 조금 더 좋은 결과와 조금 더 높은 비용을 우리가 발생을 시킬 수밖에 없었고 오퍼스는 그냥 압도적으로 너무 비쌌다. 그죠? 어, 0.29달러 이거는 그냥 비교도 안 되죠. 뭐 한 세 배 정도 들었어요. 그죠? 자, 시간 같은 경우에는 소네과 어드바이서를 썼을 때 우리가 조금 더 시간이 길게 걸렸다라고 볼 수가 있습니다. 자, 이거 같은 경우에도 오퍼스랑 비교를 했을 때는 가끔은 더 짧게 나올 때도 있어요. 자, 그렇기 때문에 굉장히 조금 흥미로운 형태다라고 여러분들이 생각하시면 될 거 같습니다. 자,이 전체이 거리를 추산을 해 보면은 어, 하이쿠 같은 경우는 121kg를 우리가 그 여행을 해야 되는 형태로 만들어 줬고요. 소네 같은 경우 33.87km. 자, 소네 플러스 어드바이서는 28.5km. 그러니까 가장 효율적이죠. 그죠? 자, 오퍼스 같은 경우에는 총 34.96km를 우리가 이동을 해야 되는 형태로 구성을 해 줬어요. 자,이 데모 말고도 다른 형태로도 제가 몇 번을 써 봤는데 자, 우리가 소넷과 오퍼스 어드바이서를 합쳐서 사용을 했을 때는 보통 소넷을 썼을 때랑 오퍼스를 썼을 때이 중간 정도의 퀄리티가 나오는 경우가 대부분이었고요.

비용은 압도적으로 저렴해요. 정말 압도적으로 저렴합니다. 그렇기 때문에 여러분이 꼭 한번 사용을 해 보시면 좋을 것 같고 실제 됨으로 봤으니까 우리 다큐멘테이션도 봐야겠죠. 그죠? 자, 우리는 개발자이기 때문에 다큐멘테이션 꼭 봐야 됩니다. 어떤 것들을 얘기하고 있는지를 한번 봐 볼게요. 자, 한국어 코리안으로. 자, 코리안으로 바꿔 가지고 보면은 자, 언제 사용해야 할까요? 자, 복잡한 작업에 소네 사용하고 있다면 오퍼스를 자문으로 추가해서 비슷한 수준 또는 더 낮은 총 비용으로 품질를 향상시킬 수가 있다. 그러니까 비용 때문에 내가 어쩔 수 없이 소을 쓰고 있다. 내가 지금 오퍼스의이 성능을 쓰고 싶지만 포기하고 있다라고 한다면은 자, 이런 방식으로 우리가 둘을 합쳐서 섰을 때 굉장히 효율적으로 우리가 모델을 사용할 수 있다라는 얘기를 하는 겁니다. 자, 그래서 우리가 모델 호환 같은 경우에는 자, 하이쿠랑 오버스, 소네시랑 오퍼스, 그리고 만약에 원한다라면은 오퍼스랑 오퍼스도 우리가 사용을 할 수가 있다라는 거예요.

자, API 같은 경우는 이런 식으로 우리가 정의를 해 주면 되고요. 자, 이거는 우리가 모르고 있던게 하나도 없죠. 그죠? 여기서 이제 특별한 건 우리가이 오퍼스를 툴콜에다가 넣어 준다. 그러면은 우리 메인 모델이 작업을 하다가 어, 오퍼스한테 좀 자문을 받아야 될 것 같아라고 했을 때 바로 코를 할 수가 있다라는 거죠. 자, 물론 어, 다른 툴과 함께 사용할 수 있습니다. 당연히. 자, 그래서 이런 매개 변수를 우리가 쓸 수가 있고요. 여기에서 조금 흥미로운 거는 맥스 유즈라는게 있는데 맥스 유즈를 우리가 예를 들어서 3이라고 넣어 놓을 경우에는 소네이 작업을 하다가이 오퍼스한테 자문하는 거를 최대 세 번까지만 할 수 있도록 우리가 제안을 둘 수가 있어요. 어, 비용이 너무 발생하는 걸 원치 않는다면은 뭐이 횟수를 조금 줄여 가지고 우리가 최대한 제안을 할 수가 있다라는 거죠. 자, 응답이 들어오는 구조는 어떻게 되냐? 자, 이렇게 중간에 보이는 것처럼 우리가 어드바이저의 응답 이렇게 들어온다라고 여러분이 기억을 해 주시면 되고요.

우리가 플레인 텍스트로 받을 수도 있고요. 이렇게 암호화된 컨텐츠로 받을 수도 있습니다. 자, 오류가 났을 때는 이런 형태로 오류 코드를 우리가 받을 수가 있고 이건 그냥 읽어 보시면 되겠죠? 그리고 어 멀티턴으로도 당연히 우리가 작업을 할 수가 있어요. 사용법은 똑같아요. 자, 툴에다가 우리가 이렇게 툴로 넣어 주면은 사용을 할 수가 있다. 자, 사용량 같은 경우에도 어드바이저를 썼을 때 우리가 따로 이렇게 토큰 이항 받아볼 수가 있고요. 다른 작업들처럼요. 자, 프롬프트 캐싱도 다 다른 도구랑 같이 사용하는 거 아까 말씀드린 대로 원래 되던 대로 다 가능하다. 자, 어떨 때 쓰면은 가장 좋냐? 자, 복잡한 작업의 시작이나 아니면 난이도가 높아질 때 어드바이서 2를 호출하면 더 좋은 결과를 얻을 수 있다라는 얘기고 작업 초기에 시스템 프롬프트를 생성하는데 사용을 해도 좋다라고 이야기를 하고 있네요. 자, 제한상은 아까 제가 말씀을 드린 것처럼 스트리밍 방식은 안 되고요. 그러니까 우리가 어드바이서가 작업을 하고 있는 동안은이 토큰 스트리밍이 잠시 중단이 됩니다.

그리고 결과를 얻고 난 다음에 메인 에이전트에서만 우리가 스트리밍을 다시 재결할 수가 있고요. 자, 맥스 토큰은 어드바이저 토큰에는 적용되지 않는다. 정도만 여러분이 기억을 하시면 되겠습니다. 자, 방금 나온 기능이고 AI 서비스에 클로드를 연동하고 계신 분들이 굉장히 많을 거예요. 그런 분들 전부 다 API 쓰고 있을 건데. 자, 이렇게 간단하게 툴 사용을 우리가 넣어 줌으로써 응답에 향상을 일으킬 수 있기 때문에 여러분 꼭 한번 적용을 해보고 벤치마크를 해 보시는 걸 저는 추천을 드리고요. 그 벤치마크에 대한 결과가 조금 있다면은 어, 댓글에다가 여러분이 결과를 남겨 주셔도 다른 분들과 공유하기 좋을 것 같아요. 자, 제가 오늘 준비한 영상 여기까지입니다. 제 영상이 좋았다면 구독과 좋아요, 알림 설정 그리고 댓글에 하이보이까지 꼭 부탁드립니다. 쏘as지.