앤트로픽이 말하는 가장 효율적인 Harnessing. Managed Agents! 앙

Video: 앤트로픽이 말하는 가장 효율적인 Harnessing. Managed Agents! 앙
Channel: 코드팩토리
Duration: 18m 29s
Source: subtitle (auto, ko)
Transcript:
자, 오늘은 얼마 전에 나온 매니지
에이전트 한번 허르룩 한번 먹어
보도록 할게요. so eas지. 자,
사실이 컨텐츠지를 제가 저번 주에
하고 싶었는데 조금 딜레이가 됐어요.
왜냐면은 이거를 좀 정확하게
여러분들한테 전달해 드리지 않는다면
여러분이 어 그래서 이게 뭐가 도대체
좋은 거야라는 말이 나올 수밖에
없다고 생각을 했기 때문에 제가 조금
더 생각을 할 시간이 필요했고 어
오늘은 역시나 뭐 저 같은 유튜버
가는 주장보다는 우리 엔트로픽
형님들이 정확하게 얘기를 해 준게
여러분을 설득하기 훨씬 더 좋기
때문에 자 그래서 실제로 엔트로픽이
생각하는 인프라스트럭처 관점에서의
한해 생기법 그리고 왜이 매니드
에이전트를 이런 방식으로 만들었는지
우리가 함께 보면서 한번이 컨텐츠
다뤄보도록 보도록 할게요. 자, 근데
우리 또 우리 형님들은 이거 실제로
쓰는 거를 먼저 봐 보는 걸
좋아하죠. 그죠? 자, 그렇기 때문에
자, 일단은 실습부터 하고 그다음에
어, 이론적인 내용들 한번 봐 보도록
할게요. 자, 일단은 여러분이 크로드
콘솔에 가면요. 자, 이렇게 매니
에이전트라고 이렇게 뉴지 달려 있는
친구가 있습니다. 자, 여기 가면
여러분이 에이전트를 생성해서 섹션들을
굴릴 수가 있고요. 자,이 매지ed드
에이전트 같은 경우에는 쉽게 말하면은
엔트로픽이 생각하는 굉장히 주관적인
한승이 어떻게 되는지에 대한이
방향성이 인프라 관점에서 구현이 돼
있다라고 보시면은 될 거 같아요.
자, 그래서 여기에 여러 개의 탭이
있는데 이거 저희가 하나씩 다 볼
거거든요. 자, 퀵스타트 같은
경우에는이 밑에 있는네 가지를 전부
다 어 다뤄 주는 우리가 채팅을
통해서 전부 다 인프라를 올릴 수
있는 기능이라고 보시면 되고요. 자,
에이전트 같은 경우에는 저도 이제 몇
가지를 샘플로 만들어 봤는데 실제
우리가 클로드가 어떤 기능을 수행을
할지 정의하는 그니까 우리가
일반적으로 알고 있는 그 에이전트라고
생각하시면 됩니다. 자, 그럼 세션은
뭐냐? 세션 같은 경우는 우리가
실제로 에이전트랑 뭐 채팅을
통해서라든지 아니면은 인스트럭션을
통해서든 우리가 실제을 진행을 하면은
그 안에서 생기는 로그들이 담기는
곳이라고 보시면 될 거 같아요. 자,
그리고 인바먼트 같은 경우에는
에이전트가 실행이 될 수 있는
환경입니다. 그래서 여기서 우리가
다양한 권한 같은 것들을 설정을 할
수가 있다. 자, 그리고 마지막으로
이제 볼트라는게 있는데 볼트 같은
경우에는 뭐 실제 볼트라는 그
서비스도 있죠. 그럼 그거랑
똑같아요. 그래서 크레덴셜을 관리하는
기능이라고 여러분들이 알고 계시면 될
거 같고요. 자,이네 가지를 조합해서
우리가 하네싱을 했을 때 가장
효율적으로 하네싱을 할 수가
있다라는게 엔트로픽의 관점이다라고
보시면은 돼요. 자, 그래서 여러분이
처음에 작업을 하게 되면은요.
퀵스타트에서 작업을 넣어 주시면 될
거 같고요. 제가 굉장히 조금
다양하게 고민을 많이 해보고 다양하게
좀 어프로치를 가져가 봤는데
여러분들한테 설명드리기에 가장 편할
만한 예제는 어 서포테이전트를
만드는게 제가 봤을 때는 가장
편하기는 할 것 같아요. 그래서
이걸로 저희가 예제를 한번 오늘
진행을 해 볼 거고 이거 외에도 사실
어 여러분들이 할 수 있는 거 굉장히
많습니다. 어 미리 말씀을 드리자면은
여러분이 이미 구축을 해 놓은 뭐
M8으로 했든 뭐 서버를 직접 만들어
했든 뭐 다양한이 요구 사항들
있잖아요. 자, 그런 것들을 우리가
전부 다 매니 레이전로 효율적으로
굴릴 수 있도록 우리가 다 가져올
수가 있다라고 여러분들이 기억을 해
주시면 되고. 자, 이거를 우리가
했을 때 제가 벌써이 댓글에 달릴 거
이제 생상이 되는 거. 아이고 그냥
클로드 코드에 써 가지고 우리가
로컬에서 돌리면 다 되는 거잖아요.
말씀을 하시는 건데 그건 여러분들이
이제 AI 서비스를 굴려 본 적이
없어서 그러는 거고요. 실제 AI
서비스를 굴렸을 때는 우리가 API를
사용하지 않고 그리고 또 우리가 어
에이전트를 만들어서 그 체이닝을 해
가지고 하지 않고서 구현을 할 수가
없는 기능들이 굉장히 많아요. 어
트래픽에 따라서 우리가 스케일링을
해야 되기 때문에 그렇기 때문에 그냥
로컬에서 사용을 하는 관점에서
만들어진게 아니다라는 걸 여러분들이
일단은 주목하고서 가시면 좋을 것
같습니다. 자, 그럼 한번 진행을 해
볼 건데 우리가이 템플릿 중에 일단
하나를 선택을 해 보면요. 저는
서포테이전트를 해 볼 건데 어렵지
않아요. 우리가 그냥 기본적으로
이해할 수 있는 야멜과 제이슨 형태로
이렇게 돼 있거든요. 그리고이
서포테이션트 같은 경우에는 이렇게
툴를 줬죠. MCP 서버 우리가
노션을 쓸 거고 슬랙을 쓸 건데
노션이 됐든 슬랙이 됐든이 친구들을
우리가 소스로 해서 서포트 에이전트를
만들겠다라는 거예요. 자, 저희가
해볼 컨셉은 그냥 뭐 서비스에 대한
서포트를 한다고 하면 조금 너무 뻔할
것 같아 가지고 뭐 Abnb 숙소에
대한 서포트 보시라고 한번 가정을 해
볼게요. 자, 그럼 구독자분들 중에서
실제로 그런 사업을 하신 분들이 있을
텐데 얼마나 쉽게 우리가 셋업을 할
수 있는지 그리고 얼마나 효율적으로
인프라 관리를 할 수 있는지
여러분들이 알 수가 있겠죠. 자,
그래서 우리는 노션을 쓸 거고요.이
중에서 우리가 노션 페이지에다가 우리
숙소를 사용할 수 있는 가이드 뭐
와이프 뭐 와이파이라든가 이런 정보를
넣어 놓으면은 알아서이 하네식 시스템
안에서 해당 정보를 가져와서 실제
세션을 돌릴 수 있는 형태가 되는
거겠죠. 그죠? 자, this
템플릿이라고 하면 되고요. 만약에
여러분이 직접 만들고 싶다이
에이전트를. 그러면 여기서 채팅
형태로 여러분이 만들어 주셔도
됩니다. 자, 그러면은 자,
에이전트는 바로 만들어지고요.이
템플릿이 이미 있으니까. 그다음에
인바이어먼트를 또 만들려고 이렇게
나왔던 거를 볼 수가 있죠. 그죠?
자,이 인바멘먼트는 뭐냐?이
환경이라고 제가 말씀을 드렸어요.
자, 그러면 여기서 우리가 어떤
인먼트를 쓰고 싶냐? 자,이 첫
번째는 제가 미리 만들어 놨던
거고요. 어, 여러분들을 위해서 제가
그냥 처음부터 하나 만들어 볼게요.
자, 새로 만들겠다라고 하면은 환경을
새로 생성을 해 줍니다. 자, 그리고
인어먼트 같은 경우 저희가 권한을
설정할 수 있다고 제가 말씀을
드렸는데 여러분이 실제 프로덕션에서
운영을 할 경우에는 리미티드로 주고서
여러분이 주고 싶은 권만 열어 주는게
가장 추천되는 방법이고 저희는
데모니까 그냥
unrestricted로 넣어
줄게요. 왜냐면 이거 우리가 계속
리스트릭션을 넣다 보면은 어 굉장히이
대모의 목적과 다르게 권한 설정한데
시간이 오래 걸릴 수가 있기 때문에
자 그다음에 이게 설정이 되고 나면은
지금 에이전트랑 인먼트 이렇게 두 개
됐죠. 그죠? 자 그럼 우리가 이제
세션을 어 시작을 할 수가 있다라는
겁니다. 자 세션을 시작한다는 건
무슨 개념이냐? 자, 에이전트를
인바멘트 안에다가 우리가 띄우고 띄운
다음에 우리가 여기다 채팅을 넣게
되면은 그 기록이 남는게 세션이요.
왜 이게 이렇게 나눠져 있는지는
저희가 이따가 엔트로픽의이 주관적인
관점을 보면서 인프라에 대한 이야기도
한번 해 보도록 할게요. 자, 이렇게
세션을 시작하면요. 뭐 서포트 채널
어디를 쓸 거냐? 뭐 슬랙에다 우리가
포스팅을 할 수가 있는데 뭐 선택을
해라 이렇게 나오는 거 볼 수 있는데
저희는 슬랙은 신경 쓰지 않을
거고요. 바로이 창에서 진행을 해 볼
건데 일단은 그냥 아무거나 이렇게
선택을 해 볼게요. 자, 그러면은
시스템 프롬프트 안에다가 우리가 뭐
API 사용해서 우리가 에이전트를
코를 하면은 시스템 프롬프트 우리가
직접 정의할 수가 있으니까이 안에다가
이렇게 넣어 주고 있는 거를 볼 수가
있죠. 그죠? 자, 그리고 기다리면은
우리가 노션이랑 슬랙을 쓰기 위해서이
크레셜이 필요하잖아요. 그죠? 자,
그렇기 때문에 볼트를 우리가 등록을
해야 된다라고 이렇게 나오는 걸로 볼
수가 있어요. 자,이 볼트 같은
경우는 제가 업데이트 크롤러라고
이렇게 하나 만들어 놓은게 있고 저희
같은 경우에는 새로 하나 만들어
가지고 역시나 우리가 연동을 한번
진행을 해 보도록 하겠습니다. 자,
그럼 바로 볼트가 만들어졌다라고
나오는 거 볼 수 있죠. 자, 그럼
여기서 우리가 체크를 해 주고
커넥트를 하게 되면요. 자, 그럼
실제 노션으로 우리가 오어스로 연동할
수 있는이 창이 이렇게 뜨거든요.
자, 그러면 저 같은 경우 이제 코드
팩토리 노션 원 페이지를 우리가
컨티뉴 해 가지고 눌러 주면은요.이
볼트 안에서는이 노션과 연결했던이
워스 상태가 전부 다 기억이 돼요.
자, 그 뜻은 뭐냐? 이제 슬슬 감히
오실 것 같은데이 버트와 그 어떤
에이전트든 그리고 어떤 세션이든 어떤
환경이든 여러분이 이제 조합해 가지고
사용할 수가 있다라는 겁니다. 자,
개발자라면 이제 바로 감히 왔을
거예요. 아, 이거 인터페이스로
레이어 나눈 거구나라는 생각이 이제
들 건데 정확히 그게 맞아요. 근데
그걸 왜 이렇게 했는지는 저희가 이따
봐 봐 보도록 할게요. 자,
마찬가지로 슬렉 같은 경우에도
여러분이 하고 싶으면은 커넥트를 해도
되는데 저는 그냥 스킵을 할게요.
왜냐면 슬렉을 안 쓸 거기 때문에.
자, 그다음에 refin이닝을 누를
거예요. 자, 여기서 테스트을 바로
누르면 바로 이제 세션이 시작이
됩니다. 그럼 그 안에서 우리가
채팅을 할 수가 있는데 여기서 저는
뭘 하고 싶냐면요. 자, 저는 이렇게
노션 페이지를 이미 하나 만들어
나왔어요. 그래서 뭐 성수 업안 정글
이용 가이드라고 이렇게 돼 있는데 뭐
재미나 그냥 대충 만들어 봤습니다.
자, 그래서 이렇게 정보를 이렇게 다
넣어 놨고이 정보를 기반으로이 에어
이제 묶으려는 이제 손님이 오면은 그
손님이 채팅을 했을 때 우리가이 정보
기반을 그니까 래그죠.이 이 정보를
기반으로 답변해 줄 수 있도록 우리가
세팅을 한번 해 보도록 할게요. 자,
그럼 우리가이 링크를 복사를 할
거고요. 자, 그리고이 친구한테 자,
자, 이렇게 링크를 넣어 주고서
자,이 링크에서 널지 베이스를 구축해
줘라고 하게 되면은요. 시스템
프롬프트에다가 역시나이 링크 안에가
가지고 정보를 가져오도록 정의를 하게
될 겁니다. 자, 이렇게 그럼 뭐
어쩌면서 만 하겠다라고 나오는 걸 볼
수가 있죠. 그죠? 자, 그래서
명시가 됐고요. 자, 여기까지 되면은
우리가 충분히 어, 잘 만든 거
같다라는 생각이 들었을 때 이제
테스트을 우리가 넣어 주면은 돼요.
자, 그러면 이렇게 우리가 세션을
시작을 할 수가 있고요. 자, 여기서
와이파이 정보 알려 주세요라고 한번
요청을 해 볼게요. 저희 뭐 MCP가
뭐 안 됐다라고 하는데 이건
상관없습니다. 저희가 슬랙 연결을 안
해서 그려. 자, 이렇게 요청을
하면은이 기록이 남습니다. 자,
이렇게 사용자가 와이파이 정보 알려
주세요라고 했다고 하고 자, 모델의
요청이 시작이 됐고요. 그죠? 음.
이제 생각을 하고 있고 출코를
했어요. 그죠? 노션 페이지에서
크롤링을 해 왔고 우리가 정보를
가져온 다음에 자이 데이터를 지금이
보한테 넣은 거죠. 자 그다음에
요청이 이제 시작이 됐습니다. 자
그럼이 인터페이스는 우리가 또
어디서도 볼 수 있냐면요. 세션에
가면요. 이미 우리가 실행되고 있는이
러닝 세션을 바로 볼 수가 있어요.
자 들어가면은 우리가 디버깅도 할 수
있고요. 실제 아까 봤던이 디버깅
창은 조금 더 정보가 많은 창. 자,
그리고 우리 트랜스크립트로 가면
우리가 실제로 유의미한 응답을 받은
창을 볼 수가 있어요. 자, 그러면은
응답이 실제로 왔는데 여기에 이제
네트워크는 이거고 빌번호는 이거다라고
답변이 들어온 거를 확인할 수가
있죠. 그죠? 자, 그래서 이런
식으로 우리가 쓸 수가 있다라는 거를
이야기를 하고 있는 거고요. 자,
이게 왜 중요하냐? 별것도 아닌 거
같은데 왜 다들 뭐 매니 레전츠가 뭐
좋다 뭐 어쨌다 하면서 난리냐라는
거에 대해서 우리가 이제 이야기를 해
볼 겁니다. 자, 그다음에 이제
우리가 비용에 대한 것도 이야기를 해
보도록 할게요. 그것도 이제 이거를
읽고 나면은 조금 흥미롭거든요. 자,
그래서 실제로 엔트로픽에서 릴리스라이
블로그 그리고요. 스링 매니지
에이전트라는 제목을 갖고서 릴리스를
했어요. 제가 한국어로 한번 봐 볼
건데. 자,이 위에 글을 보면은
옛날에 우리가 소프트 엔지니어링을
어떻게 했는지에 대한 이야기가 조금
있습니다. 그리고 여기 추상화라는
단어가 있는데 쉽게 말하면 이제
인터페이스라는 거죠. 실제 구현체를
만들지 않고 어떻게 생겼을 거야라고
우리가 가정을 하고 프로그래밍을
하는게 추상화라고 여러분들이 보시면은
돼요. 뭐 개발자분들은 이제 바로
이해를 하시겠지만 개발자가 아닌
분들은 그 USB 꽂는 그 포트를
정의를 하는 거라고 생각하시면
됩니다. 그러면 그 안에다 우리가
다양한 USB 형태의 기기들을 꽂았을
때 전부 다 작동을 하죠. 그죠?
근데 그 인터페이스만 정의를 해 놓은
거니까 USB 포트는 그런 정의를
우리가 추상화라고 본다라고 생각하시면
될 거 같아요. 자, 에이전트의 구성
요소인 세션 그리고 하네스 그리고
샌드박스를 가상화했다. 그죠?
자,이를 통해서 각 구성 요소의
구현을 다른 구성 요소에 영향을 주지
않고 교체를 할 수가 있다. 자,
이게 가장 중요합니다. 이게 모든
인터페이스 형태를 사용을 한 그러니까
앱스트랙션을 사용을 한 추상화를
사용한 프로그래밍에 가장 중요한
포인트예요. 자, 우리는 이러한
인터페이스의 형태에 대해서는 명확한
입장을 가지고 있지만 그러니까 굉장히
오피니언네이트 있다. 그 뒤에서
실행되는 내용에 대해서는 그렇지
않다. 그러니까이 인터페이스는
자기들이 생각하는 대로 명확하게
정의를 해 놨는데 그 뒤에서 여러분이
뭘 실행하든지는 그때는 이제
자유다라는 걸 얘기를 한다라고 보시면
됩니다. 자, 그래서 엔트로픽이
생각한 거는 이런 구조고요. 음,
하네스를 우리가 만들어 놓으면은 자,
세션 아까 우리가 그 봤죠. 그
세션과이 오케스트레이션 그리고
샌드박스 그리고 툴들이 전부 다
나눠져 있어서 각각 인디펜던트하게
움직일 수 있도록 해 주는게 바로
엔트로픽에서 생각을 한 가장 좋은
하네싱 방법이다라고 생각한 거고 이게
바로 매니시드 에이전츠의 녹아 있는
겁니다. 가장 처음 시작되는 건 프롬
스테이트먼트부터 시작을 하거든요.
뭐가 문제였는지. 자, 우리는 모든
에이전트 구성 요소를 단일 컨테이너에
배치하는 것을 시작을 했다. 자,
그러니까 세션 에이전트 하네스랑
샌드박스가 모두 동일한 환경을 공략이
되었다. 자, 이거는 여러분들이
실제로 직접 인프라를 구축했을 때도
똑같이 이렇게 나올 거예요. 그죠?
자,이 방식에는 편집이 직접적인
시스템 호출로 이루어지고 서비스
경계를 설계할 필요가 없다라는 점에
이점이 있기는 하지만 자, 그렇지만
이걸 통합하기 때문에 우리가 오래된
인프라 문제를 마주하게 됐다. 항상
있는 개발자들의 인프라 문제거든요.
자, 컨테이너에 문제가 생기면 세션이
끊어지고 컨테이너가 응답하지 않으면
우리가 직접 돌보고 복구해야 됐다.
자, 스테이프하다라는 이야기를 하는
거죠. 자, 그리고 그 뜻은
컨테이너를 관리한다는 거는 응답하지
않고 멈춰 버린 세션을 디버깅하는
것을 의미를 했고 우리가 제일
싫어하는 거죠. 그리고 때때로는 그
정도로 우리가 오류 지점을 정확하게
파악할 수가 없을 때도 있어요. 자,
그게 항상 어렵습니다. 실제로. 자,
그래서 한네스 버그, 뭐 이벤트
스트림, 패키 손실, 컨테이너
오프라인 상태 등 어떤 원인이든
동일한 오류로 나타나는 경우가
많았다. 자, 이게 진짜 프로덕션
우리가 디버깅이 정말 어려운 이유 중
하나입니다. 자, 그래서 뭘 했냐?
엔트로프에서 뇌랑 손을 분리를
시켰다. 자, 그러니까 두 뇌 그리고
손을 우리가 그니까 두 뇌는
클로드고요. 자, 손 같은 경우에는
작업을 수행하는 샌드박스 그리고
이벤트 로그죠. 자, 이것들을 전부
다 분리를 했다라는 겁니다. 자,
그게 바로이 세 가지요. 에이전트,
세션, 벌어먼트 그죠? 자, 그래서
각각 독립적으로 고장이 나도 우리가
교체를 할 수 있도록 됐다라는
겁니다. 자, 맨 위에 우리가 어,
소프트웨어 엔지니어링의 전통적인이
문제점과 어떻게 우리가 그 인프라
문제를 해결했는지에 대해서 취상화가
있었죠. 그죠? 자, 그거랑 똑같은
얘기를 하는 겁니다. 나눴다라는 거는
그 똑같은 얘기를 하는 거예요. 자,
그래서 하네스가 컨테이너 밖으로
나가게 됐고 두뇌와 손이 분리됐다는
거는 하네스가 더 이상 컨테이너 안에
존재하지 않는다는 걸 의미를 한다.
자, 하네스는 다른 도구를 부르는
것처럼 컨테이너를 불렀다. 자,
그러니까 굉장히 일반화된 그냥
엑시큐트라는 이런 추상화된 레이어를
만들어 놓고 컨테이너는 마치 가축처럼
취급됐다. 아까 펫이랑 가축에 대한
얘기가 있었거든요. 이건 중요하지
않은데 쉽게 말해서 대체될 수 있는
요소가 됐다라는 겁니다. 자,
컨테이너가 고장나면은 하네스는 도구
오류로 간주하여 클로드에게 전달을
했고 클로드가 제시도를 결정을 하면은
표준 레시피를 사용해서 세 컨테을
다시 초기할 수가 있다. 자, 왜냐
분리돼 있으니까. 자, 우리가 굉장히
생각 없이 구현을 하게 되면
에이전트랑 세션이랑 인바멘먼트랑이
볼트가 전부 다 하나로 하나의
인프라스트럭처로 묶여 있는데 그렇기
때문에이 중 어떤 하나라도 페일하게
되면 우리가 전부 손실되는 문제를
야기할 수가 있다는 거죠. 만약에
우리가 이렇게 전부 다 나눠 가지고
서로 각각 독립적으로 서로 의존성이
최소화된 형태를 우리가 구현을 하게
되면은이 중 그 어떤게 페일하더라도
우리가 다시 복구를 할 수가 있다는
겁니다. 자, 쉽게 말해서 환경이
갑자기 페일했어요.이 환경 속에서이
모든 데이터가 갑자기 막 다 날아가
버렸다. 자, 그래봤자 세션에 우리가
모든 어 진행했던이 과정이 전부 다
남아 있고 그죠? 자, 에이전트에
대한 정의도 따로 독립적으로 남아
있고 그리고 볼트 안에 우리가 저장을
해 놨던이 크레션도 전부 다 남아와
있으니까 그냥 우리가 새로운
인바먼트를 생성을 하고 마지막에
멈췄던이 세션 정보로부터 다시 작업을
시작을 하면은이 하네스가 영원하게
문제가 생기더라도 컨티뉴어스하게
작업을 하도록 우리가 불릴 수가
있다라는 거예요. 그리고 그런
관점에서 봤을 때 우리 옛날에음 며칠
전에 조금 더 옛날에 나왔던 이펙티브
하네스라는이 글 있죠? 자,이 글
안에서 이야기하는 내용들도 포함이
되는 겁니다. 그러면은이 매니저
엔처를 사용해 가지고 좀 롱널러리
테스크를 굴린다라는 관점은 그죠?
자, 그래서 결론으로 가면은 우리가
지금 말했던 거랑 이제 똑같은 건데
아직 생각하지 못한 프로그램을 위한
시스템을 어떻게 설계할 것인가에 대한
문제.이 이 문제를 우리는 항상
추상화를 통해서 해결해 왔어요. 자,
그런데이 AI 에이전트의 관점에서
봤을 때 추상화는 어떤 레이어가
존재해야 되는가라는 생각을 했을 때
엔트로픽이 내놓은 대답은 이거라는
겁니다. 자, 그래서이 매니 레전스는
클로드가 미래 필요로 할 특정
한네스에 대해 편양되지 않는 동일한
정신을 가진 메타 하네스다. 자,
그래서 다양한 하네스를 지원하는 범용
인터페이스를 갖춘 시스템이다라고
이야기를 하고 있고요. 그 한네스
시스템을 우리가 구축을 하기 위해서
굉장히 일반화된 제너럴 인프라에
취상화된 레이어들이다라고 여러분들이
이해를 하시면 될 거 같아요. 자,
그래서 메타하네스라고 부르는 거고요.
이런 것들이 잘 될 수 있도록
그러니까 앞으로도 앞으로 어떤 형태의
한해승이 유행을 하더라도 그 모든
것들이이 추상화 안에 들어갈 수
있도록 여러분들이 이해를 하시면
되겠죠. 그죠? 어, 꽤나이 복잡하고
긴 글인데 사실 포인트는 이거입니다.
어, 제가 봤을 때 포인트는 이거고
여러분들이 이해를 잘 하셨으면
좋겠네요. 자, 그럼 우리가
프라이징을 한번 봐 볼 건데 어떤
식으로 작동을 하게 되냐면요. 우리가
일단은이 방금 제가 말씀드린 내용을
이해를 한다 했을 때 우리가 비용을
내게 되는 요소는 두 가지가 있죠.
그죠? 우리가 에이전트를 실제로
실행해서 세션을 구현을 했을 때이
세션이 실행이 될 만한 이어먼트를
우리가 또 인프라스트럭처로 올렸기
때문에 그거에 대한 비용을 내야 될
거란 말이야요. 그죠? 자, 그럼
어떻게 설계가 되느냐? 자, 그럼
봤을 때 모델 프라이징은 여러분들이
이미 알고 있는이 모델 프라이징을
그대로 따라가게 되고요. 뭐 오퍼스를
썼냐, 소을 썼냐 아니면 하이
하이쿠를 썼냐에 따라서 인풋 실량
아웃풋 토큰에 따라서 여러분이 어
프라이징을 적용받게 됩니다. 자,
그러면은 실행되고 있는 세션은 우리가
어떻게 계산을 하게 되느냐? 자,
이쯤 가운데쯤 보면은 클드니ed이
프라이싱이 있어요. 자, 토크는
우리가 원래 API 빌딩대로 그대로
받게 되고요. 세션 런타임이라는
비용을 우리가 또 지불를 해 줘야
돼요. 자, 그리고이 지불 방식은
우리 전통적인 인프라스트럭처 관점에서
본다면은 서버레스 방식과 굉장히
유사하다고 보시면 되고요.
0.08달러를
우리가 세션 아워. 그러니까 세션을
실행하는 한시간당 0.08달러를
08달러를 여러분들이 지불 하게
되고요. 러닝 스테이트일 때만
여러분이 지불 하게 되기 때문에
실제로 여러분이이 정의를 해 놓은이
에이전트와이 환경 그리고 트는 전혀
어 비용을 받질 않습니다. 자, 근데
여러분이 세션을 실행했을 때 자,
이렇게 보면은요. 자, 우리가 뭐
에이전트가 어떤 작업을 했죠? 그죠?
자, 그리고 잠깐 뭐 API을
기다리고 있었다거나 그 아니면은 뭐
아무것도 하지 않았거나라는 그 기간이
있을 거란 말이야. 자, 그때는
여러분이 비용을 청구받지 않고요.
실제로 이렇게 에이전트가 실행하고
있을 때 또는 툴코를 했을 때 자,이
기간만 전부 다 취합을 해서 여러분이
비용을 지불하게 된다라는 거예요.
그래서 1한시간당 0.08달러고요.
자, 우리가 언디맨드 기준으로 봤을
때 1한시간당 0.08달러를
08달러를 생각을 한다면은 서울
이전에서는 T4G 라지 정도가 될
수가 있을 것 같고요. T시리즈 가린
여러분이 좀 더 많이 쓰는 M5
시리즈로 본다면은 M5 라지보다 조금
더 저렴한 정도의 비용이라고
생각하시면 될 거 같네요. 자, 근데
EC2 비용 같은 경우에는 사실 계속
실행하는 거에 대한 이제 비용이기
때문에 여러분 실제로 사용하지 않을
때는 비용을 지불하지 않는다는이
서버레스가 갖고 있는 서버레스 형태의
프라이싱 모델이 갖고 있는 모든
장점들을 다 가져갈 수 있다라는
포인트가 있기 때문에 그리고 인프라를
내가 직접 관리하지 않아도 된다라는
장점이 있기 때문에 자, 이런 식의
에이전틱 시스템을 구축하고 있는
분들이 굉장히 많을 건데 계산을 한번
때려 보시고요. 여러분의
인프라스트럭처가 실행되고 있는이
시간을 대강적으로 여러분이 계산을 해
보면은 그러면은 알 수가 있겠죠.
쉽게 비교를 해 볼 수가 있겠죠.
비교를 해 보시고 아마 아이디랑
기간이 길수록 아마 이쪽 모델이 조금
더 저렴할 거예요. 그리고 사실
인건비 그리고 인프라 관리하는
비용까지 다 들어가 있는 거기 때문에
이거는 여러분이 진지하게 한번 고려를
해 봐도 좋을 것 같은 신규
툴입니다. 그래서 제가 한번 소개를
해 드린 거고요. 어, 많은 분들한테
좀 도움이 됐으면 좋겠고 제가 오늘
준비한 콘텐츠는 여기까지입니다. 자,
다음에 저는 더 좋은 콘텐츠로
돌아오도록 할게요. 자, 오늘 콘텐츠
좋았으면은 구독과 좋아요, 알림 설정
그리고 댓글에 하이폴까지 해 주시면은
제가 다음에 더욱더 더 좋은 콘텐츠를
만드는데 힘이 됩니다. 자, 그럼
저는 다음에 더 좋은 영상으로
찾아뵙도록 하겠습니다. 쏘지.