Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 영상은 여러 AI 모델(GPT, Claude, Gemini 등)을 한 곳에서 사용하고 요청 유형에 따라 최적의 모델을 자동으로 선택하는 'Route LLM by Abacus AI' 서비스를 소개합니다. 이 서비스는 API를 통해 다양한 기업의 모델을 통합 관리하며, 단순 조회와 복잡한 계산 같은 작업에 적절한 모델을 라우팅하여 비용 효율성을 극대화할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 코드팩토리의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기Video: 매번 가장 효율적인 LLM을 선택하는법
Channel: 코드팩토리
Duration: 10m 56s
Source: subtitle (auto, ko)
Transcript:
자, 최근 제브나 라처럼 요청을 분류하거나 다음 행동을 고르는데 특화된 아이들이 굉장히 많이 나오고 있죠. 자, 어떤 작업을 어느 모델에게 맡길지 결정하는 라우팅에 우리가 활용을 많이 하고 있습니다. 오늘 보여 드릴 서비스는 채 LRM바 아바스커스 AI입니다. 여러 회사의 AI 모델을 한 곳에서 사용할 수가 있고 라우트 LRM으로 요청마다 모델 선택을 우리가 맡길 수도 있어요. 직접 써 보고 싶으시면은 설명란의 링크에서 확인해 보세요. 지금 보시는 화면이 최 LRM by 아바스카스 AI의 홈페이지예요. 만약에 평소에 여러분이 여러 모델을 번갈아가면서 사용을 하고 있다라고 하면은이 선택을 여러분이 자동으로 맡길 수 있는지 한번 확인을 해 보시면 좋습니다. 이건 제가 만든 키보드 마켓 상담 서비스거든요. LRM에 라우트 LLM API을 연결해서 고객 질문에게 답하고 관리자 화면에서는 어떤 모델이 답변했는지 확인할 수 있게 제가 만들어 놨어요. 분석을 해 보고 얼마나 우리가 효율을 더 누릴 수 있는가 한번 확인해 보도록 할게요.
자, 아마스아의 LRM은 최pt 쓰이는 GPT 모델부터 클로드 재미나이까지 여러 회사의 AI 모델을 한 곳에서 쓸 수 있는 서비스요. 자, 기본 플랜은 사용자당 월 10달러부터 시작을 하고요. 라우트 LM API도 구독에 포함이 돼 있습니다. 이게 굉장히 큰 장점이죠. 자, API 호출에는 사용량에 따라서 크레딧이 소모가 되고요. 우리가 그냥 채 LRM에서 직접 대화를 할 때도 라우트 LRM으로 모델 선택을 맡길 수가 있고 API를 이용을 하게 되면은 제가 만든 서비스에도 바로 연결할 수가 있어요. 자, 그래서 오늘은 제가 만든 키보드 마켓 상담 기능의이 API을 한번 연결해 볼 거예요. 자, 고객이라고 해도 우리가 필요한 작업은 꽤나 다르거든요. 뭐 예를 들어서 배송 상태 같은 거는 우리가 주문 자료에서 찾으면 되긴 하겠지만 묶음 할인받은 상품 하나를 취소하면은 할인 조건이랑 배송비를 다시 또 따져야 되는 문제가 생길 수가 있단 말이에요. 자, 그래서 저는 일단은 처음에는 단순 조회는 가벼운 모델로 하고 반품 판단이나 환불 계산 같은 거는 고급 모델로 보내는 규칙을 한번 만들어 봤습니다.
자, 돈이 걸린 계산이기 때문에 우리가 굉장히 신중하게 배치를 해야겠죠. 자, 그래서 많은 분들이 어, 이런 되게 비싼 작업들을 할 때 모두 다 비싼 LM, 고급 LRM을 사용해서 작업을 하는 경우가 있는데 그러면은 손실이 너무 큽니다. 자, 그래서 우리가 어디까지 가벼운 모델로 충분한지 직접 확인을 좀 하고서 벤치 마킹을 해 줘야 되는데 우리가 이거를 라우트 LRM한테 자동으로 그냥 판단을 맡겼을 때 효율을 한번 봐 보도록 할게요. 자, 지금 이게 키보드 마켓 제가 만든 거고요. 넥스트스로 만들었고 고객 상담이랑 관리자 로그를 같은 프로젝트 안에다 제가 넣어 놨습니다. 자, 일단은 우리가 상담에 필요한 자료를 먼저 준비를 다 해 놨어요. 뭐 제품 정보, 주문별 배송, 반품 규정, 묶구마린 조건 뭐 이런 것들을 이제 다 넣어 놨고요. 자, 일단은 모두 가상 자료를 제가 만들어 놨습니다. 자, 여기서 우리가 밥을 주문은 A105라고 우리가 이름을 지은 주문인데 키보드랑 키캡을 같이 샀고 아직 출고하기 직전이요.
자, 그러니까 상담도이 자료를 바탕으로 취소 가능 여부랑 예상 환불액을 안내를 해야겠죠. 자, 그런데 실제 취소나 환불 처리를 하지는 않을 거예요. 자, 연결 설정에서는 라우트 LRM API 정보와 비교할 모델을 우리가 등록을 해 놨어요. 자, 기본은 오토로 돼 있고 한 모델로 고정하기. 그리고 제가 만든 커스텀 라우터를이 상담에서 제가 선택을 할 수가 있어요. 벤치 마킹을 하기 위해서 이렇게 세 가지를 한 거죠. 자, 커스텀라터는 참고로 이제 제가 판단을 했을 때 어떤 부분에서 고급 모델을 써야 될지를 제가 지정을 해 놓은 겁니다. 자, 질문을 보내면은 준비한 주문이랑 정책 그리고이 상담의 이전 대화들을 우리가 함께 전달하게 되겠죠. 그리고 API을 우리가 답변을 받고 실제 응답에 들어가 있는 모델명이랑 실행 기록을 저장을 하도록 제가 만들어 놨습니다. 우리가 확인할 수 있도록. 자, 그럼 일단 첫 번째인 오토로 한번 우리가 상담을 이어가 보도록 할게요. 이게 가장 중요한 부분이기 때문에. 자, 첫 번째 질문은 아주 불친절하게 진짜 실제 사용자인 것처럼 A105는 아직 출나요라고 우리가 그냥 대충 던졌어요.
자,이 질문을 보면은 오른쪽에 자료 전달이랑 API 요청 과정이 표시가 되고요. 답변이 돌아오죠. A105는 아직 출고 전이라고 안내를 했어요. 자, 그다음에는 그 주문에서 C20만 취소 가능한 상태인지 알려 주세요. 금액에 대한 거 이따가 또 물어볼게요라고 조금 복잡하게 한번 물어봤습니다. 자, 이번에는 주문 번호를 우리가 다시 쓰지 않았기 때문에 앞에서 이야기한 주문을 이어받아 줘야 되죠. 그죠? 자, 출고전이어서 키캡 부분만 취소 신청이 가능한 상태라고 답변을 했고요. 자, 그럼 마지막으로 그렇게 만약에 취소를 하게 되면은 묶음 할인이랑 배송비를 반영한 예상 환불액이 얼마요라고 조금 한번 물어봐 봤어요. 자, 여기서도 주문 번호나 아니면은 상품명을 다시 주진 않았습니다. 자, 기존에 우리가 줬던 정보는 주지 않은 거죠. 자, 이때 예상 환불액은 26,000원으로 답변을 했어요. 자, 계산을 우리가 한번 확인해 볼 건데. 자,이 주문이 10만 원짜리 키보드랑 4만 원짜리 키캡에 묶구마림 14,000원을 받아서 12만6,000원을 결제를 했거든요.
자, 그런데 남은 상품의 전가 합계가 12만 원 이상이어야지만 묶음 할인이 유지된다는 조건이 있습니다. 그래서 키보드만 나오면 10만 원이라서 할인 조건을 충족하지 못하는 거죠. 자, 그래서 키캡의 실제 결제 36,000원에서 키보드에 적용됐던 날인 1만 원을 회수를 하게 되면 26,000원이 되겠죠. 자, 배송비 같은 경우는 지금 기준으로도 무료 배송 기준을 넘기 때문에 무료 배송은 유지가 되고요. 자, 그래서 첨결한 12만6,000원에서 남은 키보드 전가 10만 원을 빼봐도 그러면은 맞죠. 자, 그래서 정확하게 잘 AI가 계산을 해 준 거를 확인할 수가 있습니다. 자, 그럼 제가 기록을 남겼기 때문에이 상담을 관리자 화면에서 한번 열어보고서 여러분들이 한번 얘기를 해 보도록 할게요. 자,이 상담에서는 배송 상태를 GPT 5.6 루나가 답변을 했고요. 그다음에 취소 가능 여부부터는 GPT 5.6 솔로 바뀌어 가지고 답변이 됐어요. 자, 그다음에 마지막 환불 계산도 솔이 답변을 했습니다. 상담 중에 제가 모델을 알아서 바꾼 건 절대로 당연히 아니고요.
그냥 기본 오토로 요청을 하고서 실제 응답된 모델들을 여기다 이제 기록을 한 겁니다. 조금 아쉬운 거는 어떤 이유로이 모델들이 골라졌는지는 저희가 알 수가 없기 때문에 이유는 들어오지 않는다라고 생각하시면 될 거 같아요. 자, 그리고 우리가 로그도 남겼는데 전체 응답 시간이랑 첫 변이 들어오기까지 걸린 시간 그리고 API가 제공한 토큰 사용량 놀이가 다 남기고 있어요. 우리가 예상한 거랑 답변이 틀렸을 때 어떤 자료와 대화를 보냈는지도 우리가 돌아볼 수 있도록 로그를 다 남겨 놨고요. 자, 그다음으로는 제가 커스텀 라우터를 만들어 놓은게 있는데 커스텀 라우터 같은 경우에는이 똑같은이 세 개의 질문을 우리가 넣었을 때 배송 상태랑 취소 가능 여부를 제미나이 3.8 플래시가 답했고요. 어,이 부분은 어, 쉬운 부분이라고 다 잘 판단을 한 거 같아요. 그리고 마지막 환불 계산은 GPT 5.6테라로 바뀌었어요. 자, 그리고 여기서도 정답은 제대로 잘 맞췄고요. 자, 그런데 어찌됐든 같은 상담 흐름이어도 선택한 모델이 조금 달랐죠.
자, 그래서이 두 가지 방식으로 제가 테스트를 했고 이걸 조금 확장해서 여러 번 제가 CS 문의를 테스트별로 넣어 봤습니다. 자, 그래서 제가 비슷한 문의를 12개 정도 한 번에 봤는데요. 배송 조회, 반품 판단, 할인 계산, 자료에 없는 주문까지 가상 무늬 12개를 제가 준비해 가지고 넣어 봤어요. 완전히 똑같은 자료랑 질문을 넣고 문의다 새 대화에서 한 번씩 우리가 답변을 받는 형태로 한번 해 봤습니다. 자, 세 가지 방식으로 비교를 했어요. 자, GPT 5.6 테라로 전부 다 처리하는 거. 그리고 제가 아까 말씀드린 제가 만든 커스텀 규칙으로 나눠서 맡기는 거. 그리고 기본 라우트 LM 오토에게 맡기는 방법이요. 자, 그래서 12개씩 총 36개를 우리가 진행을 해 봤고요. 다 끝나고 나서 우리가 이제 사용된 크레딧까지 기록을 해 봤습니다. 그래야지 여러분들이 어떤게 유리한지 판단할 수가 있으니까요. 자, 테라로 그냥 고정을 하고서 우리가 작업을 했을 때는 411 크레딧이 사용이 됐고요. 제가 만든 규칙은 349 크레딧.
그리고 기본 오토는 70레딧밖에 사용이 안 됐어요. 자, 그래서 오토는 고정 모델 대비에는 83% 저렴했고 제가 만든 규칙 대비해도 80% 적게 표시가 됐습니다. 자, 그럼 답변이 얼마나 완성도가 높았는지도 우리가 판단을 해 보면은 커스텀으로 한 라우팅이랑 오토는 12가지를 모두 정답을 잘 맞췄고요. 고정으로 테라만 쓴 거는 11가지를 맞췄거든요. 자, 이건 조금 특별한 사례일 수도 있는데 반품 기간이 이미 지난 문의에서 첫 문장에서는 가능하다고 했고 뒤에서선 또 불가능하다고 답변한게 하나가 있었어요. 근데 뭐 대체적으로 어떻게 해도 어, CS는 충분히 잘해낼 수 있는 능력이 다 있기는 하다라고 우리가 판단할 수 있습니다. 자, 그래서 제가 커스텀으로 만든 규칙은 플래시로네 개를 처리했고 테라로 여덟 개를 처리했고요. 자, 기본 오토 같은 경우는 테라를 한 번 썼고 나머지 11개는 두 종류의 루나로 처리를 했습니다. 그래서 제가 커스텀으로 만들었던 라우팅보다 오토로 했던 판단이 더 적은 사용량을 쓸 수 있는 더 적은 토큰을 쓸 수 있는 모델들로 정확한 답변을 처리를 해 낸 거죠.
자, 제가 커스텀 라우팅을 할 때 환불 계산은 일단 고급 모델로 보내라라고 굉장히 넓게 잡았는데 오토 같은 경우에는 환불 계산을 할 때도 웬만한 난이도들은 다 그냥 루나급으로 처리를 할 수도 있다라고 판단을 한 거죠. 자,이 결과를 봤을 때 그러면은 오토가 판단을 해내는 것처럼 우리가 직접 커스터 라우팅을 전부 다 만들어 가지고 최적화를 해서 사용을 하면은 훨씬 더 저렴하게 우리가 사용할 수 있는 거 아니냐라고 얘기를 할 수도 있는데 우리가 모든 상황에 대해서 직접 라우팅을 다 커스터마이즈 하는 거는 정말 시간이 오래 걸리고 너무도 복잡한 최적화의 과정이 걸린단 말이에요. 항상 모든 상황에 대비를 하는 러닝을 시켜 놓기가 어렵기 때문에 우리가 라우트 LRM으로 오토 라우팅 모드를 사용을 하면은 굉장히 효율적으로 문의들을 처리할 수가 있다라는 거죠. 자, 그리고 재밌는게 여기에 이제 스티키 설정이라는게 또 있거든요. 자,이 스티 같은 경우에는 우리가 우리가 대화를 이어 나갈 때 처음에 답변한 AI 모델이 계속이어서 답변할 수 있도록 해 주는 기능이라고 보시면은 돼요.
자, 그래서 껐을 때는 처음에 플래시가 답변하고 그다음에 테레가 답변하고 그다음에 또 테러가 답변할 수도 있는데 스티키 설정을 켜게 되면은 플래시가 계속 연속해 가지고 답변하는 형태로 여러분이 강제를 할 수도 있다는 겁니다. 자, 그래서 여러분도 항상 평소에 반복해서 작업하던 것들을 업무들을 모아 가지고 최대 가서 라우트 lm에다가 오토 모드로 자료들을 넣어 가지고 여러분이 한번 결과를 한번 봐 보세요. 자, 그래서 적절한 모델들이 선택이 되는지, 정확한 답변들이 오는지, 라우팅이 만족스러운지, 그리고 사용량은 여러분들이 쓰던 것보다 더 적은지 이런 것들을 한번 판단을 해 보면은 여러분이 쓸 만한지 아니면은 계속 체적하는게 나을지 판단을 한번 해 볼 수가 있을 것 같습니다. 자, 그래서 이번에는 직접 상담하는 화면이랑 모델 선택을 할 수 있는 라우터텔레을 우리가 바로 연결을 해 봤고요. API로 크레딧량이랑 정답률을 비교를 해서 오토 모드가 굉장히 좀 효율적인 라우팅을 잘해 준다. 기본적으로 그냥 우리가 아무것도 러닝시키지 않아도 잘 라우팅을 해주고 비용을 최적해 준다.
알게 됐습니다. 자, 그래서 이런 업무를 만약에 하고 계신다면은 이미 그러면 라우트 LRM을 꼭 한번 고려를 해 보시고요. 여러분이 반복해서 하는 업무에서 어떤 결과가 나오는지 직접 한번 판단을 해 보시고 사용을 한번 해 보시면 좋을 것 같습니다. 마지막으로 최대 LR의 다른 기능들도 짧게 한번 보여 드릴게요. 자, 먼저 영상 생성이요. 원하는 장면을 입력하고 만들어진 영상을 우리가 확인해 볼 수가 있고요. 이미지 생성도 같은 방식으로 우리가 원하는 그림을 설명하고 결과를 확인해 볼 수가 있어요. 휴나이즈 기능도 한번 사용해 볼게요. 준비한 문장을 넣고 원문과 수정된 문장을 우리가 비교해 볼 수가 있습니다. 그러면 휴나이즈된 문구가 훨씬 더 자연스러울 거예요. 자, 이런 기능들도 함께 써 보고 싶으시면은 설명란에 링크에서 LM바이 아바스커스 AR를 확인해 보시면 되겠습니다. 자, 그럼 저는 다음 영상에서 더 좋은 영상으로 함께 찾아뵙도록 하겠습니다.