Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
TypeSafe AI가 개발한 'Jeff' 모델은 환각 현상이 없고 대화형이 아닌 구조화된 출력을 위해 설계되었습니다. 이 모델은 GPT와 비교하여 속도 및 비용 효율성이 매우 높으며, JSON 스키마 강제를 통해 코드로 직접 사용 가능한 값을 추출하는 데 최적화되어 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 YouTube 노마드 코더 (개발)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기저는 제가 가장 좋아하는 새로운 AI 모델을 찾은 것 같습니다. 이 모델은 환각(hallucinate) 현상이 없고, GPT와 Fable보다 거의 200배 빠르며, 400배 이상 저렴합니다. 그리고 이것은 채팅봇이 아닙니다. 게다가 ChatGPT의 공동 개발자가 만든 것입니다. 사용자에게 '오늘 무엇을 도와드릴까요?'라고 말을 걸지 않습니다. 인간조차도 이 모델이 하는 말을 직접 읽도록 설계되지 않았습니다. 그리고 저는 그 점이 가장 좋습니다. 지금까지 사용했던 모든 AI 모델들은 사람과 대화하도록 훈련되었습니다. 하지만 이 모델은 코드 안에 존재하며 실제로 인간을 마주할 일이 없도록 만들어졌습니다. 이것의 이름은 Jeff이며, TypeSafe AI라는 샌프란시스코 연구소에서 만들었습니다.
TypeSafe는 존재하는 모든 AI 모델들을 살펴보고 같은 점을 발견했습니다. 그들은 진실을 말하도록 훈련된 것이 아니라, 사용자를 만족시키도록 훈련되었다는 것입니다. 그들은 항상 자신이 하는 말에 대해 매우 확신하는 것처럼 들리다가, 당신이 틀렸다고 말하면 사과합니다. 그래서 그들은 또 다른 채팅봇을 만들지 않았습니다. 대신 그들이 'System 1 모델'이라고 부르는 것을 만들었습니다. 즉, 사용자에게 대화하는 LLM(대규모 언어 모델)이 아닙니다. 잡담도 없고, 생각 과정을 소리 내어 말하지 않습니다. 오직 선택만 합니다.
System 1 모델이라는 이름은 우리의 뇌가 두 가지 시스템으로 작동한다는 내용의 책 『Thinking Fast and Slow』에서 유래한 명칭입니다. System 2는 느리고 신중한 추론 과정입니다. 반면, System 1은 빠르고 직관적인 판단입니다. 예/아니오 답변, A 또는 B 선택 등이 그것에 해당합니다. Jeff는 당신이 예/아니오 답변이나 A 또는 B 선택지, 혹은 확신 점수(certainty score)를 원할 때 찾는 모델입니다. 채팅을 하는 것이 불가능하도록 설계되었습니다.
공정하게 말하자면, GPT에게도 같은 종류의 답변을 얻도록 강제하는 방법은 두 가지가 있습니다. 첫째는 프롬프팅(prompting)입니다. 'A, B 또는 C로만 답하시오'와 같이 지시하는 것입니다. 하지만 이것은 취약하며 모델이 어쨌든 말을 시작하면 실패할 수 있습니다. 예를 들어, 답변이 '음... 뭐랄까...' 식으로 길어질 수 있죠. 둘째는 구조화된 출력(structured outputs)을 사용하는 것입니다. 그리고 이것이야말로 AI의 응답이 사람에 의해 읽히지 않고 당신의 코드 안에 존재해야 할 때 찾는 방법입니다.
예를 들어, 콘텐츠 중재(moderation) 작업을 한다고 가정해 봅시다. '이 리뷰는 긍정적인가요 아니면 부정적인가요? 점수를 매겨주세요.'와 같이 말이죠.
답변으로 긴 문단을 원하지 않습니다. 코드로 직접 사용할 수 있는 값을 원합니다. 그래서 모델을 JSON 스키마에 강제하여 답변을 추출해냅니다. GPT가 단어 하나로 답변하게 만드는 과정은 이렇습니다. 질문은 '이 리뷰의 감성은 무엇입니까?'입니다. 이것이 제가 답변을 강제하는 형태(shape)입니다. 하나의 필드, 그리고 오직 세 가지 허용 값만 있습니다. 저는 그 형태를 모델에 직접 전달하고, 모델은 저에게 같은 형태를 돌려줍니다.
이 모든 과정을 거쳐 단어 하나를 얻기 위해서인데, 이 모델은 정말로 문단을 쓰려고 합니다. 여기는 Jeff에서 동일한 질문을 하는 모습입니다. 이것이 클라이언트의 리뷰와 질문이 하나의 호출(call)에 들어가는 방식입니다. 지침(instructions)에는 단순히 평이한 영어로 된 질문만 포함됩니다. 기준(criteria)에는 각 항목별 설명이 담긴 옵션들이 있습니다. 그리고 답변은 바로 돌아옵니다. 파싱 과정이 필요 없습니다.
당신은 '선택지(choice)'를 보고 있습니다. Jeff가 답변할 수 있는 세 가지 방법 중 하나입니다. 또한 척도에 따른 '점수(score)'와 예/아니오 확률('probability')도 제공됩니다. 점수는 그 척도에 따른 숫자를 알려주고, null은 답변이 '예'일 확률을 알려줍니다. 그리고 끝입니다. 이것이 전체 어휘(vocabulary)입니다.
그리고 한 번에 하나만 질문할 필요가 없습니다. 여기서는 리뷰에 대해 세 가지 별도의 질문을 하고 있습니다. 감성, 열정도, 배송 지연 여부입니다. 먼저 감성을 묻고, 다음으로 리뷰어가 얼마나 열정적인지, 그리고 배송 지연이 있었는지 묻는 것입니다. 이들은 동일한 리뷰를 보지만 서로의 답변은 볼 수 없습니다. 독립적으로 한 번에 실행됩니다.
그리고 저는 이런 출력을 받습니다. 이제 이것이 끊임없이 돌아간다고 상상해 보세요. 모든 리뷰, 모든 티켓, 모든 메시지를 하루 종일요. GPT 가격으로 계산하면 비용이 쌓입니다. GPT-6 Luna는 백만 토큰당 입력 10센트, 출력 50센트를 차지합니다. GEV는 4센트에 불과하며, 출력은 무료입니다. 이는 결코 적지 않은 격차입니다.
속도 또한 중요합니다. 얼마나 빠른지 보시죠. GEV와 GPT의 차이를 보세요. 심지어 선택지 범위 밖에 있는 답변을 지어낼 수는 없지만, 여전히 잘못된 것을 고를 수도 있습니다. 이것이 바로 '선택지(choice)'와 '점수(score)'가 신뢰도 점수(confidence score)를 함께 반환하는 이유입니다.
그리고 Null을 사용하면 확률을 직접 얻게 됩니다. 물론 완벽한 것은 없습니다. GEV는 숫자나 날짜에 강하지 않으며, 어떤 것이 더 큰지 또는 무엇이 먼저 오는지 알려주지는 못합니다. 그것이 잘하는 분야가 아닙니다. 또한 챗봇을 대체할 수도 없습니다. 하지만 GEV가 실제로 어떤 것을 가능하게 하는지 생각해 보세요. 빠르고 저렴하며, 옵션 사이에서 선택하는 방식으로 작동합니다. 이는 소프트웨어가 실제로 결정해야 하는 거대한 부분을 차지합니다. 이를 사용하여 올바른 모델로 요청을 작성할 수 있습니다. 스팸을 분류하는 데 사용할 수도 있습니다. 사람들은 이미 이것으로 트레이드 봇(trade bot)을 만들고 있습니다. 매수, 매도 또는 보유. 이는 목록에 있는 단 세 가지 옵션일 뿐입니다. 사람들은 또한 이것에게 비디오 게임을 하도록 가르치고 있습니다. 제약된 행동(Constrained actions). 왼쪽, 오른쪽, 위, 아래. 그리고 GEV는 실시간으로 플레이할 만큼 충분히 빠릅니다. 누군가는 Minecraft에서 엔더 드래곤(Ender Dragon)을 9분도 안 되어 8달러 미만으로 물리쳤습니다. 사람들은 몇 센트 반에 단 몇 초 만에 500개의 이메일을 분류했습니다. 어떤 사람은 이것을 통해 724개의 경쟁사 광고를 40초 만에 실행하여, 각각의 광고에서 후크(hook), 제안(offer), 그리고 행동 유도 문구(call to action)를 추출했습니다. 다른 누군가는 이것으로 실시간 세일즈 코파일럿(sales copilot)을 만들었습니다. 통화를 듣고, 사용자가 어느 단계에 있는지 추적하며, 클로징 확률을 실시간으로 제공합니다.
언급할 가치가 있는 것은 제가 이 영상을 만들는 동안 OpenAI가 자체 버전을 출시했다는 것입니다. 그들은 이것을 Decisions API라고 부릅니다. 같은 아이디어입니다. 목록을 제공하면 하나의 옵션과 신뢰도 점수(confidence score)를 돌려받습니다.
하지만 여전히 그 밑바탕에는 Luna가 있습니다. 당신을 기쁘게 하려고 하는 일반적인 채팅 모델이지만, 가만히 앉아서 오직 목록에서만 선택하도록 지시받은 것입니다. 애초에 GEV는 채팅 모델이 아니었습니다. 저는 이미 GEV SDK를 다루는 전체 미니 코스를 녹화했습니다. 이 과정에서는 첫 번째 요청부터 오류 처리 및 GEV의 실제 한계 이해까지, 작고 실행 가능한 Python 예제를 통해 모두 배울 수 있습니다. 그리고 이것은 AX school 멤버십에 포함되어 있습니다. 아래 링크를 클릭하여 시청을 시작하세요. 아직 AX 구독이 없다면, 하나를 만드세요.
이 과정에 더하여 Cloud Code 과정, Flu Framework 과정, Hermes Agent 과정, 그리고 OpenAI Agents API 과정도 받게 됩니다. 또한 제가 만드는 모든 과정에는 1년 동안의 지원과 주간 보고서 및 코드 보일러플레이트가 포함됩니다.
댓글을 통해 GEV에 대해 어떻게 생각하는지, 그리고 무엇을 위해 사용할 것인지 알려주세요. 아래 링크를 클릭하여 AX 엔지니어가 되세요. 좋습니다. 다음 영상에서 뵙겠습니다. 안녕히 계세요. 안녕히 계세요.