시작하기에 앞서 짧은 사실 하나를 전달하겠습니다. 2026년 7월 13일, Yandex는 자사 플랫폼에서 활발하게 학습한 졸업생들이 정보학 (Informatics) ЕГЭ(러시아 국가 고시)에서 평균 68.7점을 받았다고 발표했습니다. Rosobrnadzor(러시아 교육감독청)의 데이터에 따르면 전국 평균 점수는 58.7점입니다. 정확히 10점의 차이가 나며, Yandex의 발표에 따르면 이는 3년 연속 기록입니다.

이 수치는 매우 아름답고 의심스러울 정도로 깔끔합니다. 따라서 우리는 이를 보도 자료가 아닌 엔지니어의 관점에서 분석해 보겠습니다. 무엇을 정확히 측정했는지, 이러한 효과를 낸 도구는 어떻게 구성되어 있는지, 상관관계(Correlation)가 어디서 끝나고 이를 인과관계(Causality)로 받아들이려는 욕구가 어디서 시작되는지를 살펴보겠습니다. 아울러, 기성 플랫폼을 기다리는 대신 자신의 목적에 맞는 학습용 AI를 직접 구축하려 한다면 무엇을 적용할 수 있을지도 함께 살펴보겠습니다.

만약 학습 보조 도구를 위한 모델을 선택하면서 해외 카드 결제나 VPN 문제로 번거로움을 겪고 싶지 않다면, 이 점을 미리 염두에 두십시오 - 기술적인 부분은 아래에서 다시 다루겠습니다.

Yandex는 정확히 무엇을 측정했는가?

2026년 7월 13일 Yandex의 데이터에 따르면, 분석 대상은 2025/26 학년도 동안 플랫폼에서 80개 이상의 실습 문제를 해결한 1,500명의 졸업생을 포함했습니다. 회사는 바로 이들을 '활성 사용자(Active users)'라고 부릅니다. 이들의 평균 결과는 68.7점입니다.

비교를 위해 정보학 ЕГЭ 평균 점수에 대한 Rosobrnadzor의 공식 데이터인 58.7점을 사용했습니다. 여기서 10점의 차이가 발생합니다.

통계의 또 다른 측면은 도달 범위(Reach)입니다. 시험을 준비하던 119,000명의 11학년 학생 중 81%가 플랫폼에서 최소 하나 이상의 과제를 수행했습니다. 1인당 평균 48개의 문제를 해결했습니다. 즉, 일반 사용자(Mass user)와 활성 사용자(Active user)는 서로 다른 그룹입니다. 일반 사용자는 약 48개의 문제를 해결하고, 활성 사용자는 80개 이상을 해결합니다.

간과하기 쉬운 또 다른 세부 사항이 있습니다. 학습을 위한 AI에 관한 이 모든 논의의 핵심인 'AI 튜터 (AI Tutor)' 도구를 사용한 비율은 Yandex의 데이터에 따르면 플랫폼 사용자의 3분의 1이었습니다. 모든 사용자가 사용한 것은 아닙니다. 즉, 68.7점 상승분 중 일부는 어시스턴트와의 대화 없이 문제를 푸는 일반적인 연습을 통해 확보된 것입니다. 보도 자료는 이 두 가지 기여도를 분리하여 제공하지 않으며, 이 점을 염두에 두는 것이 중요합니다.

나중에 다시 뒤로 넘겨보지 않도록 수치들을 하나의 그림으로 정리해 보겠습니다.

활성 그룹과 평균 그룹 사이의 격차는 안정적입니다. Yandex는 10점 차이가 3년 연속으로 반복되었다는 점을 강조합니다. 이러한 안정성은 효과의 체계성을 뒷받침하는 근거인 동시에 주의가 필요한 이유이기도 합니다. 3년 연속 정확히 10점이라는 수치는 방법론에 대한 의문 없이 받아들이기에는 너무나 정교하기 때문입니다.

정답을 알려주지 않는 AI 튜터는 어떻게 작동하는가?

보도 자료의 가장 중요한 내용적 세부 사항은 수치가 아니라 교육학에 있습니다. Yandex는 'AI 튜터 (AI Tutor)'를 다음과 같이 설명합니다. 정답을 바로 내놓는 대신, 용어를 설명하고 문제 풀이 과정에서 유도 질문을 던져 학생이 스스로 자신의 오류를 찾을 수 있도록 돕습니다.

이는 익숙한 '채팅에 물어보고 해결책을 얻는' 방식과는 근본적으로 다른 모드입니다. 일반적인 어시스턴트는 요청을 해결하는 데 최적화되어 있습니다. 정보학 문제를 풀어달라고 요청하면 답변을 출력합니다. 이는 실제 학습에는 종종 해가 됩니다. 학생은 결과물을 얻지만, 기술이 형성되는 과정인 학습 경로를 거치지 않기 때문입니다. 실제 시험장에는 정답을 알려줄 도구가 옆에 없습니다.

소크라테스식 모드 (Socratic mode)는 목표를 뒤집습니다. 모델은 당신 대신 문제를 풀어주는 것이 아니라, 질문을 통해 당신을 정답으로 인도해야 합니다. "이 루프 단계에서 변수에 어떤 일이 일어날까요?", "여기서 기대하는 데이터 타입 (Data type)은 무엇인가요?", "경계값 (Boundary value)을 확인했나요?". 학생은 스스로 오류를 찾아내며, Yandex의 논리에 따르면 바로 이 점이 더 높은 점수와 상관관계가 있습니다.

공학적인 관점에서 볼 때 여기에는 마법이 없습니다. 이것은 시스템 프롬프트 (System Prompt)와 규율의 문제입니다. 모델은 최종 답변을 내놓는 것이 명시적으로 금지되어 있으며, 유도 질문 (Leading questions)을 통해 대화를 이어가도록 지시받습니다. 핵심은 단 하나의 지침이 아니라, 학생이 열 번 연속으로 "그냥 정답을 말해줘"라고 요청하더라도 긴 세션 (Session) 동안 지침이 유지되고 무너지지 않도록 하는 데 있습니다.

아래는 이러한 모드의 최소한의 골격입니다. 이것을 완성된 제품이 아닌 원리를 보여주는 예시로 참고하세요. 실제 튜터는 풀이 과정의 검증, 특정 ЕГЭ (Unified State Exam) 프로그램에 대한 작업, 그리고 지침 우회에 대한 방어 기제가 필요합니다.

[

이런 튜터를 직접 만들 수 있을까요?

네, 모드의 골격은 어렵지 않게 재현할 수 있습니다. 핵심은 모델을 "해결사"에서 "멘토"로 전환시키는 시스템 프롬프트 (System Prompt)에 있습니다. 다음은 OpenAI 호환 SDK를 사용한 간결한 예시입니다.

from openai import OpenAI

client = OpenAI(
...

핵심 포인트는 해외 카드와 VPN 없이 모델을 어디서 가져오느냐 하는 것입니다. 여기서 애그리게이터 (Aggregator)가 유용합니다: provod.ai는 Claude, GPT, Gemini, DeepSeek, Qwen을 하나의 채팅과 하나의 API에서 제공하며, 이는 OpenAI 및 Anthropic SDK와 호환됩니다. 즉, 키(Key)와 base_url만 바꾸면 위의 코드를 다시 작성할 필요가 없습니다. 결제는 루블 단위로 이루어지며, 러시아 카드로 결제하거나 SBP 또는 계좌 이체를 통해 가능합니다. 법인의 경우 계약서, 송장 및 증빙 서류를 제공합니다. 이는 교육용 보조 도구를 프로토타이핑(Prototyping)하면서, 어떤 모델이 긴 세션 동안 소크라테스식 문답법 (Socratic method) 모드를 더 잘 유지하는지 비교하고 싶을 때 매우 편리합니다.

중요하고 솔직한 유의사항이 있습니다. provod.ai는 모델에 대한 접근성과 통합 API를 제공하는 것이지, Yandex Учебник 수준의 완성된 플랫폼이 아닙니다. 이는 특정 ЕГЭ (Unified State Exam) 프로그램에 맞춘 풀이 검증, 학생 분석, 교수법 기반 및 모든 구현 작업을 대체하지 않습니다. 또한 이는 GigaChat에 관한 것도 아닙니다. 만약 GigaChat이 꼭 필요하다면, 그것은 별도의 조건이 적용되는 별개의 제품입니다. 애그리게이터 (Aggregator)는 러시아 내에서 해외 모델에 안정적으로 접근할 수 있는 병목 현상을 해결해 줄 뿐, 그 외의 나머지는 사용자가 직접 구성해야 합니다.

상관관계가 깨지는 지점은 어디인가?

이제 보도자료에서는 정의상 비중이 낮을 수밖에 없는 솔직한 부분을 다루겠습니다. Yandex의 데이터는 실험적인 데이터가 아닌 상관관계 (Correlation) 데이터입니다. 이 연구는 추가적인 연습 효과로부터 AI 튜터만의 효과를 분리하여 격리하지 않았습니다. 이는 사실 구성에서 명확히 드러납니다. 튜터를 사용해 본 사람은 전체 사용자의 3분의 1에 불과하며, '활성 사용자'는 80개 이상의 문제를 푼 모든 사람으로 간주되었습니다.

이것이 무엇을 의미하는지 분석해 봅시다. 활성 사용자는 정의상 평균 참가자보다 두 배 더 많은 문제를 푼 (평균 48개 대비 80개 이상) 동기 부여된 학생입니다. 이런 사람은 AI 없이도 평균보다 높은 점수를 받았을 가능성이 큽니다. 즉, 더 많이 준비했기 때문입니다. 플랫폼이 그들의 결과를 강화했을 수도 있지만, 단순히 이미 높은 점수를 목표로 했던 사람들을 활성 표본으로 모았을 수도 있습니다. 이는 전형적인 자기 선택 효과 (Self-selection effect)입니다.

두 번째 지점은 규모와 대표성입니다. 전체 준비생 119,000명 중 활성 표본은 1,500명입니다. 이는 전체 코호트 (Cohort)의 1.5% 미만이며, 전국에서 정보학 ЕГЭ를 치른 모든 응시자와 비교하면 매우 적은 수치입니다. 이렇게 좁은 집단에서의 평균 점수는 가장 몰입도가 높은 사람들이 포함되기 때문에 쉽게 상향 편향될 수 있습니다.

세 번째는 3년 연속 정확히 10점이라는 점입니다. 이 안정성은 두 가지 방식으로 해석될 수 있습니다. 낙관적으로 보면 효과가 체계적이고 재현 가능하다는 뜻입니다. 회의적으로 보면, 너무 딱 떨어지는 우연이라서 그 이면의 방법론을 확인하고 싶어집니다. 즉, 매년 활성 표본과 절단점 (Threshold)을 정확히 어떻게 선정하는지에 대한 것입니다. 보도자료는 이에 대해 밝히지 않고 있습니다.

이 중 그 어떤 것도 실제 연습의 중요성을 부정하지는 않습니다. 소크라테스식 방식 (Socratic mode)은 합리적인 학습 접근법이며, 수많은 문제를 푸는 것은 실제로 도움이 됩니다. 하지만 "AI 덕분에 +10점"이라는 헤드라인은 "AI를 사용한 일부를 포함하여, 가장 동기 부여가 잘 된 상위 1/3 그룹이 +10점을 기록했다"라고 하는 것이 더 정확하게 들립니다.

작업에 따라 어떤 도구를 선택해야 할까?

학습을 위한 AI를 구축하고 있다면, 세 가지 시나리오를 미리 구분하여 하나의 도구를 적합하지 않은 곳에 끌어다 쓰지 않는 것이 유용합니다. 아래 표는 가이드라인일 뿐, 정해진 정답(Recipe)은 아닙니다.

표의 의미는 간단합니다. Yandex의 보고서는 문제 채점 및 축적된 분석 기능이 있는 자사의 플랫폼에 관한 것입니다. 교육적 기법(정답 대신 유도 질문을 던지는 방식)은 모델에 접근할 수 있는 어떤 방식에서도 재현할 수 있습니다. 하지만 솔루션 검증, 커리큘럼 연동, 학생 통계와 같은 모든 부가 기능(Wrapper)은 직접 구축해야 합니다. 모델에 대한 접근 권한과 완성된 교육 제품은 서로 다른 수준의 문제입니다.

이것이 해결하지 못하는 것

타인의 헤드라인을 자신의 현실로 잘못 전이시키지 않도록, 한계를 명확히 짚고 넘어가는 것이 유익합니다.

상관관계가 인과관계를 증명하지는 않습니다. 우리는 AI 튜터가 점수를 정확히 얼마나 올렸는지, 아니면 활성 상위 1/3 그룹의 전반적인 동기 부여가 얼마나 작용했는지 알 수 없습니다. 이를 구분하려면 통제된 실험 (Controlled experiment)이 필요하지만, 보도자료에는 그런 내용이 없습니다.

수치는 다른 과목이나 플랫폼으로 전이되지 않습니다. 이는 엄격하게 정보학, 특정 도구, 그리고 2025/26년의 특정 표본에 국한된 이야기입니다. "AI가 모든 ЕГЭ 점수를 올린다"라거나 다른 서비스에 대한 결론으로 확장해서 해석해서는 안 됩니다.

소크라테스식 프롬프트 (Socratic prompt)가 학습을 보장하는 것은 아닙니다. 모델은 과목 내용 자체에서 오류를 범하거나, 학생을 잘못된 방향으로 유도하거나, 혹은 정답을 달라는 끈질긴 요청에 결국 굴복할 수도 있습니다. 풀이 검증과 교수법적 통제(methodical control)가 없다면 이는 교사가 아닌 보조 도구일 뿐입니다.

접근 도구에 대해서도 별도로 언급하자면, 모델 애그리게이터 (Model aggregator)는 러시아에서의 접근성 문제만을 해결해 줄 뿐입니다. 애그리게이터는 여러분을 대신해 교수법을 만들거나, 검증을 수행하거나, 시스템을 구축해 주지 않습니다. 애그리게이터로부터 완성된 교과서를 기대하는 것은 기대 오류(error of expectations)입니다.

FAQ

AI가 실제로 10점을 올린 것이 맞나요?
아니요. Yandex는 2026년 7월 13일에 상관관계(correlation)를 보여주었습니다. 활성 사용자들이 전국 평균인 58.7점 대비 68.7점을 기록했다는 것입니다. 다만 튜터(Tutor)를 사용해 본 인원은 3분의 1에 불과했으므로, 데이터상으로 AI만의 순수한 기여도를 분리해낼 수는 없습니다.

이 보고서에서 '활성 사용자'란 누구를 의미하나요?
Yandex의 데이터에 따르면, 2025/26 학년도 동안 80개 이상의 실전 문제를 풀이한 졸업생을 의미합니다. 분석 대상은 총 1,500명이며, 해당 코호트(cohort)의 평균 참가자는 약 48개의 문제를 풀었습니다.

'AI 튜터 (Репетитор AI)'는 일반적인 채팅과 무엇이 다른가요?
Yandex의 설명에 따르면, AI 튜터는 정답을 바로 제공하는 대신 용어를 설명하고 유도 질문을 던져 학생 스스로 오류를 찾도록 돕습니다. 일반적인 어시스턴트 (Assistant)는 기본적으로 즉시 해결책을 제공하려는 경향이 있습니다.

Yandex Учебник 없이도 이런 모드를 재현할 수 있나요?
방식 자체는 가능합니다. 어떤 모델에든 시스템 프롬프트 (System prompt)를 통해 구현할 수 있습니다. 하지만 풀이 검증, ЕГЭ 프로그램과의 연계, 그리고 학생에 대한 분석 기능은 별도로 구축해야 합니다.

표본의 신뢰도는 어느 정도인가요?
표본이 좁습니다. 1,500명은 시험을 준비한 119,000명의 1.5% 미만입니다. 이는 결론을 제한하며, 점수 차이의 일부 원인이 자기 선택 편향 (self-selection bias)일 가능성을 시사합니다.