일을 하다 보면 모르는 것이 당연히 생겨납니다.

새로운 기술, 클라우드 서비스, 업무 지식, 통계, 회계, 영어, 법률 용어 등 대상은 다양합니다.

지금까지는 검색 엔진으로 찾아보거나, 서적을 읽거나, 잘 아는 사람에게 질문하는 것이 일반적이었습니다. 물론 이러한 방법들은 지금도 중요합니다.

한편, 최근에는 Copilot과 같은 대화형 생성 AI (Generative AI)에게 질문함으로써, 자신의 이해도에 맞춰 설명을 바꿔달라고 요청할 수 있습니다.

예를 들어, 다음과 같이 물어볼 수 있습니다.

• 이 용어를 초보자용으로 설명해 줘
• 내 이해가 맞는지 확인해 줘
• 답을 알려주지 말고 힌트만 줘
• 실무에 가까운 연습 문제를 만들어 줘
• 내 설명에서 모호한 점을 지적해 줘
• 일주일 후에 복습할 수 있는 문제를 만들어 줘

솔직히 모르는 것을 그 자리에서 물어볼 수 있다는 것만으로도 편리합니다.

하지만 Copilot으로부터 답변을 받는 것만으로는, 설명을 읽고 이해했다고 착각할 가능성이 있습니다.

이는 Copilot에 국한된 이야기가 아닙니다. 검색 결과나 해설 기사를 읽었을 때도 마찬가지입니다.

중요한 것은 생성 AI에게 답을 얻어내는 것이 아니라, 자신이 이해하기 위한 대화를 설계하는 것입니다.

이 기사에서는 LLM을 사용한 학습 방법을 10단계(Step)로 정리합니다.

그리고 그 구체적인 유스케이스(Use Case)로서, 직장인이 어려움을 느끼기 쉬운 「추측 통계」를 다룹니다.

통계학은 어디까지나 예시입니다.

클라우드, 생성 AI, 프로그래밍, 네트워크, 마케팅, 재무 등 다른 테마로도 대체할 수 있습니다.

먼저, 이 기사의 전제를 정리하겠습니다.

이 기사는 Copilot을 사용하면 어떤 분야에서도 올바르게 학습할 수 있다고 주장하는 것이 아닙니다.

Copilot을 포함한 LLM은 자연스럽고 설득력 있는 문장을 생성합니다. 하지만 그 내용이 항상 옳다는 보장은 없습니다.

특히 다음과 같은 정보를 다룰 때는 주의가 필요합니다.

• 업무상의 중요한 의사 결정
• 법률이나 계약에 관한 판단
• 의료나 건강에 관한 판단
• 재무나 투자에 관한 판단
• 보안에 관한 설정
• 통계적인 분석 결과
• 제품이나 서비스의 최신 사양

Copilot의 답변은 학습을 시작하기 위한 재료로서는 유용합니다.

반면, 프로덕션 환경(Production Environment)에 적용하거나 고객·경영진에게 설명할 때는 공식 문서, 서적, 논문, 사내 전문가 등 다른 정보원을 통해서도 확인할 필요가 있습니다.

또한, 업무 데이터를 입력할 때는 소속 조직의 규칙을 확인하십시오.

기밀 정보, 개인 정보, 고객 정보, 미공개 정보 등을 그대로 입력하지 않도록 주의해야 합니다.

이 기사에서 소개하는 방법은 제가 LLM을 학습 지원에 사용할 때의 사고방식을 정리한 것입니다.

모든 사람, 모든 업무, 모든 학습 테마에 반드시 들어맞는 것은 아닙니다.

실무에서는 상황이 달라지는 경우가 많습니다.

Copilot에게 모르는 것을 묻는 방법은 크게 두 가지로 나뉩니다.

첫 번째는 답을 받는 사용법입니다.

p-value(p값)란 무엇입니까.

이런 질문으로도 설명은 얻을 수 있습니다.

다른 하나는 이해하기 위한 대화를 만드는 사용법입니다.

예를 들어, 다음과 같은 의뢰입니다.

p-value에 대해 바로 답을 설명하지 마세요.
먼저 내 이해를 확인하는 질문을 던져주세요.
내 답변에 따라 다음 질문을 바꿔주세요.

후자의 경우에는 스스로 생각하는 과정이 들어갑니다.

Copilot의 역할도 답변을 생성하는 검색 도구가 아니라, **대화형 튜터(Tutor)**에 가까워집니다.

이번에 다루는 10단계에서는 다음과 같은 흐름을 만듭니다.

• 현재의 이해도를 확인한다
• 학습 계획을 세운다
• 질문을 통해 개념을 이해한다
• 모범 사례를 본 뒤 스스로 풀어본다
• 쪽지 시험으로 기억해 낸다
• 틀린 원인을 분석한다
• 복습 예정을 세운다
• 자신의 언어로 설명한다
• 답변을 검증한다
• 스스로 실무에 적용한다

문제는 Copilot을 사용하는 것이 아닙니다.

문제가 되기 쉬운 것은 Copilot의 답변을 읽은 것과 자신이 이해한 것을 동일하다고 생각하는 것입니다.

역으로 말하면, 스스로 생각하는 과정, 설명하는 과정, 검증하는 과정을 넣으면 Copilot은 실용적인 학습 지원 도구가 됩니다.

만능은 아닙니다.

다만 학습을 시작하는 허들을 낮추거나 자신에게 맞는 문제를 만드는 용도로는 현실적인 선택지라고 생각합니다.

이 기사에서는 구체적인 시나리오로서 추측 통계를 다룹니다.

추측 통계에는 다음과 같은 용어가 등장합니다.

• 모집단 (Population)
• 표본 (Sample)
• 신뢰 구간 (Confidence Interval)
• 귀무가설 (Null Hypothesis)
• 대립가설 (Alternative Hypothesis)
• 유의 수준 (Significance Level)
• p-값 (p-value)
• 가설 검정 (Hypothesis Testing)
• 상관 (Correlation)
• 인과 관계 (Causality)

평균이나 분산은 이해해도, p-값이나 유의 수준의 의미를 타인에게 설명하는 것은 어렵다고 느끼는 사람이 적지 않습니다.

업무에서는 Excel이나 BI 툴이 계산을 수행해 줍니다.

그렇기 때문에 수치를 산출할 수는 있어도, 다음과 같은 점에서 망설여질 때가 있습니다.

• 이 p-값을 어떻게 설명해야 하는가
• 유의차(Significant Difference)가 있다면, 해당 시책을 채택해도 되는가
• 샘플 수는 충분한가
• 상관관계가 있다면, 원인이라고 말할 수 있는가
• 신뢰 구간이 넓은 것을 어떻게 해석해야 하는가

이번 튜토리얼에서는 이러한 상태에서 시작합니다.

목적은 통계학 전문가가 되는 것이 아닙니다.

분석 결과에 대해 무엇을 말할 수 있고, 무엇을 말할 수 없는지를 구분할 수 있게 되는 것을 목표로 합니다.

ChatGPT, Microsoft Copilot, Gemini 등 대화 형식으로 사용할 수 있는 LLM이라면 기본적으로 무엇이든 상관없습니다. 업무 데이터를 다룰 때는 기밀 정보를 입력하지 않도록 주의해 주세요.

이하에서는 Copilot이라고 표기하지만, 특정 제품에 한정된 절차는 아닙니다.

• 평균·분산 등의 기초 통계량은 알지만, p-값이나 유의 수준의 의미를 사람들에게 설명하라고 하면 자신이 없다
• 업무에서는 Excel이나 BI 툴로 숫자를 보지만, 올바르게 해석하고 있는지 불안하다
• 「상관과 인과관계의 차이」와 같이 실무에서 흔히 발생하는 오해를 인지하지 못하고 있다

이후에 게재되는 Prompt는 Markdown 코드 블록 형태로 작성되어 있습니다.

코드 블록 우측 상단의 복사 기능 등을 사용하여 그대로 Copilot에 붙여넣으세요.

{ }로 둘러싸인 부분은 본인의 상황에 맞게 교체합니다.

예를 들어, 다음과 같이 변경합니다.

{업종·직종, 예: 제조업 마케팅 부서}

이를 다음과 같이 교체합니다.

IT 기업의 프로젝트 매니저

참고로, 아래의 출력 예시는 하나의 사례입니다.

동일한 Prompt를 사용하더라도 이용하는 모델, 입력한 내용, 과거의 대화 내용에 따라 출력은 달라집니다.

(근거: 조사 보고서 8장 Step 0 — Bloom의 마스터리 러닝)

먼저, 자신의 현재 위치를 확인합니다.

모르는 것이 있으면 즉시 해설을 읽고 싶어지기 마련입니다.

하지만 이해하지 못하고 있는 부분이 특정되지 않은 상태에서는 설명이 너무 쉽거나, 반대로 너무 어려울 수 있습니다.

따라서 처음에는 Copilot에게 해설을 요청하지 않고, 진단용 질문만 만들어 달라고 요청합니다.

저는 {업종·직종, 예: 제조업 마케팅 부서}에서 일하는 직장인입니다. 업무에서 데이터를 다룰 기회가 늘어나고 있지만, 통계학, 특히 추측 통계(가설 검정·신뢰 구간·p-값의 해석)에 어려움을 느끼고 있습니다. 아래의 {현황}을 바탕으로, 저의 이해도를 진단할 수 있는 질문을 실무 시나리오를 포함하여 5가지 출제해 주세요.
...

새로운 광고 배너 A와 B를 비교한 결과, B의 클릭률이 A보다 높았고 p-값은 0.03이었습니다. 이 결과를 임원에게 어떻게 설명하시겠습니까?

고객 만족도 평균값에 대해 95% 신뢰 구간이 「72점에서 78점」으로 산출되었습니다. 이 구간이 무엇을 의미하는지 설명해 주세요.

매출과 광고비의 상관계수가 0.8이었습니다. 이 결과로부터 「광고비를 늘리면 매출이 늘어난다」고 결론지어도 될까요? 이유도 함께 설명해 주세요.

두 영업 팀의 성약률을 비교한 결과, 유의차는 확인되지 않았습니다. 이 결과를 「두 팀의 성약률은 동일하다」고 설명해도 될까요?

10명의 고객을 대상으로 한 설문조사와 1,000명을 대상으로 한 설문조사에서는 결과 해석에 어떤 차이가 발생한다고 생각합니까?

이 단계에서는 정답을 찾지 말고, 우선 자신의 언어로 답변합니다.

답변 후, 이어서 다음 Prompt를 보냅니다.

이하가 저의 답변입니다. {5개 질문에 대한 답변을 여기에 붙여넣기}
이 답변을 채점하고, 저의 통계학 이해도를 「개념 이해」, 「계산·툴 조작 능력」, 「실무 응용 능력」의 3가지 관점에서 각각 5단계로 평가해 주세요.
그 후, 6개월 뒤의 목표 달성을 위해 보완해야 할 약점을 3가지로 압축하여 SMART 목표(Specific, Measurable, Achievable, Relevant, Time-bound) 형태로 제안해 주세요.

• p값(p-value)과 유의수준(significance level)의 의미

• 신뢰구간(confidence interval)의 해석

• 통계 결과를 업무 판단으로 전환할 때의 주의점

• 4주 이내에 p값, 유의수준, 신뢰구간을 수식 없이 3분 이내로 설명할 수 있도록 한다

• 8주 이내에 5가지 업무 시나리오에 대해 적절한 검정 방법과 전제 조건을 설명할 수 있도록 한다

• 반년 이내에 자사 데이터를 사용한 분석 결과를 전제, 한계, 업무적 시사점을 포함하여 임원회(board meeting)를 대상으로 설명할 수 있도록 한다

여기서 중요한 것은 5단계 평가 그 자체가 아닙니다.

어느 설명에서 막히는지, 어떤 오해를 하고 있는지를 찾아내는 것입니다.

(근거: ZPD·근접 발달 영역(Zone of Proximal Development) — 너무 크지도 작지도 않은 단위로 분해하기)

다음으로 학습 내용을 작게 나눕니다.

'통계학을 배우기'라는 목표는 범위가 넓어 진척도를 판단하기 어렵습니다.

실무에서는 학습에만 시간을 쓸 수 있는 것이 아닙니다.

회의, 고객 대응, 자료 작성, 프로젝트의 성수기 등을 고려하면, 지속할 수 있는 단위로 분해하는 것이 필요합니다.

{Step 0에서 제안된 SMART 목표}를 달성하기 위해, {임원회까지 남은 기간}까지의 학습 로드맵을 작성해 주세요.
통계학 단원을,
①기술 통계(descriptive statistics) 복습(평균·분산·표준편차) → ②확률 분포(probability distribution) 기초 → ③표본과 모집단·중심한계정리(central limit theorem) → ④신뢰구간(confidence interval) → ⑤가설 검정(hypothesis testing)과 p값(p-value) → ⑥회귀 분석(regression analysis) 기초 → ⑦상관관계와 인과관계의 차이 → ⑧자사 데이터를 사용한 실전
...

여기서는 임원회까지 12주로 입력한 예시입니다.

생성된 계획은 초안(たたき台)입니다.

Copilot이 업무의 완급을 정확히 파악하고 있다고 단정할 수 없습니다.

바쁜 주는 복습만 하는 등, 실제로 지속할 수 있는 계획으로 수정하는 것이 중요합니다.

(근거: 소크라테스식 튜터는 직접 답변형보다 비판적 사고와 성찰을 길러준다)

Copilot에게

실무에서 설명을 요구받는 경우, 정의를 읽은 경험보다 자신의 언어로 생각해 본 경험이 더 도움이 될 때가 있습니다.

(근거: 인지 부하 이론 (Cognitive Load Theory) — 본보기를 보여준 뒤 점진적으로 힌트를 줄임)

개념을 확인한 후에는 구체적인 문제에 적용합니다.

갑자기 힌트 없는 문제를 풀게 되면, 통계 개념이 아니라 계산 절차나 문제문을 읽는 방식에서 막힐 수 있습니다.

따라서 처음에는 본보기를 보여주고, 그 후 점진적으로 힌트를 줄여나갑니다.

p값(p-value)의 개념을 이해했으니, 실무에서 자주 발생하는 AB 테스트(예: 웹사이트의 두 가지 배너 클릭률 비교)를 소재로,
가설 검정(Hypothesis Testing) 절차를 명시한 "워크드 예제(Worked Example)"를 1문제 제시해 주세요.
그다음, 동일한 패턴에서 수치나 시나리오만 바꾼 유사 문제를 3문제 내주세요.
...```

배너 A는 1,000회 노출되었고, 80회 클릭되었습니다.

배너 B는 1,000회 노출되었고, 110회 클릭되었습니다.

유의 수준(Significance Level) 5%에서 클릭률에 차이가 있는지 확인합니다.

- 귀무가설 (Null Hypothesis): 배너 A와 B의 클릭률은 차이가 없다
- 대립가설 (Alternative Hypothesis): 배너 A와 B의 클릭률은 차이가 있다

- A: 80 ÷ 1,000 = 8.0%
- B: 110 ÷ 1,000 = 11.0%
2표본 비율 검정(Two-sample proportion test)을 사용합니다.

계산 결과, p값이 0.025라고 가정합니다.

p값 0.025는 유의 수준 0.05보다 작으므로 귀무가설을 기각합니다.

통계적으로 배너 A와 B의 클릭률에는 차이가 있다고 판단할 수 있습니다.

단, 배너 B를 채택할지 여부는 제작 비용, 매출에 미치는 영향, 대상 사용자의 편향성 등도 포함하여 판단해야 합니다.

이메일 제목 A는 2,000건 중 300건이 열람되었고, 제목 B는 2,000건 중 350건이 열람되었습니다.

유의 수준 5%에서 열람률의 차이를 검정해 주세요.

힌트:

- A와 B의 열람률을 계산한다
- 귀무가설은 "열람률에 차이가 없다"이다
- 2표본 비율 검정을 사용한다
- p값과 0.05를 비교한다

영업 멘트 A는 800건 중 120건, 영업 멘트 B는 850건 중 150건이 상담으로 이어졌습니다.

양측의 상담 전환율에 차이가 있는지 검정해 주세요.

귀무가설과 대립가설을 직접 설정해 보세요.

캠페인 A는 1,500명 중 90명, 캠페인 B는 1,600명 중 120명이 구매했습니다.

이 결과를 분석하여 시책 판단에 필요한 설명을 작성해 주세요.

여기서는 수치뿐만 아니라, **문제를 푸는 절차의 틀**을 배웁니다.

실무에서는 클릭률, 열람률, 성약률, 이탈률 등 서로 다른 지표가 등장합니다.

겉보기에는 달라 보여도 분석 구조가 같은 경우가 있습니다.

*(근거: 인출 연습·테스트 효과 (Retrieval Practice/Testing Effect) — 정답을 보기 전에 스스로 생각해서 답하기)*

이해한 내용을 정착시키려면 정답을 읽는 것뿐만 아니라 스스로 떠올려야 합니다.

여기서는 Copilot에게 문제만 내달라고 합니다.

지금까지의 범위(신뢰 구간, 가설 검정, p값)에서 통계 검정 2급 수준의 지식 문제와,
실무 시나리오 형식(임원 회의에서의 데이터 해석을 묻는 형식)의 문제를 합쳐 총 5문제를 만들어 주세요.
정답과 해설은 지금 내지 말고, 문제만 내주세요.
...```

95% 신뢰 구간(Confidence Interval)에 대해 그 의미를 설명해 주세요.

p값이 0.08이고 유의 수준이 0.05일 때, 귀무가설에 대해 어떻게 판단합니까?

샘플 크기(Sample Size)를 늘리면 일반적으로 신뢰 구간의 폭은 어떻게 변합니까?

신규 시책 B의 평균 구매 단가는 기존 시책 A보다 500엔 높고, p값은 0.01이었습니다. 임원 회의에서는 어떤 점을 추가로 확인해야 할까요?

고객 만족도와 유지율(Retention Rate) 사이에 강한 상관관계가 확인되었습니다. 이 결과로부터 고객 만족도를 높이면 반드시 유지율이 올라간다고 설명해도 될까요?

문제를 푼 후, 다음 프롬프트를 보냅니다.

다음은 제 답변입니다. {5문제에 대한 답변을 여기에 붙여넣기}
채점해 주시고, 정오답 여부뿐만 아니라 제 답변의 어느 부분이 정답과 다른지도 구체적으로 지적해 주세요.

5문제 중 3문제를 맞혔습니다.

일부 부정확합니다. "95%의 확률로 모평균이 구간 내에 존재한다"라고 답변하셨는데, 이는 빈도주의적(Frequentist) 관점의 신뢰 구간에 대한 표준적인 설명과는 다릅니다.

동일한 방법으로 표본 추출과 구간 추정을 반복했을 때, 만들어진 구간의 약 95%가 실제 모수를 포함한다고 생각합니다.

대체로 정답입니다. p값이 유의 수준보다 크기 때문에 귀무가설을 기각할 수 없습니다.

단, "귀무가설이 옳다는 것이 증명되었다"라고 말할 수는 없습니다.

정답입니다. 다른 조건이 동일하다면 샘플 크기가 커질수록 표준 오차(Standard Error)가 작아져 신뢰 구간은 좁아지는 경향이 있습니다.

부족합니다. 통계적 유의차 (Statistical Significance)뿐만 아니라 효과 크기 (Effect Size), 샘플 수, 추가 비용, 대상 고객, 재현성을 확인할 필요가 있습니다.

틀렸습니다. 상관관계 (Correlation)만으로는 인과관계 (Causality)를 단정할 수 없습니다. 제3의 요인이나 역방향 인과관계도 고려해야 합니다.

여기서는 점수보다, 자신의 설명이 표준적인 설명과 어디에서 어긋나 있는지를 확인합니다.

(근거: 오류 패턴 분석이 다음 학습의 질을 결정한다)

틀린 문제를 모두 똑같은 방식으로 복습하는 것은 효율적이지 않습니다.

계산을 틀린 것인지, 개념을 오해한 것인지, 업무상의 판단을 비약시킨 것인지에 따라 대책이 달라집니다.

Step 4에서 틀린 문제에 대해, 각각 다음 중 어디에 해당하는지 분류해 주세요.
- 계산·도구 조작 실수
- 개념의 오해 (예: p-value의 의미를 잘못 파악함)
...

• p-value를 「가설이 옳을 확률」이라고 설명하고 있지는 않은가
• 유의차가 없다는 것을 「차이가 없다」고 단정하고 있지는 않은가
• 통계적인 차이와 업무상 중요한 차이를 구분하고 있는가
• 샘플의 편향 (Bias)을 확인했는가
• 상관관계만으로 인과관계를 설명하고 있지는 않은가

실무에서는 동일한 오해가 자료나 회의에서 반복될 수 있습니다.

따라서 오답을 고치는 것뿐만 아니라, 재발을 방지하는 확인 절차로 변환하는 것이 중요합니다.

(근거: 간격 반복 (Spaced Repetition) · 간격 효과 — 망각 곡정에 저항한다)

한 번 이해한 내용이라도 사용하지 않으면 잊어버립니다.

「시간이 날 때 복습한다」는 계획은 실제로는 실행되지 않는 경우가 많습니다.

그래서 복습하는 날을 미리 정합니다.

임원 회의까지 앞으로 {남은 기간} 남았습니다. 이번 {오답 패턴}을 바탕으로,
1일 후·3일 후·1주일 후·2주일 후에 복습할 타이밍을, 출퇴근 시간이나 주간 1on1 사이사이에 끼워 넣을 수 있는 캘린더 형식으로 제안해 주세요.
복습할 때마다 난이도를 조금씩 높인 실무 시나리오의 유사 문제도 함께 준비해 주세요.

p-value가 0.04였습니다.

이 결과를 「귀무가설이 옳을 확률은 4%입니다」라고 설명해도 될까요?

오류가 있다면 임원 보고용 표현으로 수정해 주세요.

캠페인 A와 B의 구매율을 비교한 결과, p-value는 0.07이었습니다.

유의 수준 (Significance Level) 5%일 때 무엇을 말할 수 있고, 무엇을 말할 수 없는지 설명해 주세요.

모든 복습을 장시간 할 필요는 없습니다.

출퇴근 중에 정의를 설명하거나, 회의 전에 문제를 한 문제 푸는 등 짧은 시간이라도 괜찮습니다.

우선 여기까지로 충분합니다.

(근거: 파인만 기법 (Feynman Technique) / AI-student 역할 — 설명할 수 있어야 비로소 이해했다고 말할 수 있다)

다음은 자신이 Copilot에게 설명합니다.

Copilot을 선생님 역할이 아니라, 통계에 익숙하지 않은 신입 사원 역할로 만듭니다.

자신의 설명에 대해 질문을 받음으로써, 논리가 비약된 부분이나 모호한 부분을 확인합니다.

이번에는 입장을 바꿔 주세요. 당신은 통계에 익숙하지 않은 신입 사원입니다.
제가 「왜 이 AB 테스트 결과로부터 시책 B를 채택해야 한다고 말할 수 있는지」를 당신에게 설명할 테니,
신입 사원 역할로서 이해되지 않은 점이나 설명이 모호했던 점을 사양 말고 질문해 주세요.
...

설명을 듣고 다음 점들이 이해되지 않았습니다.

• p-value가 0.03이라는 것과 시책 B를 채택하는 것이 어떻게 연결되나요?
• 클릭률이 올라도 매출이 반드시 오른다는 보장은 없지 않나요?
• 시책 B를 작성하고 운용하는 비용은 고려되었나요?
• 이번 사용자들이 평소 고객층과 동일한지는 확인되었나요?
• 다른 기간에도 같은 결과가 나올 것이라고 생각해도 될까요?

「통계적으로 차이가 있다」와 「업무상 채택할 가치가 있다」는 같은 의미일까요?

여기서 자신의 설명에 부족한 점이 드러납니다.

예를 들어, p-value(p값)에 대해서는 설명할 수 있어도, 효과 크기(Effect size), 비용, 대상 사용자, 재현성에 대해서는 설명하지 못하고 있을지도 모릅니다.

통계적인 결론과 업무상의 의사결정은 같지 않습니다.

(근거: 할루시네이션 (Hallucination) 리스크에 대한 대비 — 업무 판단에 사용하는 이상, 오류는 실질적인 피해로 이어진다)

Copilot이 생성한 설명은 다시 한번 확인합니다.

똑같은 Copilot에게 확인시키는 것만으로는 충분하지 않지만, 명백한 오류나 모호한 표현을 가려내는 첫 단계는 됩니다.

방금 전 AB 테스트 설명 중에, 통계학의 정의나 표준적인 교과서의 설명과 비교했을 때 오류나 부정확한 표현이 없는지 다시 한번 엄격하게 확인해 주세요.
단정할 수 없는 부분이 있다면 「확인 필요」라고 명시하고, 1차 정보(공식 문서나 통계학 교과서)로 확인해야 할 부분도 함께 제시해 주세요.

오류입니다. p-value(p값)는 귀무가설(Null hypothesis)이 맞을 확률이 아닙니다.

귀무가설이 맞다고 가정했을 때, 관측 결과보다 더 극단적인 결과가 얻어질 확률입니다.

부정확합니다. 통계적 유의차(Statistical significance)는 효과의 크기를 직접적으로 나타내지 않습니다. 클릭률의 차이, 신뢰 구간(Confidence interval), 효과 크기를 확인할 필요가 있습니다.

확인 필요입니다. 통계 결과만으로는 판단할 수 없습니다. 매출에 미치는 영향, 구현 비용, 고객 경험, 운영 부하 등도 필요합니다.

확인 필요입니다. 두 집단의 비율을 비교하는 검정(Test)이 예상되지만, 샘플의 독립성, 할당 방법, 기대 빈도 등의 전제 조건을 확인해야 합니다.

• p-value(p값)의 정의
• 사용한 검정 방법의 전제 조건
• 다중 검정(Multiple testing)을 수행했을 경우의 보정
• 효과 크기와 신뢰 구간의 해석
• AB 테스트의 샘플 사이즈 설계

여기서 주의해야 할 점은, Copilot에게 재확인시킨다고 해서 반드시 올바르게 되는 것은 아니다라는 점입니다.

똑같은 오류를 반복할 가능성도 있습니다.

중요한 내용은 교과서, 논문, 공식 문서 등을 통해 확인합니다.

(근거: 페이딩 원칙 (Fading Principle) — 업무에서는 지속적으로 사용 가능하므로, 사고의 질을 떨어뜨리지 않고 사용하는 것에 중점을 둔다)

마지막으로, Copilot에게 질문하기 전에 스스로 분석의 골자를 만듭니다.

Copilot을 사용하지 않는 것이 목적이 아닙니다.

Copilot의 제안을 평가할 수 있는 상태를 만드는 것이 목적입니다.

마지막으로, 제가 실제 자사 데이터({데이터의 개요, 예: 최근 3개월간 캠페인별 전환율})를 사용하여,
가설 검정을 포함한 간단한 분석 리포트를 AI에게 질문하는 방식이 아니라, 우선 스스로 구성해 보겠습니다.
그 골자(분석 목적·가설·사용할 기법·예상되는 결론의 형태)를 먼저 작성할 테니,
...

분석 목적:
캠페인 B의 전환율이 기존 캠페인 A보다 높은지 확인한다.
귀무가설:
...

• 단측 검정(One-tailed test)을 선택하는 이유를 명확히 하기

• 캠페인 A와 B에 대한 할당 방법을 확인하기

• 효과 크기와 신뢰 구간을 보고 항목에 추가하기

• 캠페인 기간 중의 외부 요인 확인하기

• 검정력(Statistical power)과 샘플 사이즈 설계

• 효과 크기

• 다중 비교(Multiple comparison)

• 회귀 분석을 통한 고객 속성 조정

• 실험 계획법

이 시점에서 첫 번째 진단 결과와 비교할 수 있습니다.

Copilot에게 질문할 수 있게 된 것보다, 질문하기 전에 자신의 생각을 정리할 수 있게 된 것이 중요합니다.

지금까지 통계학을 배우는 시나리오로 진행해 왔습니다.

다만, 이 10단계는 통계학 전용이 아닙니다.

예를 들어, 클라우드 아키텍처를 배우는 경우에는 다음과 같이 대체할 수 있습니다.

• 현상 진단: 가용성, 확장성(Scalability), 보안에 대한 이해 확인
• 로드맵: 네트워크, ID, 모니터링, 컨테이너 등으로 분해
• 소크라테스식 대화: 왜 단일 장애점(Single point of failure)을 피해야 하는지 생각하기
• 워크드 예제(Worked example): 구성 사례를 본 뒤 유사 시스템 설계하기
• 퀴즈: 장애 시나리오를 바탕으로 설계 평가하기
• 오류 분석: 지식 부족과 설계 판단의 오류를 구분하기
• 복습: 서로 다른 시스템 요구사항으로 재설계하기
• AI에게 가르치기: 신입 사원에게 아키텍처 설명하기
• 팩트 체크: 공식 문서로 사양 확인하기
• 자립화: 실제 프로젝트의 설계안을 먼저 스스로 만들기

생성형 AI의 프롬프트 엔지니어링(Prompt engineering)을 배우는 경우도 마찬가지입니다.

• 먼저 자신의 이해도를 확인하기
• 학습 범위를 분해하기
• 왜 출력이 달라지는지 질문하기
• 좋은 프롬프트 (Prompt) 예시 확인하기
• 유사 문제 만들기
• 실패한 프롬프트 (Prompt) 분류하기
• 시간을 두고 다시 작성하기
• 프롬프트 (Prompt)의 의도를 설명하기
• 출력을 검증하기
• 실무용 프롬프트 (Prompt)를 스스로 설계하기

즉, 통계학은 Copilot과 함께 학습하는 방법을 구체화하기 위한 시나리오입니다.

지금까지의 내용을 정리합니다.

• 모르는 것을 그 자리에서 질문할 수 있다

• 자신의 이해도에 맞춰 설명을 바꿀 수 있다

• 연습 문제를 필요한 만큼 만들 수 있다

• 실무에 가까운 시나리오를 설정할 수 있다

• 정답을 내놓지 않고 힌트만 요청할 수 있다

• 자신의 설명에 대해 질문을 받을 수 있다

• 복습 계획까지 하나의 대화로 만들 수 있다

• Copilot의 답변이 반드시 옳지는 않다

• 자연스러운 문장과 올바른 내용은 동일하지 않다

• 답변을 읽은 것만으로 이해했다고 판단하지 않는다

• 업무 데이터나 기밀 정보를 안이하게 입력하지 않는다

• 중요한 내용은 다른 정보원에서도 확인한다

• Copilot의 평가를 절대적인 채점으로 취급하지 않는다

• 실무 판단을 Copilot에게만 맡기지 않는다