수요 예측에서의 중단 문제 ⑤ 구현 편·신상품 + 발전 편·단종 상품 + 시리즈 총괄

전 5회 시리즈의

제 5회 (최종회). 지난 회: 제 4회 (구현 편·기존 상품). 전체 구성은 제 1회 서두를 참조.

1. 신상품이 안고 있는 이중의 어려움: 콜드 스타트(Cold Start) + 중단

제 4회에서 다룬 「기존 상품」은 긴 판매 이력 + 일부 중단이라는 구조였습니다. 이번에 다루는 것은 그 구조가 성립하지 않는 두 가지 케이스입니다.

신상품: 이력 자체가 없음. 출시 직후부터 중단이 발생하는 경우가 많음 (전반부).
단종 상품: 판매 종료가 다가옴에 따라 가격 변동, 재고 감소, 쇄도 수요(Rush demand)가 얽힘 (중반부). 마지막으로 시리즈 전체를 총괄합니다 (후반부).

신상품의 수요 예측에는 흔히 「콜드 스타트 문제 (Cold Start Problem)」라는 명칭이 붙습니다. 과거 데이터가 존재하지 않기 때문에, 기존의 시계열 모델 (ARIMA, Prophet, 시계열 Transformer)은 그대로 사용할 수 없습니다.

이것만으로도 어려운 문제이지만, 신상품에는 설상가상으로 **중단 (Censoring)**이 발생합니다. 왜일까요?

출시 직후에는 초기 재고가 한정되어 있음 (수요 예측이 보수적으로 흐르기 쉬움)
미디어 노출이나 SNS 확산으로 단숨에 인기가 높아지면, 즉시 재고가 고갈됨
그 결과, 출시 직후의 매출 데이터는 거의 모두 「중단된 상태」로 취득됨

레이와 시대의 쌀 소동[2]의 맥락에서 말하자면, 소매업체가 2024년 시즌에 처음으로 채택한 품종 쌀이나, 각 산지에서 해당 시즌에 투입한 신규 브랜드 쌀이 이에 해당합니다. 수요 예측 모델은 "이 신규 브랜드는 얼마나 팔릴 것인가?"라는 질문에 답해야 하지만, 출시 첫 주의 POS 데이터를 그대로 사용하면 거의 확실하게 과소 예측하게 됩니다.

즉, 신상품의 수요 예측에서는 「유사 상품으로부터의 정보 전이」와 「중단 보정」을 동시에 수행해야 합니다. 이것이 본 전반부의 주제입니다.

2. 기존의 연구 접근 방식: 2단계법

신상품 수요 예측과 중단의 조합에 도전한 연구로서 다음의 것들이 대표적입니다.

이들에게 공통되는 기본 구조는 다음과 같은 2단계법입니다.

제 1단계: 기존 유사 상품의 과거 데이터에 대해, 제 4회의 EM Unconstraining (또는 베이즈)을 적용하여, 진정한 수요를 복원한 시계열을 얻는다.
제 2단계: 복원된 수요를 입력값으로 하여, 신상품의 수요를 유사도 기반의 머신러닝 (ML)으로 예측한다.

이 설계의 핵심은 「1단계에서 데이터의 왜곡을 제거한 뒤, 2단계에서 예측한다」는 분업에 있습니다. 왜곡된 데이터로 직접 ML 모델을 학습하면, 중단 편향 (Censoring bias)이 그대로 신상품의 예측에도 전파됩니다[7].

3. Python 구현: 유사 상품 기반의 신상품 수요 예측

그럼 구현입니다. 파이프라인은 다음과 같은 흐름입니다:

기존 상품군에 제 4회의 EM Unconstraining을 일괄 적용
상품 속성 벡터 (가격대, 패키지 사이즈, 산지, 브랜드, 쌀의 종류 등)를 준비
k-최근접 이웃 (k-Nearest Neighbors)으로 유사 상품을 특정하고, 가중 평균으로 수요 곡선을 추정
출시 후 실제 데이터가 축적되면, 순차적 베이즈 업데이트 (Sequential Bayesian Update)

3.1 유사 상품에 기반한 초기 예측

import numpy as np
from sklearn.neighbors import NearestNeighbors
def forecast_new_product(
...

3.2 출시 후의 베이즈 업데이트

신상품이 실제로 출시되어 처음 며칠간의 매출 데이터가 갖춰지면, 그 데이터로 베이즈 업데이트를 수행합니다.

import jax.numpy as jnp
import numpyro
import numpyro.distributions as dist
...

이 scale 파라미터가 핵심입니다. 유사 상품 기반의 초기 예측이 그대로 정답이라고 할 수는 없으므로, "신상품은 유사 상품의 [중략]"

3.3 동작 이미지

합성 데이터에서의 동작을 간략히 정리하면 다음과 같은 결과가 됩니다:

일	유사 상품 기반 예측	실제 매출 (중단)	베이즈 업데이트 후 사후 평균	95% 신용 구간
1	80	80 (중단)	92	[80, 115]
...

전반부 (1~3일)는 실제 관측이 중단 상태이므로, 베이즈는 "더 높을 수도 있다"라고 판단하여 상방으로 신용 구간을 넓히고 있습니다. 4일째 이후, 중단이 해소되어 실제 측정이 들어오면 신용 구간이 좁아지는 모습을 볼 수 있을 것입니다.

4. 딥러닝과의 통합: PyTorch를 이용한 Tobit 손실 함수 (Loss Function)

유사 상품 기반의 2단계 방법은 구현하기 쉽다는 장점이 있는 반면, 속성 벡터(Attribute Vector)의 "유사도" 정의가 숙련된 기술(職人芸)에 의존하는 경향이 있습니다. 보다 자동화된 방법으로서, Tobit 우도(Likelihood)를 손실 함수(Loss Function)로 딥러닝 모델에 통합하는 접근 방식이 있습니다.

2024년의 Tobit 지수 평활화 연구[8]나, 2025년 패션 신상품에 관한 Springer IJDSA 논문[6:1]에서도 EM 또는 절단 우도(Censored Likelihood)를 뉴럴 모델(Neural Model)과 결합하는 방향이 공통적으로 나타납니다. PyTorch를 사용하여 최소한의 구현을 해보겠습니다.

import torch
def tobit_loss(y_pred_mean, y_pred_log_sigma, y_obs, is_censored, capacity):
"""
...

이 tobit_loss는 임의의 회귀 모델(Regression Model)의 손실 함수로 교체 가능합니다. 예를 들어, Temporal Fusion Transformer와 같은 시계열 Transformer에 통합하면, "유사 상품의 시계열 패턴을 학습하면서도, 절단 관측(Censored Observation)을 올바르게 처리하는" 통합 모델을 만들 수 있습니다. Uber의 유사 사례(Pyro를 이용한 절단 시간 이벤트 모델링)[9]도 생존 분석(Survival Analysis)의 맥락이지만, 손실 함수 설계의 사고방식은 공통적입니다.

# 의사 코드: Temporal Fusion Transformer에 Tobit 손실을 결합
model = TemporalFusionTransformer(...)
optimizer = torch.optim.AdamW(model.parameters(), lr=1e-3)
...

핵심은 모델의 출력이 **(mean, log_sigma)라는 두 개의 헤드(Head)**를 갖는 것입니다. 기존의 MSE 손실을 사용한 모델은 평균(mean)만을 예측하지만, 절단 우도를 사용하려면 분산(Variance, 변동성)의 예측도 필요하기 때문입니다.

SALT2에 대하여

본 시리즈의 집필처인 SALT2는 생성 AI, 예측 모델, 최적화를 결합한 맞춤형 AI 솔루션을 다루는 AI 스타트업입니다. 본 기사에서 다룬 신상품 수요 예측이나 딥러닝 프로젝트 외에도, AI Agent를 통한 Media 구축, 비정형 데이터의 자율적 구조화 파이프라인, 컨설팅 업무 DX 등 기업의 의사결정과 업무 혁신을 지원하는 폭넓은 솔루션을 설계 및 개발하고 있습니다. 2025년 10월에 부스트 컨설팅 주식회사의 그룹사가 되었으며, 전략 컨설팅과 AI·데이터 사이언스의 전문성을 결합한 체제로 지원을 수행하고 있습니다. 자세한 사례는 SALT2의 사례 페이지에서 확인하실 수 있습니다.

5. 단종 상품의 절단 문제가 왜 어려운가

단종 상품의 절단 문제는 기존 상품이나 신상품과는 근본적으로 다릅니다. 특수성은 다음의 3가지 측면에서 나타납니다.

5.1 가격 변동과의 얽힘

판매 종료가 다가오면 **클리어런스(Clearance, 가격 인하)**가 이루어지는 경우가 많습니다. 수요 자체가 가격의 함수로서 변화하게 됩니다.

절단 문제를 보정하려 해도 다음과 같은 혼동이 발생합니다.

관측되는 매출 변동: "가격 인하에 따른 수요 증가" + "단종에 따른 상한(Censoring)"
일반적인 Tobit [1:1] 모델은 이 둘을 구분하기 위한 추가 정보를 가지고 있지 않음

가격을 설명 변수(Explanatory Variable)로 넣어 **조건부 Tobit (Conditional Tobit)**으로 만들면 분리할 수 있지 않을까 생각할 수도 있습니다. 하지만 가격은 재고량 및 잔여 판매 일수와 상관관계를 가지기 때문에 다중공선성(Multicollinearity)이 발생합니다.

5.2 재고 의존적 절단

남은 재고가 줄어듦에 따라 절단 현상이 빈번하게 발생합니다. 그러나 재고가 줄어드는 방식 자체가 가격의 함수입니다. 가격을 인하하면 재고는 더 빨리 줄어들고, 그만큼 절단도 늘어납니다.

즉, 절단의 발생 확률과 수요의 크기가 공통된 가격 변수를 통해 상호 의존하고 있습니다. 이를 통계적으로 말하면 "내생성(Endogeneity)"의 문제입니다. 일반적인 Tobit은 설명 변수가 외생적(Exogenous)임을 전제로 하므로, 이 지점에서 한계에 부딪힙니다.

5.3 소비자 심리 (막차 수요)

단종 공지는 팬층에게 "마지막일 때 미리 사두자"라는 심리를 유발합니다. 이는 평소의 수요 패턴으로는 예측할 수 없는 비정상적(Non-stationary)인 막차 수요로 나타납니다.

이러한 비정상성(Non-stationarity)은 과거의 시계열 패턴을 학습하는 그 어떤 모델에게도 도전 과제입니다. 그리고 막차 수요는 종종 단기간에 집중되기 때문에 중단(Censoring)을 유발합니다.

6. 현재 사용 가능한 방법론: 생존 분석과 시변 공변량

명확한 "정답"이 없는 가운데, 현실적으로 사용할 수 있는 기법으로서 **생존 분석 (Survival Analysis)**을 소개합니다. 이 분야는 본래 의학이나 공학에서 "고장까지의 시간", "환자의 생존 기간"을 다루기 위해 발전했지만, "품절까지의 시간"이나 "판매 종료까지의 경과 일수"와 같은 소매업의 문제에도 그대로 응용할 수 있습니다.

Python에서는 lifelines 라이브러리[10]가 표준적입니다. 특히, 시변 공변량 (time-varying covariates)을 다룰 수 있는 CoxTimeVaryingFitter가 단종 상품의 분석에 적합합니다.

6.1 데이터 구조 (Long Format)

lifelines는 "long format"이라고 불리는 형식의 데이터를 요구합니다. 각 행이 "어떤 상품 × 어떤 기간"의 상태를 나타냅니다.

import pandas as pd
# 단종 상품의 판매 기록 (long format)
df_long = pd.DataFrame({
...

id 열로 상품을 구분하고, 각 상품에 대해 "전주 말 가격", "전주 말 잔여 재고 비율"과 같은 시변 공변량을 기록합니다. event는 "이 윈도우(window)에서 품절이 발생했는가"를 나타냅니다.

6.2 CoxTimeVaryingFitter의 적용

from lifelines import CoxTimeVaryingFitter
ctv = CoxTimeVaryingFitter(penalizer=0.1)
ctv.fit(
...

출력되는 summary에는 각 공변량의 위험비 (Hazard Ratio), 표준 오차, 95% 신뢰 구간이 포함됩니다. **위험비가 1보다 큰 공변량은 "품절을 앞당기는 요인"**이며, 1보다 작다면 "늦추는 요인"입니다.

7. 연구 방향: 구조적 인과 모델과 반사실적 수요 추정

이후 내용은 완전히 발전된 주제로서 다룹니다.

"만약 가격이 내려가지 않았다면, 수요는 어떠했을까?"를 추정하는 문제는 중단 문제와 인과 추론 문제의 교차점에 있으며, 현재도 활발히 연구되고 있는 영역입니다.

Microsoft Research의 DoWhy [11], Uber의 CausalML [12], Microsoft의 EconML [13], 그리고 Pyro/NumPyro [14]의 인과 추론 확장 등 오픈 소스 라이브러리들이 나오고 있지만, 모두 "단종 상품의 수요 예측"이라는 구체적인 응용에 특화된 튜토리얼은 아직 소수입니다.

참고로, 가격의 내생성이나 반사실적 점유율(Counterfactual share)은 이산 선택 모델 계열 (BLP, 다항 로짓 등)에서도 고전적으로 다뤄져 온 영역으로, 이전 시리즈인 "Choice-Learn으로 시작하는 신상품 수요 예측"에서 다루었습니다. 본 시리즈의 중단 보정 (공급 측면의 제약)과 이전 시리즈의 반사실적 추정 (수요 측면의 선택 구조)을 결합하는 것이 단종·신상품 수요 예측에 있어 자연스러운 다음 단계가 될 것입니다.

8. 5회차의 요약: 중단 문제의 전경도

본 시리즈에서 다룬 내용을 하나의 표로 통합합니다.

상품 타입	주요 과제	권장 기법	성숙도	대응 회차
기존 상품	일부 기간의 중단	EM Unconstraining [15] / NumPyro [14:2] 베이즈 중단 우도	🟢 성숙	제 4회
신상품	콜드 스타트 + 중단	유사 상품 전이 + 2단계법 [4:1][5:1] / Tobit 손실을 포함한 딥러닝 [6:2]	🟡 발전 중	제 5회 전반
단종 상품	가격·재고·심리의 얽힘	생존 분석 [10:2] + 인과 추론 (시행착오 단계)	🔴 미결 해결	제 5회 중반

기존 상품에 대해서는 기본 기법이 확립되어 있습니다. 제 4회의 EM이나 베이즈를 그대로 사용하면 많은 실무 프로젝트에서 효과를 기대할 수 있습니다.

신상품에 대해서는 기본적인 2단계법은 작동하지만, 유사 상품의 속성 벡터 설계나 딥러닝 모델과의 통합은 아직 숙련된 기술(Artisanry)적인 측면이 남아 있습니다. 케이스 바이 케이스(Case-by-case)로 조정이 필요합니다.

단종 상품에 대해서는 현시점에서 "풀 수 없는" 문제입니다. 부분적인 해법(생존 분석 (Survival Analysis))은 존재하지만, 가격 변동, 재고 내생성 (Endogeneity), 막바지 수요 (Panic buying)를 모두 다룰 수 있는 통합적인 프레임워크는 업계와 학계 모두에게 앞으로의 과제입니다.

9. 실무자를 위한 행동 지침 체크리스트

10. 참고 문헌 및 리소스

5회에 걸쳐 소개한 문헌 및 리소스를 정리합니다 (모두 각주에 링크 포함).

서적

논문

Tobin (1958)
[1:3], Heckman (1979)[18], Olsen (1978)[19], Powell (1984)[20], Newey, Powell, & Walker (1990)[21], Amemiya (1984)[22], Salch (1997)[15:2], Queenan et al. (2007)[23], Shi, Chen, & Duenyas (2016)[3:1], Huang & Liu (2017)[4:2], Trapero 외 (2024)[8:1], MDPI DDPFF (2025)[5:2], Springer IJDSA Fashion (2025)[6:3].

GitHub 리포지토리 · 라이브러리

ikatsov/tensor-house [24]
AysajanE/... [25]
lifelines [10:4]
numpyro [14:4]
DoWhy [11:2]
EconML [13:2]
CausalML [12:1]

블로그 · 실무 기사

Juan Camilo Orduz "Demand Forecasting with Censored Likelihood" [26]
Uber Engineering "Modeling Censored Time-to-Event Data Using Pyro" [9:1]
Impact Analytics "AI-Driven Cold Start Modeling for Retail Demand Forecasting" [7:1]

공공 데이터 · 보도

11. 마치며

POS 데이터는 "실현된 거래"만을 기록하며, 선반이 비워진 순간부터의 수요는 데이터에서 사라집니다. 이는 1958년 Tobin[1:4] 이래로 다뤄져 온 고전적인 문제이지만, 레이와의 쌀 소동(令和の米騒動)은 이 수학적 구조를 사회 전체가 단기간에 목격한 희귀한 사례였습니다.

본 시리즈에서 다룬 것은 이러한 무력화를 방지하기 위한 도구 세트입니다. POS 데이터, 매출 데이터, 예약 데이터의 이면에는 "중단된 진실 (Censored Truth)"이 잠재되어 있을 가능성이 항상 존재합니다.

긴 시리즈를 함께해 주셔서 감사합니다.

SALT2에서는 함께 일할 동료를 모집하고 있습니다

SALT2에서는 본 시리즈와 같이 최첨단 AI · 데이터 사이언스 기술을 클라이언트의 실제 프로젝트에 적용하고, 비즈니스 성과까지 책임지고 전달하는—그런 업무에 도전하고 싶은 엔지니어 / 데이터 사이언티스트를 지속적으로 모집하고 있습니다. AI · 데이터 사이언스를 전문으로 하는 멤버 및 전략 컨설팅 지식을 갖춘 그룹 멤버와 함께, 생성 AI 시대의 맞춤형(Order-made) AI 개발의 최전선에 도전하고 싶은 분은 꼭 SALT2 공식 사이트를 통해 연락해 주시기 바랍니다.

Tobin, J. (1958). "Estimation of Relationships for Limited Dependent Variables," Econometrica, 26(1), 24–36. https://doi.org/10.2307/1907382 ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ -
레이와의 쌀 소동 — Wikipedia. https://ja.wikipedia.org/wiki/令和の米騒動 ↩︎ ↩︎
Shi, C., Chen, W., & Duenyas, I. (2016). "Technical Note—Nonparametric Data-Driven Algorithms for Multiproduct Inventory Systems with Censored Demand,"

Operations Research, 64(2), 362–370. https://doi.org/10.1287/opre.2015.1474 ↩︎ ↩︎ -
Huang, H. & Liu, Q. (2017). "품절을 고려한 신규 의류 제품을 위한 지능형 소매 예측 시스템 (Intelligent Retail Forecasting System for New Clothing Products Considering Stock-Out),"

Fibres & Textiles in Eastern Europe, 25(1), 10–16. https://doi.org/10.5604/12303666.1227876 ↩︎ ↩︎ ↩︎ -
Liu, C.-Y., et al. (2025). "머신러닝 (Machine Learning) 및 통계적 제어 (Statistical Control)를 이용한 신제품 수요를 위한 동적 2단계 예측 모델 (Dynamic Dual-Phase Forecasting Model for New Product Demand Using Machine Learning and Statistical Control),"

Mathematics, 13(10), 1613. https://doi.org/10.3390/math13101613 ↩︎ ↩︎ ↩︎ -
(2025). "신규 패션 제품 수요 예측을 위한 딥러닝 (Deep learning): 콜드 스타트 (Cold-start) 시나리오에서의 시각적 유사성 및 수요 보정 통합 (Deep learning for new fashion product demand prediction: integrating visual similarity and demand correction in cold-start scenarios),"

International Journal of Data Science and Analytics. https://link.springer.com/article/10.1007/s41060-025-00888-8 ↩︎ ↩︎ ↩︎ ↩︎ -
Impact Analytics 블로그, "소매 수요 예측을 위한 AI 기반 콜드 스타트 모델링 (AI-Driven Cold Start Modeling for Retail Demand Forecasting)." https://www.impactanalytics.ai/blog/ai-retail-demand-forecasts-cold-start-modeling-for-new-retail-products ↩︎ ↩︎

Pedregal, D. J., Trapero, J. R., & Holgado, E. (2024). "토빗 지수 평활법 (Tobit Exponential Smoothing), 중단된 데이터 (Censored data)가 존재하는 상황에서의 향상된 수요 계획을 향하여 (towards an enhanced demand planning in the presence of censored data)." arXiv:2407.17920. https://arxiv.org/abs/2407.17920 ↩︎ ↩︎

Peng, H. et al. "오픈 소스 확률론적 프로그래밍 언어 (Probabilistic Programming Language)인 Pyro를 이용한 중단된 사건 발생 시간 데이터 (Censored Time-to-Event Data) 모델링," Uber Engineering 블로그, 2019. https://www.uber.com/blog/modeling-censored-time-to-event-data-using-pyro/ ↩︎ ↩︎

Davidson-Pilon, C.

lifelines

공식 문서 및 GitHub. https://github.com/CamDavidsonPilon/lifelines ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ -
Microsoft Research

DoWhy

GitHub 리포지토리. https://github.com/py-why/dowhy ↩︎ ↩︎ ↩︎ -
Uber

CausalML

GitHub 리포지토리. https://github.com/uber/causalml ↩︎ ↩︎ -
Microsoft Research

EconML

GitHub 리포지토리. https://github.com/py-why/EconML ↩︎ ↩︎ ↩︎ -
NumPyro 공식 문서 (

pyro-ppl/numpyro

）。 https://num.pyro.ai/

↩︎ ↩︎ ↩︎ ↩︎ ↩︎ -
Salch, J. (1997). "Unconstraining Passenger Demand Using the EM Algorithm," Proceedings of the INFORMS Conference, Dallas, TX. 원자료는 온라인에서 공개되지 않았으며, Talluri & van Ryzin (2004) 등 이차 문헌을 통해 인용됨. 구현 예시로

ikatsov/tensor-house

참고. ↩︎ ↩︎ ↩︎ -
Breen, R. (1996).

Regression Models: Censored, Sample-Selected, or Truncated Data. Sage Publications. https://doi.org/10.4135/9781412985611 ↩︎ -
Talluri, K. T. & van Ryzin, G. J. (2004).

The Theory and Practice of Revenue Management. Springer. https://doi.org/10.1007/b139000 ↩︎ -
Heckman, J. J. (1979). "Sample Selection Bias as a Specification Error," Econometrica, 47(1), 153–161. https://doi.org/10.2307/1912352 ↩︎ -
Olsen, R. J. (1978). "Note on the Uniqueness of the Maximum Likelihood Estimator for the Tobit Model," Econometrica, 46(5), 1211–1215. https://doi.org/10.2307/1911447 ↩︎ -
Powell, J. L. (1984). "Least Absolute Deviations Estimation for the Censored Regression Model," Journal of Econometrics, 25(3), 303–325. https://doi.org/10.1016/0304-4076(84)90004-6 ↩︎ -
Newey, W. K., Powell, J. L., & Walker, J. R. (1990). "Semiparametric Estimation of Selection Models: Some Empirical Results," American Economic Review, 80(2), 324–328. https://www.jstor.org/stable/2006601 ↩︎ -
Amemiya, T. (1984). "Tobit Models: A Survey," Journal of Econometrics, 24(1-2), 3–61. https://doi.org/10.1016/0304-4076(84)90074-5 ↩︎ -
Queenan, C. C., Ferguson, M., Higbie, J., & Kapoor, R. (2007). "A Comparison of Unconstraining Methods to Improve Revenue Management Systems," Production and Operations Management, 16(6), 729–746. https://doi.org/10.1111/j.1937-5956.2007.tb00292.x ↩︎ -
Katsov, I.