주로 오디오·비전 ML을 다뤄서 이 분야의 전문성은 없지만, 모든 시계열을 하나의 범주로 묶는 접근은 잘 이해되지 않음. 정확도를 높이려면 관련 정보를 최대한 함께 활용해야 하는 것 아닌가?
Timestral은 생산 일정, 계획된 가동 중단, 일기예보처럼 미리 아는 공변량을 조건으로 활용해 예측 품질을 높인다고 함. 하지만 이런 정보는 보조 조건이 아니라 시스템 전체의 기반이어야 하지 않나? 전력 소비를 예측할 때 과거 N개 표본만 보는 모델은 시간대, 다가오는 공휴일, 일기예보를 아는 비교적 단순한 시스템에도 완전히 밀릴 것 같음.
공변량의 이름이 뜻하는 바를 이해하는 능력도 도움이 될 듯함. 매개변수 500만 개짜리 모델은 공휴일이 무엇인지 모르고 임의의 범주가 0에서 1로 바뀌는 것만 볼 뿐, 그 의미나 다른 정보와의 연결에 유용한 귀납적 편향을 갖추지 못함.
전력 가격을 €/MWh 단위로 예측한다면 천연가스 가격과 이를 좌우하는 지정학적 요인, 발전원별 생산 비중, 뉴스와 그 함의를 이해해야 하는 설비 보급 전망 등을 활용하는 편이 훨씬 정확하지 않을까? 변수 두 개와 과거 8,192개 또는 32,768개 표본만 보고 예측하는 것이 얼마나 유용한지 의문임. 아니면 내가 용도를 잘못 이해했고, 극히 단기적인 변동을 위한 모델인가?
정확도가 아주 높지 않아도 되는 예측도 있음. 로드 밸런서의 규모를 조정하기 위해 트래픽을 예측한다면 조금 틀려도 비용이 약간 더 들 뿐이고, 이후에 조정하면 됨. 많은 피드백 시스템은 완벽한 정확도를 요구하지 않음.
주식 매수 여부를 판단하는 데 쓸 모델은 아니고, 기본적으로 기존의 여러 곡선 맞춤 도구를 대체한다고 이해함. 정말 좋은 예측이 필요하다면 도메인 모델을 구축하게 될 것임.
Confounding Company에서 예측을 담당하고 있음. 맞는 지적이지만, 시계열이 음악처럼 보인다면 음악 분야의 지식을 적용할 수 있음. 모든 분야에 공통으로 통하는 지식만 써야 하는 것은 아님.
대규모 신경망의 묘미 중 하나는 인식과 예측을 동시에 수행한다는 것임. 학습 과정에서 얻은 통계적 지식으로 어떤 유형의 시퀀스인지 식별하고, 어떻게 이어질지도 예측할 수 있음. 외부 정보가 더 도움이 되겠지만, 데이터가 충분하면 필요 없어질 수 있다는 것이 이론임.
Mistral은 유럽의 기술 인재 육성·유지 체계를 재검토해야 한다는 증거라고 볼 만큼 실망스러움. 인재의 양과 질이 이토록 뛰어난 유럽이라면 이론적으로 AI에서 미국·중국과 경쟁할 수 있어야 함.
이 모델들을 직접 써 본 느낌은 어떤가? 벤치마크는 없지만, 일반적인 코딩에 아주 뛰어나다고 홍보하는 Le Chonk를 써 보고 매우 실망함. opus, sol, deepseek flash 등에서는 1년 넘게 보지 못한 수준의 뻔한 오류를 온갖 형태로 만들어 냄.
나도 Vibe에서 Mistral 4를 시험했는데, 잘 작동하지만 너무 느려서 만족스럽게 쓰던 Mistral의 GLM5.3으로 돌아감.
덧붙이자면 지금은 GLM5.3도 느림. Mistral 쪽 부하가 높은 것일 수도 있음.
5년 전에는 예측 모델을 구축하고 배포하는 데 몇 달씩 걸렸는데, 이제는 LLM의 도움으로 이런 모델을 몇 분 만에 적용해 꽤 좋아 보이는 결과를 얻을 수 있다는 것이 놀라움. 자체 데이터로 미세 조정도 가능한 듯함. 속도도 좋아 보여서, 이 성능을 내는 가중치 공개 모델을 바로 쓰고 싶음.
시계열 데이터는 텍스트 데이터와 근본적으로 다름. 시계열 파운데이션 모델이 매력적으로 보이는 이유는 알겠고, 특히 Mistral의 마케팅 담당자라면 그럴 만함. 하지만 실제 활용성은 매우 제한적이며, 블로그에 실제 도입 사례 대신 가상의 고객이 등장하는 이유도 아마 그것일 듯함.
시간 기반 데이터는 매우 중요하고, 아주 작고 빠른 모델을 학습시키는 기법도 많지만 튜닝이 몹시 까다로움. 여러 작업을 어느 정도 잘하는 파운데이션 모델이라면 미세 조정을 하거나, 여러 데이터를 좀 더 간편하게 분석하고 싶을 때 활용할 수 있을 듯함.
더 전문화된 모델을 다듬기 위한 특성 선택에도 상당히 유용할 수 있음.
이런 모델은 본질적으로 수비학에 가까움.
The Forecasting Company 공동 창업자로서 동의하기 어려움. 모델들은 이제 꽤 잘 작동하며, 퀀트 펀드와 대형 유통 기업처럼 기술적으로 까다로운 곳을 포함한 여러 조직에서 실제 운영에 쓰이고 있음.