🤖 AI Research Brief· 시계열 · 파운데이션 모델

#Foundation Model #시계열 예측 #Google AI #제로� 학습 #TimesFM-3 #Transformer

TimesFM-3 — Google AI의 330M 파라미터 다변량 시계열 예측 파운데이션 모델

📅 2026-08-31 ✍️ Michal Sutter (MarkTechPost) �️ 약 8분 분량 🔄 2026-09-15 수정

Google Research가 TimesFM-3를 공개했습니다. 3.3억(330M) 파라미터 규모의 시계열 파운데이션 모델로, 단 한 번의 포워드 패스(forward pass)로 여러 관련 시계열을 한꺼번에 예측합니다. 1조 개 이상의 시점에서 다변량 예측을 위해 처음부터 사전훈련되었으며, 별도 파인튜닝 없이 다수의 타깃·과거 공변량·미래 공변량을 입력으로 받습니다. GIFT-Eval · fev-bench · TIME에서 사전훈련된 파운데이션 모델 중 최고 평균 순위를 기록했습니다.

330M파라미터 규모

1T+사전훈련 시점 수

×9분위수 출력 (10~90%)

#13개 벤치마크 1위

한눈에 보는 TimesFM-3 핵심 요약

규모: 3.3억(330M) 파라미터, 1조 개 이상 시점에서 사전훈련
핵심 전환: 2.5까지의 단변량 모델 → 3부터 처음부터 설계된 다변량 모델
제로샷 입력: 다수 타깃 + 과거 공변량(past covariates) + 과거-미래 공변량(past-future covariates)
아키텍처: 디코더 전용 트랜스포머 + 32스텝 패치 + 인과적 시간/완전 변수 어텐션 교차 적용
추론: Contiguous Patch Masking으로 한 번의 포워드 패스로 예측 구간 전체 생성
출력: 점 예측(point) + 매 단계 9개 분위수(quantile, 10~90 백분위)
성능: GIFT-Eval · fev-bench · TIME 모두 파운데이션 모델 중 1위
라이선스: 코드는 Apache-2.0, 가중치는 비상업적·비프로덕션 전용

TimesFM-3란 무엇인가요?

TimesFM-3는 Google Research가 2026년 8월 공개한 시계열 파운데이션 모델입니다. 쉽게 말해 "시간에 따라 변하는 숫자 데이터(시계열)"의 미래 값을 한 번에 예측하도록 만들어진 범용 AI 모델입니다. 기존 TimesFM 2.5까지는 단변량(univariate) — 즉 하나의 시계열만 보고 그 자체 이력만으로 예측했습니다. TimesFM-3는 처음부터 다변량(multivariate) 예측을 위해 설계된 점이 가장 큰 변화입니다.

아이스크림 매출을 예로 들면, 단변량 모델은 과거 매출 숫자만 봅니다. 하지만 실제 매출은 관련 상품 매출, 매장 발걸음 수, 날씨, 프로모션, 휴일 등 여러 변수가 함께 움직입니다. TimesFM-3는 이런 변수들을 함께 입력받아 미래 매출을 동시에 예측합니다.

💡 파운데이션 모델이란?

파운데이션 모델(Foundation Model)이란 광범위한 데이터를 자기지도(self-supervised) 방식으로 대규모 사전훈련해, 다양한 다운스트림 작업에 미세조정 없이 또는 적은 비용으로 적용할 수 있는 범용 거대 모델을 뜻합니다. GPT, BERT, Stable Diffusion 등이 대표적이며, TimesFM 시리즈도 시계열 영역의 파운데이션 모델에 해당합니다. 2021년 8월 Stanford HAI CRFM이 처음 명명한 개념입니다.

바로 서비스에 쓸 수 있나요?

부분적으로 가능합니다. TimesFM 리포지토리의 코드는 Apache-2.0 라이선스로 자유롭게 사용·수정할 수 있지만, TimesFM 3.0 가중치(weights)는 timesfm-non-commercial-license-v1.0 라이선스로 배포됩니다. 비상업적·비프로덕션 용도로만 제한됩니다.

✅ 오늘 바로 벤치마크를 돌려보는 것은 가능
❌ 프로덕션 예측 API 뒤에 그대로 얹어 출시하는 것은 불가능
💡 상용 서비스에 올리려면 Apache-2.0 가중치를 쓰는 TimesFM 2.5가 여전히 현실적 대안

단변량에서 다변량으로 — 무엇이 바뀌었나

2.5까지의 모든 TimesFM 릴리스는 단변량 모델이었습니다. 자체 이력으로부터 하나의 시계열만 예측했습니다. 대부분의 실제 예측 문제는 이런 형태가 아닙니다 — Google이 든 아이스크림 매출 예시처럼, 여러 변수가 함께 움직이기 때문입니다.

TimesFM-3는 다변량 예측을 위해 처음부터 사전훈련되었습니다. 3.3억 개의 파라미터를 갖추고, 실제 및 합성 시계열을 합쳐 1조 개 이상의 시점에서 학습했습니다. 작업별 파인튜닝 없이 제로샷(zero-shot)으로 동작하는 세 가지 입력 유형은 다음과 같습니다.

다수 타깃의 공동 예측 — 각 타깃에 대해 점 예측(point)과 분위수(quantile) 출력
과거 공변량(past covariates) — 과거 시점에만 알려진 값 (예: 과거의 매장 발걸음 수)
과거-미래 공변량(past-future covariates) — 미래 값이 미리 알려진 값 (예: 프로모션 일정, 휴일 캘린더)

💡 공변량(covariate)이란?

통계학에서 공변량은 종속변수(타깃)를 예측하거나 설명하기 위해 쓰이는 보조 입력 변수를 뜻합니다. "예측 변수(predictor)", "회귀 변수(regressor)", "통제 변수(control variable)"와 거의 같은 말입니다. 시계열 예측에서는 미래에 어떤 변수가 이미 알려져 있는지에 따라 과거 공변량과 과거-미래 공변량으로 구분합니다.

아키텍처: 패치 + 두 종류의 어텐션

TimesFM-3의 백본(backbone)은 여전히 디코더 전용 트랜스포머(decoder-only transformer)입니다. 트랜스포머는 2017년 Google이 "Attention Is All You Need" 논문에서 제안한 어텐션 메커니즘 기반 신경망으로, GPT 시리즈가 사용하는 것과 같은 계열의 구조입니다.

1단계: 32스텝 패치 + 시계열별 정규화

인접한 시점들은 32 스� 크기의 패치(patch)로 묶입니다. 그리고 시계열별로 정규화(normalization)되어 스케일이 크게 다른 값들이 학습을 지배하지 않도록 합니다. 타깃 및 과거 공변량 토큰은 단일 패치에서 생성됩니다. 과거-미래 공변량 토큰은 lookahead 트릭을 사용합니다 — 현재 패치에 미래 패치를 이어 붙여, 모델이 예정된 이벤트를 실제로 발생하기 전에 미리 볼 수 있게 합니다.

2단계: 2차원 그리드에서 두 어텐션이 교대로 작동

토큰들은 2차원 그리드(2D grid)로 배열되고, 두 가지 어텐션 메커니즘이 번갈아 적용됩니다.

인과적 시간 어텐션(causal temporal attention) — 수평 방향으로 동작합니다. 엄격하게 인과적(causal)이며, 동일 시계열 내의 더 이른 토큰에만 접근하도록 제한됩니다. 미래 정보가 누출되는 것을 차단합니다.
완전 변수 어텐션(full variate attention) — 수직 방향으로 동작합니다. 특정 시각에서 한 토큰이 해당 시점의 다른 모든 시계열을 참조해, 시계열 간 상관관계(cross-series correlation)를 학습합니다.

💡 어텐션(attention)이란?

어텐션은 시퀀스 내 각 토큰이 다른 토큰에 대해 갖는 상대적 중요도를 "소프트 가중치"로 계산해 입력 간의 관련성을 모델링하는 기법입니다. RNN이 긴 문장에서 멀리 있는 단어 정보를 잃는 문제를 해결하기 위해 도입되었습니다. TimesFM-3는 같은 시계열의 과거만 보는 인과적 어텐션과, 같은 시각의 모든 변수를 보는 완전 변수 어텐션을 번갈아 사용해 시간·변수 두 축을 모두 잡습니다.

여러 번이 아닌 단 한 번의 포워드 패스

이전 TimesFM 버전들은 한 번에 한 패치씩 디코딩했습니다. 이 방식은 지연 시간(latency)과 계산 비용을 늘리고, 오류가 누적(compounding error)되는 문제를 낳았습니다.

TimesFM-3는 TiRex와 함께 도입된 훈련 시 마스킹 전략인 Contiguous Patch Masking을 사용합니다.

마스킹된 자리표시(placeholder) 토큰이 전체 예측 구간(horizon)에 대해 추가됩니다.
그 자리에서 타깃과 과거 공변량은 마스킹됩니다.
과거-미래 공변량은 계속 보이도록 유지되어, 미리 알려진 미래 신호(예: 프로모션 일정)가 모델에 그대로 전달됩니다.
교대로 적용되는 어텐션 레이어가 마스킹된 모든 예측 구간 패치를 동시에 채워 넣습니다.
각 타깃은 예측 구간의 모든 단계에서 10~90 백분위에 해당하는 9개의 분위수를 출력으로 받습니다.

💡 포워드 패스(forward pass)란?

신경망에서 입력 데이터를 입력층 → 은닉층 → 출력층 방향으로 한 번 흘려보내 예측값을 계산하는 과정을 말합니다. "단 한 번의 포워드 패스로 예측"은 모델에 입력을 한 번만 통과시켜 모든 예측을 한꺼번에 얻는다는 의미입니다. 학습 시에는 이 과정 뒤에 역전파(backpropagation)가 뒤따릅니다.

💡 분위수(quantile)란?

통계학에서 분위수는 확률분포나 표본 데이터를 같은 확률을 갖는 연속 구간으로 나누는 절단점입니다. 4구간은 사분위수, 10구간은 십분위수, 100구간은 백분위수라 부릅니다. TimesFM-3가 매 단계에서 9개의 분위수(10~90 백분위)를 함께 출력한다는 것은 "내일 매출 1,000만 원" 같은 점 추정 외에 "80% 확률로 800만~1,200만 원 사이" 같은 불확실성 구간까지 함께 제공한다는 뜻입니다.

벤치마크 결과 — 어디서 1위를 기록했나

Google은 Chronos-2, Toto 2.0 계열, TimesFM-2.5와 비교해 세 가지 주요 시계열 벤치마크에서 TimesFM-3를 평가했습니다. 사전훈련된 파운데이션 모델 중 TimesFM-3는 세 벤치마크 모두의 점 예측(point) 및 확률(probabilistic) 지표에서 최고 평균 순위를 기록했습니다.

fev-bench 종합 1위: 100개의 실제(real-world) 과제에서
TIME 종합 1위: 50개 도메인 데이터셋, 98개 평가 과제에서
GIFT-Eval 1위: 파운데이션 모델 중 1위

자주 묻는 질문 (FAQ)

TimesFM-3는 기존 시계열 모델과 무엇이 다른가요?

가장 큰 차이는 처음부터 다변량 예측을 위해 설계되었다는 점입니다. 기존 TimesFM 2.5는 하나의 시계열과 그 자체 이력만 사용하는 단변량 모델이었습니다. TimesFM-3는 여러 타깃과 공변량을 함께 입력받아 시계열 간 상관관계를 학습합니다.

파인튜닝 없이 바로 쓸 수 있나요?

예, 제로샷(zero-shot)으로 동작합니다. 다수 타깃, 과거 공변량, 과거-미래 공변량 세 가지 입력 유형이 작업별 미세조정 없이 그대로 작동합니다.

라이선스는 어떤가요? 상업적으로 써도 되나요?

코드는 Apache-2.0이지만 TimesFM 3.0 가중치는 비상업적·비프로덕션 전용 라이선스(timesfm-non-commercial-license-v1.0)로 배포됩니다. 상용 서비스에 올리려면 Apache-2.0 가중치인 TimesFM 2.5를 사용해야 합니다.

한 번에 어디까지 예측할 수 있나요?

Contiguous Patch Masking 덕분에 전체 예측 구간(horizon)을 단 한 번의 포워드 패스로 생성합니다. 매 단계마다 9개 분위수(10~90 백분위)를 함께 출력해 불확실성까지 제공합니다.

어떤 벤치마크에서 1위였나요?

fev-bench(100개 실제 과제 종합 1위), TIME(50개 도메인·98개 과제 종합 1위), GIFT-Eval(파운데이션 모델 중 1위)에서 모두 최고 평균 순위를 기록했습니다.

기존 TimesFM 2.5 대비 가장 큰 장점은 무엇인가요?

다변량 입력을 처음부터 받아 시계열 간 의존성을 모델링한다는 점, 그리고 단 한 번의 포워드 패스로 예측 구간 전체를 생성해 지연 시간과 누적 오류를 줄였다는 점입니다.

핵심 용어 한눈에 보기

제로샷 학습 (Zero-Shot Learning): 모델이 훈련 단계에서 한 번도 접하지 못한 클래스나 개념을 추가 예제 없이도 인식·분류·예측할 수 있는 머신러닝 패러다임. IBM: "사전에 해당 카테고리의 예제를 보지 않고도 인식하고 분류하도록 AI 모델을 학습시키는 시나리오".
파운데이션 모델 (Foundation Model): 광범위한 데이터로 자기지도 방식으로 대규모 사전훈련되어, 다양한 다운스트림 작업에 미세조정 없이 또는 적은 비용으로 적용 가능한 범용 거대 모델(GPT, BERT 등). Stanford HAI CRFM이 2021년 8월에 명명.
다변량 시계열 예측 (Multivariate Time Series Forecasting): 여러 시계열의 과거 패턴과 상호의존성을 함께 학습해 미래 값을 동시에 예측하는 작업. 단변량은 하나의 시계열만 다룸.
포워드 패스 (Forward Pass): 신경망에서 입력 → 출력 방향으로 한 번 흘려보내 예측값을 계산하는 과정. TimesFM-3는 한 번의 포워드 패스로 예측 구간 전체를 채움.
공변량 (Covariate): 타깃을 예측하거나 설명하기 위한 보조 입력 변수. 시계열에서는 과거 공변량(과거만 알려진 값)과 과거-미래 공변량(미래가 미리 알려진 값)으로 구분.
분위수 (Quantile): 확률분포를 같은 확률 구간으로 나누는 절단점. TimesFM-3는 매 단계 9개 분위수(10~90 백분위)를 함께 출력.
트랜스포머 (Transformer): 2017년 Google이 "Attention Is All You Need"에서 제안한 멀티헤드 어텐션 기반 딥러닝 아키텍처. GPT, BERT 등 거대 모델의 토대.
어텐션 (Attention): 시퀀스 내 각 토큰의 상대적 중요도를 소프트 가중치로 계산해 관련성을 모델링하는 기법. TimesFM-3는 인과적 시간 / 완전 변수 두 종류를 교대로 사용.
디코더 전용 트랜스포머 (Decoder-Only Transformer): 인코더 없이 디코더 블록만으로 구성된 트랜스포머. 인과적 마스크가 적용된 셀프 어텐션으로 자기회귀 생성에 사용. GPT, TimesFM 계열이 이에 해당.
인과적 어텐션 (Causal Attention): 디코더 셀프 어텐션에서 미래 토큰을 참조하지 못하도록 상삼각 마스크를 적용한 형태. 각 토큰은 자기 자신과 이전 토큰에만 어텐션을 줄 수 있어 데이터 누출을 차단.

마무리 — 그래서 TimesFM-3의 의미는?

TimesFM-3는 단순한 "시계열 예측 모델 신버전"이 아닙니다. 시계열 영역에서도 GPT류 파운데이션 모델 패러다임을 다변량으로 확장한 결과물입니다. 별도 파인튜닝 없이 여러 도메인의 예측을 한 모델로 커버하고, 매 단계 불확실성(9개 분위수)까지 함께 제공한다는 점에서 실무 예측 워크플로우의 진입 장벽을 크게 낮췄습니다.

다만 가중치가 비상업적 라이선스라는 점이 실무 도입의 가장 큰 걸림돌입니다. 실제 제품에 올리려면 Apache-2.0 가중치인 TimesFM 2.5로 시작하거나, 별도 상업 라이선스 발표를 기다려야 합니다. 어쨌든 시계열 예측을 "범용 AI 모델 한 번 호출"로 풀 수 있는 시대가 열린 것은 분명해 보입니다.