Introducción

Contenido

Introducción
Los Modelos Lineales Gaussianos
Representación en espacio de estados de ARIMA
Filtro de Kalman
Algunas estructuras del modelo
Estimaciones de máxima verosimilitud
Extensiones de los modelos de espacios de estados

Introducción

Propuesto inicialmente por Kalman (1960) y Kalman (1961).
Al inicio, el objetivo del modelo fue en el contexto de estudiar la posición o el estado $x_{t}$ de una nave espacial por medio de una ecuación de estado, y una variable observada $y_{t}$ relacionada al estado de la nave.
Es una clase de modelos muy amplia que incluye diferentes modelos estudiados (ARIMA, modelos de descomposición, etc.).
Enfocamos en los Modelos de Espacio de Estados Lineales Gaussianos o Modelos Lineales Dinámicos (DLM).

Los Modelos Lineales Gaussianos

Contenido

Introducción
Los Modelos Lineales Gaussianos
Representación en espacio de estados de ARIMA
Filtro de Kalman
Algunas estructuras del modelo
Estimaciones de máxima verosimilitud
Extensiones de los modelos de espacios de estados

El modelo de espacio de estados lineal Gaussiano está definido por:

1- La ecuación de estados: $x_{t} = Φ x_{t - 1} + w_{t},$

donde las variables de estado $x_{t}$ son vectores $p \times 1$ autoregresivos de orden 1,
$w_{t}$ es un vector $p \times 1$ tal que $w_{t} \overset{i i d}{\sim} N_{p} (0, Q)$ . Suponga que $x_{0} \sim N_{p} (μ_{0}, Σ_{0})$ .

2- La ecuación de observaciones: $y_{t} = A_{t} x_{t} + v_{t},$

donde $A_{t}$ es una matriz $q \times q$ (matriz de observación o medición), $y_{t}$ es un vector $q \times 1$ con $q \leq p$ . $v_{t}$ es ruido $q \times 1$ tal que $v_{t} \overset{i i d}{\sim} N_{q} (0, R)$ .

Suponga adicionalmente que $w_{t}$ y $v_{t}$ son no correlacionados.

Los Modelos Lineales Dinámicos Gaussianos

Note que el modelo anterior se puede incluir variables exógenas: $\begin{array}{rcl} x_{t} & = & Φ x_{t - 1} + Υ u_{t} + w_{t}, \\ y_{t} & = & A_{t} x_{t} + Γ u_{t} + v_{t} \end{array}$ donde
- $Υ$ es una matriz con dimensión $p \times r$ ,
- $Γ$ es una matriz con dimensión $q \times r$ y
- $u_{t}$ tiene dimensión $r \times 1$ .
El ejemplo anterior especifica que $Υ = δ$ , $Γ = 0$ y $u_{t} = 1$ .
La representación de los modelos de espacio de estados es elegante ya que incluye una variedad de modelos diferentes. Sin embargo, la estimación de los parámetros desconocidos podría tener divergencia si no especifica bien sus valores iniciales.

Representación en espacio de estados de ARIMA

En general, los modelos ARIMA tienen representación en espacio de estados.

Sea ${Y_{t}}$ un proceso AR(1) estacionario,

$Y_{t} = ϕ_{1} Y_{t - 1} + a_{t}$ con su representación de un modelo lineal,o $M A (\infty)$ : $Y_{t} = \sum_{j = 0}^{\infty} ϕ_{1}^{j} a_{t - j}$

Considere la representación de espacio de estados, usando la ecuación de estados: $X_{t} = ϕ_{1} X_{t - 1} + w_{t}, para t = 1, 2, . . .$ donde $X_{1} = Y_{1} = \sum_{j = 0}^{\infty} ϕ_{1}^{j} a_{1 - j}$ y la ecuación de observaciones: $Y_{t} = X_{t}$
Note que en este caso, $A_{t} = 1$ , $v_{t} = 0$ .

Filtro de Kalman

En la práctica, uno de los intereses es estimar el valor de $X_{t}$ dado los datos observados $Y_{1 : s} = {Y_{1}, . . ., Y_{s}}$ .
La estimación de $X_{t}$ se puede clasificar en 3 situaciones:
1. Cuando $s < t$ , el problema es llamado pronóstico o predicción.
2. Cuando $s = t$ , el problema es llamado filtración.
3. Cuando $s > t$ , el problema es llamado suavizamiento.
Denotamos $X_{t}^{s} = E (X_{t} | Y_{1 : s}) = E (X_{t} | Y_{1}, . . ., Y_{s}),$ $P_{t_{1}, t_{2}}^{s} = E [(X_{t_{1}} - X_{t_{1}}^{s}) (X_{t_{2}} - X_{t_{2}}^{s})^{'}], y$ $P_{t}^{s} = E [(X_{t} - X_{t}^{s}) (X_{t} - X_{t}^{s})^{'}]$

Ejemplo: Modelo de nivel local

El modelo de nivel local tiene la siguiente estructura:

$\begin{array}{rcl} μ_{t} & = & μ_{t - 1} + w_{t} \\ Y_{t} & = & μ_{t} + v_{t} \end{array}$ donde $w_{t} \overset{i i d}{\sim} N (0, σ_{w}^{2})$ y $v_{t} \overset{i i d}{\sim} N (0, σ_{v}^{2})$ son independientes. Es decir, la ecuación de estados consiste en una caminata aleatoria y la ecuación de observaciones consiste en un componente de tendencia y un ruido. - Recuerde que anteriormente se definió este modelo para las series de temperatura del ejemplo 2.

Estimaciones de máxima verosimilitud

La estimación de los parámetros de un modelo de espacio de estados se puede utilizar estimación clásica o Bayesiana.
Concentramos la estimación de máxima verosimilitud (clásica).
Considere $Θ$ como el vector de los parámetros desconocidos del modelo, i.e. incluyen todos los parámetros de:
- condiciones iniciales, $μ_{0}$ y $Σ_{0}$
- Las matrices de transición de las ecuaciones de estados y de observaciones, $Φ, A_{t}$
- Las matrices de covariancias de los errores $Q, R$
- Las matrices de las variables exógenas $Υ, Γ$

De acuerdo a los cálculos de las innovaciones $ϵ_{1}, . . ., ϵ_{n}$ $ϵ_{t} = Y_{t} - A_{t} X_{t}^{t - 1} - Γ u_{t},$ y las matrices de covariancia $Σ_{t} = A_{t} P_{t}^{t - 1} A_{t}^{'} + R$
La función de log-verosimilitud (negativa) es dada por

$- ℓ_{Y} (Θ) = \frac{1}{2} \sum_{t = 1}^{n} \ln | Σ_{t} (Θ) | + \frac{1}{2} \sum_{t = 1}^{n} ϵ_{t} (Θ)^{'} Σ_{t} (Θ)^{- 1} ϵ_{t} (Θ)$ - Dada la complejidad de dicha función, en la práctica se realiza la minimización utilizando métodos numéricos como Newton-Raphson.

Sin embargo, por la flexibilidad de un modelo de espacio de estados, muchos problemas de optimización (mínimo local o divergencia) pueden ocurrir.

Extensiones de los modelos de espacios de estados

En la literatura, diversas extensiones han sido estudiadas. Por ejemplo, los coeficientes $Φ, Υ, Γ$ y las matrices de covariancias de los errores $Q$ y $R$ pueden variando en el tiempo, i.e.

$\begin{array}{rcl} x_{t} & = & Φ_{t} x_{t - 1} + Υ_{t} u_{t} + w_{t}, \\ y_{t} & = & A_{t} x_{t} + Γ_{t} u_{t} + v_{t} \end{array}$ $w_{t} \overset{i i d}{\sim} N_{q} (0, Q_{t})$ , $v_{t} \overset{i i d}{\sim} N_{q} (0, R_{t})$ .

Incluso la extensión del modelo Gaussiano a un modelo de familia exponencial.
En estos casos, la estimación Bayesiana es más flexible para obtener las estimaciones del modelo.

Manejo de datos perdidos

Los modelos de espacio de estados son flexibles para tratar datos perdidos.
Vamos a ver una idea básica del tratamiento de ellos.
Para la ecuación de observaciones, defina

$[\begin{matrix} Y_{t}^{(1)} \\ Y_{t}^{(2)} \end{matrix}] = [\begin{matrix} A_{t}^{(1)} \\ A_{t}^{(2)} \end{matrix}] X_{t} + [\begin{matrix} v_{t}^{(1)} \\ v_{t}^{(2)} \end{matrix}],$ donde $Y_{t}^{(1)}$ es un vector observable $(q_{1 t} \times 1)$ y $Y_{t}^{(2)}$ es un vector no observable $(q_{2 t} \times 1)$ , de modo que $q = q_{1 t} + q_{2 t}$

Para los instantes $t$ que tienen datos perdidos en las observaciones de $Y_{t}^{(2)}$ , se puede definir

$[\begin{matrix} Y_{t}^{(1)} \\ Y_{t}^{(2)} \end{matrix}] = [\begin{matrix} A_{t}^{(1)} \\ 0 \end{matrix}] X_{t} + [\begin{matrix} v_{t}^{(1)} \\ v_{t}^{(2)} \end{matrix}] .$

Tema 3: Modelos de Espacio-Estado⁽¹⁾

Introducción

Introducción

Los Modelos Lineales Gaussianos

Los Modelos Lineales Gaussianos

Ejemplo de motivación

Los Modelos Lineales Dinámicos Gaussianos

Representación en espacio de estados de ARIMA

Representación en espacio de estados de ARIMA

Filtro de Kalman

Filtro de Kalman

Suavizamiento de Kalman

Ejemplo: Modelo de nivel local

Algunas estructuras del modelo

Algunas estructuras del modelo

Estimaciones de máxima verosimilitud

Estimaciones de máxima verosimilitud

Extensiones de los modelos de espacios de estados

Extensiones de los modelos de espacios de estados

Manejo de datos perdidos

Ejemplo

Tema 3: Modelos de Espacio-Estado(1)

Tema 3: Modelos de Espacio-Estado⁽¹⁾