Tema 4: Regresión con series de tiempo

class: center, middle, inverse, title-slide

.title[
# Tema 4: Regresión con series de tiempo
]
.subtitle[
## Curso: Series Cronológicas
]
.author[
### Prof. Shu Wei Chou Chen
]
.institute[
### Posgrado en Estadística - Posgrado en Matemática (UCR)
]

---

# Contenido

1. Introducción
2. Regresión lineal simple
3. Regresión lineal múltiple
2. Modelos de tendencia
3. Transformaciones en modelos estacionales
4. Modelos de series estacionales mediante variables indicadoras

---
# Introducción

- La idea es ajustar un modelo de regresión para la serie temporal `$Y_t, t=1,...,T$` utlizando un conjunto de `$p$` covariables: `$X_1,...,X_p$`.

- Por ejemplo: 
  - `$Y$` una serie mensual de ventas con la variable independiente `$X_1$` gasto mensual en anuncios.
  - `$Y$` una serie diaria de demanda de energía eléctrica con las variables independientes: `$X_1$` temperatura y `$X_2$` el día de la semana.

---
# Regresión lineal simple

Un modelo de regresión lineal simple establece una relación lineal entre una variable dependiente `$Y$` y una sola variable predictora `$X$`:

$$
  Y_t = \beta_0 + \beta_1 X_t + \epsilon_t,
$$
donde los coeficientes `$\beta_0$` y `$\beta_1$` denotan la intersección y la pendientes, respectivamente;  
`$\varepsilon_t \overset{\text{iid}}{\sim} N(0,\sigma^2)$`.

- La intercepción `$\beta_0$` representa el valor predicho de `$y$` cuando `$X=0$`.
- La pendiente `$\beta_1$` representa el cambio promedio previsto en `$Y$` resultante de un aumento de una unidad en `$X$`.

---
# Regresión lineal simple

<div class="figure" style="text-align: center">
<img src="presentacion_files/figure-html/SLRpop1-1.png" alt="Ejemplo simulado de un modelo de regresión lineal simple (Fig 5.1 de Hyndman)." width="50%" />
<p class="caption">Ejemplo simulado de un modelo de regresión lineal simple (Fig 5.1 de Hyndman).</p>
</div>

---
# Regresión lineal simple: Ejemplo

Se tienen datos de cambios porcentuales trimestrales (tasas de crecimiento) del gasto de consumo personal real (Y) e ingresos disponibles(X), para EE.UU. desde 1970 a 2016.

---
# Regresión lineal simple: Ejemplo

---
# Regresión lineal simple: Ejemplo

```r
tslm(Consumption ~ Income, data=uschange)
```

```
## 
## Call:
## tslm(formula = Consumption ~ Income, data = uschange)
## 
## Coefficients:
## (Intercept)       Income  
##      0.5451       0.2806
```

`$$\hat{Y}_t=0.55 + 0.28X_t.$$`
El coeficiente de pendiente muestra que un aumento de una unidad en `$X$`(un aumento de 1  punto porcentual en el ingreso personal disponible) resulta en un promedio de 0.28 unidades de aumento en `$Y$`.

---
# Regresión lineal múltiple

- La forma general de un modelo de regresión lineal múltiple es:

`$$Y_t=\beta_0+\beta_1 X_{t,1}+\beta_2 X_{t,2}+...+\beta_p X_{t,p}+\epsilon_t, t=1,...,T,$$`

donde `$Y_t$` es la variable a pronosticar y `$X_1,...,X_p$` son los `$p$` variables predictoras. Las variables predictoras pueden ser numéricas o categóricas (con el manejo apropiado de factores).   
Los coeficientes `$\beta_1,...,\beta_p$` miden el efecto de cada predictor después de tener en cuenta los efectos de todos los demás predictores del modelo. Por lo tanto, los coeficientes miden los efectos marginales de las variables predictoras.

---
# Regresión lineal múltiple

- El modelo de regresión lineal múltiple en su forma matricial:

$$
Y=X \beta+\epsilon
$$
donde

`$$Y=\left[ \begin{array}{c}Y_1 \\ \vdots \\Y_T \end{array}  \right],~~ X= \left(\begin{array}{ccccc} 1& X_{11}& X_{12} & ... & X_{1p}\\ 1 &  X_{21}& X_{22} & ... &X_{2p}\\ \vdots& \vdots & \ddots &\vdots& \vdots\\ 1&  X_{T1}& X_{T2} & ... &X_{Tp} \end{array}\right),$$`
`$$\beta=\left[ \begin{array}{c}\beta_0 \\ \vdots \\\beta_T \end{array}  \right],~~\epsilon=\left[ \begin{array}{c}\epsilon_1 \\ \vdots \\\epsilon_T \end{array}  \right].$$`

---
# Regresión lineal múltiple

**Supocisiones del modelo:**

- La relación entre la variable de pronóstico y las variables predictoras satisface esta ecuación lineal.

- Los errores `$\varepsilon_1,...,\varepsilon_T$`:
  - tienen media cero,
  - no están autocorrelacionados,
  - no están relacionados con las variables predictoras

- Los errores se distribuyan normalmente con una varianza constante `$\sigma^2$`.

- Cada predictor `$X_i, i=1,...,p$` supone que es observado y fijo, i.e. no es una variable aleatoria.

---
# Regresión lineal múltiple

**Tópicos importantes:**

1. Estimación:
  - por mínimos cuadrados.
  - por máxima verosimilitud.
  
2. Selección de variables

3. Diagnósticos

4. Medidas remediales

---
# Regresión lineal múltiple

- Estimación por mínimos cuadrados: minimizar
`$$\sum_{t=1}^T \epsilon_t^2=\sum_{t=1}^T [y_t-(\beta_0+\beta_1 x_{1,t}+...+\beta_k x_{k,t})]^2,$$`
en función de `$\beta_0,...\beta_k$`.

- Como resultado:
$$
\hat{\beta}=(X^\top X)^{-1}X^\top Y.
$$

- El estimador de máxima verosimilitud es equivalente (¿?)