XS3310 Teoría Estadística
I Semestre 2024
Escuela de Estadística, UCR.
En la clase pasada:
Introducimos el concepto de suficiencia de un estadístico y la técnica de factorización.
Definición 2.7. Suficiencia. Si \(X_{1}, X_{2}, ... , X_{n}\) es una muestra aleatoria sobre una población con parámetro desconocido \(\theta\) y función de densidad/probabilidad \(f_{X}(x|\theta)\). Se dice que un estadístico \(U = g(X_{1}, X_{2}, ... , X_{n})\) es suficiente para estimar \(\theta\) si la distribución condicional de \(X_{1}, X_{2}, ... , X_{n}\) dado \(U=u\) es independiente de \(\theta\). Es decir, \(P(X_{1}, X_{2}, ... , X_{n} \vert U =u)\) no depende de \(\theta\).
Teorema 2.7: Técnica de factorización. Si \(U\) es un estadístico definido sobre una muestra aleatoria \(X_{1}, X_{2}, ... , X_{n}\) de una población con parámetro desconocido \(\theta\) y \(\mathcal{L}(X_{1}, X_{2}, ... , X_{n}|\theta) = \mathcal{L}(\theta)\) es la función de verosimilitud entonces \(U\) es suficiente para \(\theta\) si y solo si existen funciones \(g(u,\theta)\) y \(h(x_{1}, x_{2}, ... , x_{n})\) tal que \(\mathcal{L}(\theta) = g(u,\theta) \cdot h(x_{1}, x_{2}, ... , x_{n})\) donde \(g(\cdot)\) depende de \(X_{1}, X_{2}, ... , X_{n}\) solo por medio de \(U\) y \(h(\cdot)\) no depende de \(\theta\).
Teorema 2.8. Técnica de la familia exponencial. Si \(X\) es una variable aleatoria cuyo dominio no depende de un parámetro desconocido \(\theta\) y la función de densidad/probabilidad de X dado \(\theta\) pertenece a la familia exponencial, es decir que tiene la forma: \[f_{X}(x|\theta) = b(x)c(\theta)e^{-a(x)d(\theta)}, \qquad a(x) \neq 1\] entonces \(U = \sum_{i=1}^{n} a(X_{i})\) es un estadístico suficiente para estimar \(\theta\).
Prueba. Sea \(X_{1}, X_{2}, ... , X_{n}\) una muestra aleatoria tal que \(X_{i}\) pertenece a la familia exponencial. Entonces se cumple,
\[\mathcal{L}(\theta) = \prod_{i=1}^{n} b(X_{i})c(\theta)e^{-a(X_{i})d(\theta)} = c(\theta)^{n} \prod_{i=1}^{n} b(X_{i}) e^{-d(\theta)\sum_{i=1}^{n} a(X_{i}) }\]
Si tomamos como
\[\begin{align} U &= \sum_{i=1}^{n} a(X_{i}) \\ h(X_{1}, X_{2}, \ldots , X_{n}) &= \prod_{i=1}^{n} b(X_{i}) \\ g(U,\theta) &= c(\theta)^{n} e^{-d(\theta)U} \end{align}\]
entonces, por la técnica de factorización, se cumple que \(U\) es suficiente para \(\theta\).
Ejemplo. Sea \(X_1,X_2,...,X_n\) una m.a. tal que \(X_i \sim Poisson(\lambda)\), encuentre el estadístico suficiente utilizando la técnica de la familia exponencial.
Solución. Lo primero consiste en demostrar que la función de probabilidad de una Poisson tiene la forma de la familia exponencial. Viendo la función de probabilidad de una Poisson, \(f(x|\lambda) = \frac{\lambda^{x}e^{-\lambda}}{x!}\), esta pareciera no cumplir la forma de la familia exponencial, no obstante podemos realizar algunas operaciones algebraicas para alcanzar esa forma:
\[\begin{align*} f(x|\lambda) &= \frac{\lambda^{x}e^{-\lambda}}{x!} = e^{\ln\left(\frac{\lambda^{x}e^{-\lambda}}{x!}\right)}= e^{\ln(\lambda^{x}) + \ln(e^{-\lambda}) - \ln(x!)}\\ &= e^{x\ln(\lambda) - \lambda - \ln(x!)} = e^{-\lambda}e^{x\ln(\lambda)}\frac{1}{x!} \end{align*}\]
Podemos ver que esta expresión tiene la forma de la familia exponencial con
\(\begin{matrix} a(x)=x & c(\lambda )={ e }^{ -\lambda } \\ b(x)=\frac { 1 }{ x! } & d(\lambda )=-\ln { (\lambda ) } \end{matrix}\)
Por lo tanto podemos concluir que \(U = \sum_{j=1}^{n} X_{j}\) es un estadístico suficiente mínimo para \(\lambda\).
Ejemplo. Sea \(X_{1}, X_{2}, ... , X_{n}\) una muestra aleatoria de una población con función de densidad:
\(f_{X}(x) = \begin{cases}\frac{\alpha x^{\alpha-1}}{\theta} e^{-\frac{x^{\alpha}}{\theta}} \quad si \quad x > 0 \\ 0 \quad si \quad x \leq 0 \end{cases}\)
Encuentre un estadístico suficiente para \(\theta\).
Solución. Podemos apreciar de la función de densidad anterior lo siguiente:
\(\begin{matrix} a(x) = x^{\alpha} & c(\theta) = \frac{1}{\theta} \\ b(x) = \alpha x^{\alpha-1} & d(\theta) = \frac{1}{\theta} \end{matrix}\)
Por lo tanto, por la técnica de la familia exponencial, el estadístico
\[U = \sum_{j=1}^{n} X_{j}^{\alpha}\]
es suficiente para \(\theta\).
Supongamos que para este caso si quisieramos saber cuál sería un estadístico suficiente para \(\alpha\). De las técnicas vistas hasta el momento no es posible obtener una respuesta, no obstante veremos posteriormente una estrategia para resolver este problema.
Teorema 2.9: Teorema de Rao-Blackwell.
Sea \(U = T(X_{1}, X_{2}, ... , X_{n})\) es un estadístico suficiente para estimar \(\theta\) y sea \(\hat{\theta}\) un estimador cualquiera de \(\theta\). Si definimos otro estimador como \(\hat{\theta}^{*}=E(\hat{\theta}|U)\) se cumple que \(ECM(\hat{\theta}^{*}) \leq ECM(\hat{\theta})\). Es decir, a partir de un estimador \(\hat{\theta}\) se puede encontrar un estimador \(\hat{\theta}^{*}\) óptimo.
NOTA: ¿Es el mismo señor Rao de Cramer-Rao? SI!
NOTA: se puede demostrar que si \(\hat{\theta}\) es insesgado, entonces el estimador mejorado \(\hat{\theta}^{*}\) también será insesgado.
Ejemplo: Suponga que una operadora de llamadas recibe llamadas de acuerdo a un proceso Poisson con promedio de llamadas por minuto, \(\lambda\). Se obtiene una muestra aleatoria \(X_{1}, X_{2}, ... , X_{n}\) de las llamadas telefónicas que llegaron en \(n\) periodos sucesivos de un minuto. Para estimar la probabilidad de que el siguiente periodo de un minuto pase sin llamadas ( \(e^{-\lambda}\) ) se utiliza el siguiente estimador:
\[\hat{\lambda} = \begin{cases} 1 \quad si \quad X_{1} = 0 \\0 \quad en \quad otros \quad casos \end{cases}\]
Es decir, se estima la probabilidad en 1 si no se recibieron llamadas en el primer minuto y cero en el caso contrario. Con base en esto, obtenga el estimador de Rao-Blackwell.
Solución: \(U = \sum_{j=1}^{n} X_{j}\) es un estadístico suficiente para \(\lambda\), por lo que encontramos el estimador de Rao-Blackwell a partir de este estadístico:
\[\begin{align*} \hat{\lambda}^{*} = E\left(\hat{\lambda}\mid U = u \right) &= P\left(X_{1} = 0 \mid \sum_{j=1}^{n} X_{j} = u\right) \\ &=\frac{P\left(X_{1} = 0 , \sum_{j=1}^{n} X_{j} = u\right)}{P\left(\sum_{j=1}^{n} X_{j} = u\right)} =\frac{P\left(\sum_{j=2}^{n} X_{j} = u\right)}{P\left(\sum_{j=1}^{n} X_{j} = u\right)} \\ &= \dfrac{e^{-\lambda}\frac{((n-1)\lambda)^{u}e^{-(n-1)\lambda}}{u!} }{\frac{(n\lambda)^{u}e^{-n\lambda}}{u!}}\\ &= \left(\frac{n-1}{n}\right)^{u} = \left(1-\frac{1}{n}\right)^{u} \end{align*}\]
Por lo tanto \(\hat{\lambda}^{*} = \left(1-\frac{1}{n}\right)^{\sum_{j=1}^{n}X_{j}}\) es un estimador suficiente con menor ECM que \(\hat{\lambda}\).
Teorema 2.10.: Teorema de Lehmann-Scheffé. Sea \(X_{1}, X_{2}, ... , X_{n}\) una muestra aleatoria de una población con función de densidad/probabilidad \(f_{X}(x|\theta)\). Si \(U = T(X_{1}, X_{2}, ... , X_{n})\) es un estadístico suficiente y completo1 para \(\theta\) y además se cumple que \(E(h(U))\) es insesgado para estimar \(\theta\) entonces \(h(U)\) es el único estimador insesgado de varianza mínima para \(\theta\).
Prueba:
Se omite.
Con los resultados anteriores, para distribuciones completas, si tenemos un estadístico \(U\) que es suficiente para estimar \(\theta\) entonces solo debemos encontrar una función \(h(\cdot)\) que sea insesgada y por lo tanto obtendremos un estimador insesgado de varianza mínima, el cual es único.
Ejemplo. Sea \(X_{1}, X_{2}, ... , X_{n}\) una muestra aleatoria tal que \(X_{j} \sim Bernoulli(p)\). Encuentre un EIVM para \(p\).
Solución. Ya habiamos demostrado con anterioridad que \(U = \sum_{j=1}^{n} X_{j}\) es un estadístico suficiente y completo en una distribución Bernoulli. Para encontrar el EIVM solo debemos encontrar una función de \(U\) que sea insesgada para \(p\).
\[E(U) = E\left(\sum_{j=1}^{n} X_{j}\right) = np \Rightarrow \hat{p} = \frac{U}{n} = \frac{\sum\limits_{j=1}^{n} X_{j}}{n}\]
es un EIVM para \(p\).
Ejemplo. Sea \(X_{1}, X_{2}, ... , X_{n}\) una muestra aleatoria tal que \(X_{j} \sim Exp(\beta)\). Demuestre que \(\overline{X}\) es un EIVM para \(\beta\).
Solución. Suponiendo que la exponencial es una familia completa, debemos encontrar un estadístico suficiente para \(\beta\). Recordemos la función de densidad:
\(f_{X}(x) = \frac{1}{\beta}e^{-\frac{x}{\beta}}\). En este caso es evidente la forma de la familia exponencial:
\(\begin{matrix} a(x) = x & c(\beta) = \frac{1}{\beta} & b(x) = 1 & d(\beta) = \frac{1}{\beta} \end{matrix}\)
Por lo tanto decimos que \(U = \sum_{j=1}^{n} X_{j}\) es un estadístico suficiente para \(\beta\). Por lo tanto, \(E(U) = E\left(\sum_{j=1}^{n} X_{j}\right) = n\beta\).
Concluimos, por el Teorema de Lehmann-Scheffé que \(\overline{X}\) es un EIVM para \(\beta\).
Si \(\mu\) es desconocido y \(\sigma^2\) es conocida, entonces muestre que \(\bar{Y}\) es suficiente para \(\mu\).
Si \(\mu\) es conocido y \(\sigma^2\) es desconocida, entonces muestre que \(\sum_{i=1}^{n} (Y_i - \mu)^2\) es suficiente para \(\sigma^2\).
Si \(\mu\) y \(\sigma^2\) son desconocidas, muestre que \(\sum_{i=1}^{n} Y_i\) y \(\sum_{i=1}^{n} Y_i^2\) son conjuntamente suficientes para \(\mu\) y \(\sigma^2\).