En la clase pasada:
Introducimos el concepto de suficiencia de un estadístico y vimos dos ejemplos: población con distribución Bernoulli y Uniforme.
Definición 4.1. Suficiencia mínima. Si X1,X2,...,Xn es una muestra aleatoria sobre una población con parámetro desconocido θ y función de densidad/probabilidad fX(x|θ). Se dice que un estadístico U=g(X1,X2,...,Xn) es suficiente mínimo para estimar θ si la distribución condicional de X1,X2,...,Xn dado U=u es independiente de θ.
Es decir, P(X1,X2,...,Xn|U=u) no depende de θ.
Teorema 4.1. Técnica de factorización. Si U es un estadístico definido sobre una muestra aleatoria X1,X2,...,Xn de una población con parámetro desconocido θ y L(X1,X2,...,Xn|θ)=L(θ) es la función de verosimilitud entonces U es suficiente para θ si y solo si existen funciones g(u,θ) y h(x1,x2,...,xn) tal que L(θ)=g(u,θ)⋅h(x1,x2,...,xn) donde g(⋅) depende de X1,X2,...,Xn solo por medio de U y h(⋅) no depende de θ.
Ejemplo. Sea X1,X2,...,Xn una muestra aleatoria tal que Xj∼Bernoulli(p). Pruebe que U=∑nj=1Xj es un estadístico suficiente mínimo para p.
Solución. En el caso de una muestra aleatoria Bernoulli, su función de verosimilitud viene dada por
L(p)=n∏j=1pxj(1−p)1−xj=p∑xj(1−p)n−∑xj=pu(1−p)n−u
Si tomamos g(u,p)=pu(1−p)n−u y h(x1,x2,...,xn)=1 podemos ver que se cumple el teorema anterior por lo que queda demostrado que U=∑nj=1Xj es un estadístico suficiente mínimo para p.
Ejemplo. Sea X1,X2,...,Xn una muestra aleatoria de una población Poisson con media λ. Encuentre un estadístico suficiente mínimo para λ.
Solución. Primero debemos encontrar la función de verosimilitud para una muestra aleatoria Poisson,
L(λ)=n∏j=1λxje−λxj!=λ∑xje−nλ∏xj!
Si tomamos U=∑nj=1Xj entonces podemos observar que g(u,λ)=λue−nλ y h(x1,x2,...,xn)=1∏xj! cumplen que su producto sea igual a la verosimilitud, por lo que U=∑nj=1Xj es un estadístico suficiente mínimo.
Teorema 4.2. Técnica de la familia exponencial. Si X es una variable aleatoria cuyo dominio no depende de un parámetro desconocido θ y la función de densidad/probabilidad de X dado θ pertenece a la familia exponencial, es decir que tiene la forma: fX(x|θ)=b(x)c(θ)e−a(x)d(θ),a(x)≠1 entonces U=∑ni=1a(Xi) es un estadístico suficiente mínimo para estimar θ.
Prueba. Sea X1,X2,...,Xn una muestra aleatoria tal que Xi pertenece a la familia exponencial. Entonces se cumple,
L(θ)=n∏i=1b(Xi)c(θ)e−a(Xi)d(θ)=c(θ)nn∏i=1b(Xi)e−d(θ)∑ni=1a(Xi)
Si tomamos como
U=n∑i=1a(Xi)u(X1,X2,…,Xn)=n∏i=1b(Xi)v(U,θ)=c(θ)ne−d(θ)U
entonces, por la técnica de factorización, se cumple que U es suficiente mínimo para θ.
Ejemplo. Sea X1,X2,...,Xn una m.a. tal que Xi∼Poisson(λ), encuentre el estadístico suficiente mínimo utilizando la técnica de la familia exponencial.
Solución. Lo primero consiste en demostrar que la función de probabilidad de una Poisson tiene la forma de la familia exponencial. Viendo la función de probabilidad de una Poisson, f(x|λ)=λxe−λx!, esta pareciera no cumplir la forma de la familia exponencial, no obstante podemos realizar algunas operaciones algebraicas para alcanzar esa forma:
f(x|λ)=λxe−λx!=eln(λxe−λx!)=eln(λx)+ln(e−λ)−ln(x!)=exln(λ)−λ−ln(x!)=e−λexln(λ)1x!
Podemos ver que esta expresión tiene la forma de la familia exponencial con
a(x)=xc(λ)=e−λb(x)=1x!d(λ)=−ln(λ)
Por lo tanto podemos concluir que U=∑nj=1Xj es un estadístico suficiente mínimo para λ.
Ejemplo. Sea X1,X2,...,Xn una muestra aleatoria de una población con función de densidad:
fX(x)={αxα−1θe−xαθsix>00six≤0
Encuentre un estadístico suficiente mínimo para θ.
Solución. Podemos apreciar de la función de densidad anterior lo siguiente:
a(x)=xαc(θ)=1θb(x)=αxα−1d(θ)=1θ
Por lo tanto, por la técnica de la familia exponencial, el estadístico
U=n∑j=1Xαj
es suficiente mínimo para θ.
Supongamos que para este caso si quisieramos saber cuál sería un estadístico suficiente mínimo para α. De las técnicas vistas hasta el momento no es posible obtener una respuesta, no obstante veremos posteriormente una estrategia para resolver este problema.
Definición 5.1. Completitud. Sea U un estadístico de una muestra aleatoria X1,X2,...,Xn con función de densidad/probabilidad fX(x|θ) si a≤u≤b y α1≤θ≤α2 y sea g(u) una función continua en [a,b].
Se dice que el estadístico U es completo para la distribución fX(x|θ) si se cumple que
si E(g(U))=0∀θ∈[α1,α2] entonces g(U)=0 con probabilidad 1.
Ejemplo: Sea U=∑nj=1Xj un estadístico suficiente de una muestra aleatoria de una población Bernoulli con probabilidad de éxito p. Demuestre que U es un estadístico completo si el espacio paramétrico de p es ]0,1[.
Solución: Sabemos de antemano que el estadístico U=∑nj=1Xj tiene distribución Binomial(n,p). Con esto procedemos a encontrar E(g(U)) para cualquier función g(⋅).
\begin{align*} E(g(U)) &= \sum_{u=0}^{n} g(u) \binom{n}{u} p^{u}\left(1-p\right)^{n-u} \\ &= \left(1-p\right)^{n} \sum_{u=0}^{n} g(u) \binom{n}{u} \left(\frac{p}{1-p}\right)^{u} \end{align*}
Observe que como el dominio de p no incluye el 0 o 1 entonces esta expresión solo puede ser cero si y solo si
\sum_{u=0}^{n} g(u) \binom{n}{u} \left(\frac{p}{1-p}\right)^{u} = 0
Como esta expresión es un polinomio de \left(\frac{p}{1-p}\right) entonces esta solo puede ser cero si sus coeficientes son cero, y esto solo va a suceder si y solo si g(u) = 0.
Por lo tanto concluimos que U es un estadístico completo para la familia de distribuciones Bernoulli.
En general, vamos a estar trabajando con estadísticos completos en este curso y no nos vamos a estar deteniendo en las demostraciones de que estos lo sean pues ya sale de los propósitos del curso. No obstante, esta propiedad tendrá mayor uso con los teoremas siguientes.
Teorema 5.1. Teorema de Rao-Blackwell. Sea U = T(X_{1}, X_{2}, ... , X_{n}) es un estadístico suficiente minimal para estimar \theta y sea \hat{\theta} un estimador cualquiera de \theta. Si definimos otro estimador como \hat{\theta}^{*}=E(\hat{\theta}|U) se cumple que ECM(\hat{\theta}^{*}) \leq ECM(\hat{\theta}). Es decir, a partir de un estimador \hat{\theta} se puede encontrar un estimador \hat{\theta}^{*} óptimo.
NOTA: ¿Es el mismo señor Rao de Cramer-Rao? SI!
NOTA: se puede demostrar que si \hat{\theta} es insesgado, entonces el estimador mejorado \hat{\theta}^{*} también será insesgado.
Ejemplo: Suponga que una operadora de llamadas recibe llamadas de acuerdo a un proceso Poisson con promedio de llamadas por minuto, \lambda. Se obtiene una muestra aleatoria X_{1}, X_{2}, ... , X_{n} de las llamadas telefónicas que llegaron en n periodos sucesivos de un minuto. Para estimar la probabilidad de que el siguiente periodo de un minuto pase sin llamadas ( e^{-\lambda} ) se utiliza el siguiente estimador:
\hat{\lambda} = \begin{cases} 1 \quad si \quad X_{1} = 0 \\0 \quad en \quad otros \quad casos \end{cases}
Es decir, se estima la probabilidad en 1 si no se recibieron llamadas en el primer minuto y cero en el caso contrario. Con base en esto, obtenga el estimador de Rao-Blacwell.
Solución: U = \sum_{j=1}^{n} X_{j} es un estadístico suficiente minimal para \lambda, por lo que encontramos el estimador de Rao-Blackwell a partir de este estadístico:
\begin{align*} \hat{\lambda}^{*} = E(\hat{\lambda}|U = u) &= P\left(X_{1} = 0 | \sum_{j=1}^{n} X_{j} = u\right) \\ &=\frac{P\left(X_{1} = 0 , \sum_{j=1}^{n} X_{j} = u\right)}{P\left(\sum_{j=1}^{n} X_{j} = u\right)} =\frac{P\left(\sum_{j=2}^{n} X_{j} = u\right)}{P\left(\sum_{j=1}^{n} X_{j} = u\right)} \\ &= \dfrac{e^{-\lambda}\frac{((n-1)\lambda)^{u}e^{-(n-1)\lambda}}{u!} }{\frac{(n\lambda)^{u}e^{-n\lambda}}{u!}}\\ &= \left(\frac{n-1}{n}\right)^{u} = \left(1-\frac{1}{n}\right)^{u} \end{align*}
Por lo tanto \hat{\lambda}^{*} = \left(1-\frac{1}{n}\right)^{\sum_{j=1}^{n}X_{j}} es un estimador suficiente con menor ECM que \hat{\lambda}.
Teorema 5.2. Teorema de Lehmann-Scheffé. Sea X_{1}, X_{2}, ... , X_{n} una muestra aleatoria de una población con función de densidad/probabilidad f_{X}(x|\theta). Si U = T(X_{1}, X_{2}, ... , X_{n}) es un estadístico suficiente y completo para \theta y además se cumple que E(h(U)) es insesgado para estimar \theta entonces h(U) es el único estimador insesgado de varianza mínima para \theta.
Prueba:
Sabemos por el Teorema de Rao-Blackwell que si \hat{\theta} es un estimador insesgado de \theta entonces \hat{\theta}^{*} = E(\hat{\theta}|U) es un estimador insesgado de varianza mínima para \theta.
Para demostrar unicidad supongamos que tenemos otro estimador \hat{\phi}^{*} que es insesgado y de varianza mínima para \theta. Por lo tanto se debe cumplir lo siguiente:
E(\hat{\theta}^{*}) = E(\hat{\phi}^{*}) = \theta \Rightarrow E(\hat{\theta}^{*}) - E(\hat{\phi}^{*}) = E(\hat{\theta}^{*} - \hat{\phi}^{*}) = E(g(U))= 0
Como se cumple que f_{X}(x|\theta) es una familia completa en el estadístico suficiente U entonces se cumple que g(U) = 0, es decir \hat{\theta}^{*} - \hat{\phi}^{*} = 0, que es equivalente a decir \hat{\theta}^{*} = \hat{\phi}^{*}. Por lo tanto concluimos que solo existe un único estimador insesgado de varianza mínima.
Con los resultados anteriores, para distribuciones completas, si tenemos un estadístico U que es suficiente minimal para estimar \theta entonces solo debemos encontrar una función h(\cdot) que sea insesgada y por lo tanto obtendremos un estimador insesgado de varianza mínima, el cual es único.
Ejemplo. Sea X_{1}, X_{2}, ... , X_{n} una muestra aleatoria tal que X_{j} \sim Bernoulli(p). Encuentre un EIVM para p.
Solución. Ya habiamos demostrado con anterioridad que U = \sum_{j=1}^{n} X_{j} es un estadístico suficiente minimal y completo en una distribución Bernoulli. Para encontrar el EIVM solo debemos encontrar una función de U que sea insesgada para p.
E(U) = E\left(\sum_{j=1}^{n} X_{j}\right) = np \Rightarrow \hat{p} = \frac{U}{n} = \frac{\sum_{j=1}^{n} X_{j}}{n}
es un EIVM para p.
Ejemplo. Sea X_{1}, X_{2}, ... , X_{n} una muestra aleatoria tal que X_{j} \sim Exp(\beta). Demuestre que \overline{X} es un EIVM para \beta.
Solución. Suponiendo que la exponencial es una familia completa, debemos encontrar un estadístico suficiente para \beta. Recordemos la función de densidad:
f_{X}(x) = \frac{1}{\beta}e^{-\frac{x}{\beta}}. En este caso es evidente la forma de la familia exponencial:
\begin{matrix} a(x) = x & c(\beta) = \frac{1}{\beta} & b(x) = 1 & d(\beta) = \frac{1}{\beta} \end{matrix}
Por lo tanto decimos que U = \sum_{j=1}^{n} X_{j} es un estadístico suficiente minimal para \beta. Por lo tanto, E(U) = E\left(\sum_{j=1}^{n} X_{j}\right) = n\beta.
Concluimos, por el Teorema de Rao-Blackwell y Lehmann-Scheffé que \overline{X} es un EIVM para \beta.
Sea Y_1, ..., Y_n una muestra independiente e idénticamente distribuida de una N(\mu, \sigma^2). Entonces:
a. Si \mu es desconocido y \sigma^2 es conocida, entonces muestre que \bar{Y} es suficiente para \mu.
b. Si \mu es conocido y \sigma^2 es desconocida, entonces muestre que \sum_{i=1}^{n} (Y_i - \mu)^2 es suficiente para \sigma^2.
c. Si \mu y \sigma^2 son desconocidas, muestre que \sum_{i=1}^{n} Y_i y \sum_{i=1}^{n} Y_i^2 son conjuntamente suficientes para \mu y \sigma^2.
Sea Y_1, ..., Y_n una muestra independiente e idénticamente distribuida con función de densidad f(y|\theta)= \left\lbrace \begin{aligned} \frac{3 y^2}{\theta^3}, & & 0\leq y \leq \theta \\ 0, & & otro~caso. \end{aligned} \right. Muestre que Y_{(n)}=max \{ X_1 ,...,X_n \} es suficiente para \theta.
Revisar los ejemplo 9.6 - 9.9 de Mendenhall
Suficiencia, técnicas para encontrar estimadores suficientes. Propiedades de los estimadores puntuales: completitud. Teorema de Rao-Blackwell, Teorema de Lehmann-Scheffé, EIVM.
Keyboard shortcuts
↑, ←, Pg Up, k | Go to previous slide |
↓, →, Pg Dn, Space, j | Go to next slide |
Home | Go to first slide |
End | Go to last slide |
Number + Return | Go to specific slide |
b / m / f | Toggle blackout / mirrored / fullscreen mode |
c | Clone slideshow |
p | Toggle presenter mode |
t | Restart the presentation timer |
?, h | Toggle this help |
Esc | Back to slideshow |