Processing math: 50%
+ - 0:00:00
Notes for current slide
Notes for next slide

XS3310 Teoría Estadística

I Semestre 2023

Escuela de Estadística

31-03-2023

1 / 25

¿Qué vamos a discutir hoy?

  • Mapa de recursos ¿dónde encuentro qué?
  • Suficiencia: Técnicas de suficiencia
  • Teorema 4.1 Técnica de suficiencia (y ejemplo)
  • Teorema 4.2 Técnica de la familia exponencial (y ejemplo)
  • Método de determinar estimadores
  • Estimador de Rao-Blackwell
  • Definición 5.1 (Completitud)
  • Teorema 5.1 (Rao-Blackwell) y ejemplo
2 / 25

Suficiencia

En la clase pasada:

Introducimos el concepto de suficiencia de un estadístico y vimos dos ejemplos: población con distribución Bernoulli y Uniforme.

Definición 4.1. Suficiencia mínima. Si X1,X2,...,Xn es una muestra aleatoria sobre una población con parámetro desconocido θ y función de densidad/probabilidad fX(x|θ). Se dice que un estadístico U=g(X1,X2,...,Xn) es suficiente mínimo para estimar θ si la distribución condicional de X1,X2,...,Xn dado U=u es independiente de θ.

Es decir, P(X1,X2,...,Xn|U=u) no depende de θ.

4 / 25

Técnicas para demostrar suficiencia

  1. Técnica de factorización
  2. Técnica de la familia exponencial.

Teorema 4.1. Técnica de factorización. Si U es un estadístico definido sobre una muestra aleatoria X1,X2,...,Xn de una población con parámetro desconocido θ y L(X1,X2,...,Xn|θ)=L(θ) es la función de verosimilitud entonces U es suficiente para θ si y solo si existen funciones g(u,θ) y h(x1,x2,...,xn) tal que L(θ)=g(u,θ)h(x1,x2,...,xn) donde g() depende de X1,X2,...,Xn solo por medio de U y h() no depende de θ.

5 / 25

Suficiencia

Ejemplo. Sea X1,X2,...,Xn una muestra aleatoria tal que XjBernoulli(p). Pruebe que U=nj=1Xj es un estadístico suficiente mínimo para p.

Solución. En el caso de una muestra aleatoria Bernoulli, su función de verosimilitud viene dada por

L(p)=nj=1pxj(1p)1xj=pxj(1p)nxj=pu(1p)nu

Si tomamos g(u,p)=pu(1p)nu y h(x1,x2,...,xn)=1 podemos ver que se cumple el teorema anterior por lo que queda demostrado que U=nj=1Xj es un estadístico suficiente mínimo para p.

6 / 25

Suficiencia

Ejemplo. Sea X1,X2,...,Xn una muestra aleatoria de una población Poisson con media λ. Encuentre un estadístico suficiente mínimo para λ.

Solución. Primero debemos encontrar la función de verosimilitud para una muestra aleatoria Poisson,

L(λ)=nj=1λxjeλxj!=λxjenλxj!

Si tomamos U=nj=1Xj entonces podemos observar que g(u,λ)=λuenλ y h(x1,x2,...,xn)=1xj! cumplen que su producto sea igual a la verosimilitud, por lo que U=nj=1Xj es un estadístico suficiente mínimo.

7 / 25

Suficiencia para familias exponenciales

Teorema 4.2. Técnica de la familia exponencial. Si X es una variable aleatoria cuyo dominio no depende de un parámetro desconocido θ y la función de densidad/probabilidad de X dado θ pertenece a la familia exponencial, es decir que tiene la forma: fX(x|θ)=b(x)c(θ)ea(x)d(θ),a(x)1 entonces U=ni=1a(Xi) es un estadístico suficiente mínimo para estimar θ.

Prueba. Sea X1,X2,...,Xn una muestra aleatoria tal que Xi pertenece a la familia exponencial. Entonces se cumple,

L(θ)=ni=1b(Xi)c(θ)ea(Xi)d(θ)=c(θ)nni=1b(Xi)ed(θ)ni=1a(Xi)

8 / 25

Si tomamos como

U=ni=1a(Xi)u(X1,X2,,Xn)=ni=1b(Xi)v(U,θ)=c(θ)ned(θ)U

entonces, por la técnica de factorización, se cumple que U es suficiente mínimo para θ.

9 / 25

Suficiencia

Ejemplo. Sea X1,X2,...,Xn una m.a. tal que XiPoisson(λ), encuentre el estadístico suficiente mínimo utilizando la técnica de la familia exponencial.

Solución. Lo primero consiste en demostrar que la función de probabilidad de una Poisson tiene la forma de la familia exponencial. Viendo la función de probabilidad de una Poisson, f(x|λ)=λxeλx!, esta pareciera no cumplir la forma de la familia exponencial, no obstante podemos realizar algunas operaciones algebraicas para alcanzar esa forma:

f(x|λ)=λxeλx!=eln(λxeλx!)=eln(λx)+ln(eλ)ln(x!)=exln(λ)λln(x!)=eλexln(λ)1x!

10 / 25

Suficiencia

Podemos ver que esta expresión tiene la forma de la familia exponencial con

a(x)=xc(λ)=eλb(x)=1x!d(λ)=ln(λ)

Por lo tanto podemos concluir que U=nj=1Xj es un estadístico suficiente mínimo para λ.

Ejemplo. Sea X1,X2,...,Xn una muestra aleatoria de una población con función de densidad:

fX(x)={αxα1θexαθsix>00six0

Encuentre un estadístico suficiente mínimo para θ.

11 / 25

Suficiencia

Solución. Podemos apreciar de la función de densidad anterior lo siguiente:

a(x)=xαc(θ)=1θb(x)=αxα1d(θ)=1θ

Por lo tanto, por la técnica de la familia exponencial, el estadístico

U=nj=1Xαj

es suficiente mínimo para θ.

Supongamos que para este caso si quisieramos saber cuál sería un estadístico suficiente mínimo para α. De las técnicas vistas hasta el momento no es posible obtener una respuesta, no obstante veremos posteriormente una estrategia para resolver este problema.

12 / 25

Completitud

Definición 5.1. Completitud. Sea U un estadístico de una muestra aleatoria X1,X2,...,Xn con función de densidad/probabilidad fX(x|θ) si aub y α1θα2 y sea g(u) una función continua en [a,b].
Se dice que el estadístico U es completo para la distribución fX(x|θ) si se cumple que
si E(g(U))=0θ[α1,α2] entonces g(U)=0 con probabilidad 1.

  • Con un estadístico que no es completo puede pasar que g(U)0 para algún θ, pero que E(g(U))=0.
  • Es decir, que existe "algo más" aparte del estadístico U que hace que la esperanza sea igual a 0.
  • Un estadístico completo, no tiene ese "algo más" y concuerda si g(U)=0 con E(g(U))=0.
  • Un estadístico completo, puede que no aporte información relevante sobre el parametro. Solo dice que es congruente.
  • Para que un estadístico completo, sea útil, debe ser suficiente.
13 / 25

Completitud

Ejemplo: Sea U=nj=1Xj un estadístico suficiente de una muestra aleatoria de una población Bernoulli con probabilidad de éxito p. Demuestre que U es un estadístico completo si el espacio paramétrico de p es ]0,1[.

Solución: Sabemos de antemano que el estadístico U=nj=1Xj tiene distribución Binomial(n,p). Con esto procedemos a encontrar E(g(U)) para cualquier función g().

\begin{align*} E(g(U)) &= \sum_{u=0}^{n} g(u) \binom{n}{u} p^{u}\left(1-p\right)^{n-u} \\ &= \left(1-p\right)^{n} \sum_{u=0}^{n} g(u) \binom{n}{u} \left(\frac{p}{1-p}\right)^{u} \end{align*}

14 / 25

Observe que como el dominio de p no incluye el 0 o 1 entonces esta expresión solo puede ser cero si y solo si

\sum_{u=0}^{n} g(u) \binom{n}{u} \left(\frac{p}{1-p}\right)^{u} = 0

Como esta expresión es un polinomio de \left(\frac{p}{1-p}\right) entonces esta solo puede ser cero si sus coeficientes son cero, y esto solo va a suceder si y solo si g(u) = 0.

Por lo tanto concluimos que U es un estadístico completo para la familia de distribuciones Bernoulli.

En general, vamos a estar trabajando con estadísticos completos en este curso y no nos vamos a estar deteniendo en las demostraciones de que estos lo sean pues ya sale de los propósitos del curso. No obstante, esta propiedad tendrá mayor uso con los teoremas siguientes.

15 / 25

Estimadores Rao-Blackwell

Teorema 5.1. Teorema de Rao-Blackwell. Sea U = T(X_{1}, X_{2}, ... , X_{n}) es un estadístico suficiente minimal para estimar \theta y sea \hat{\theta} un estimador cualquiera de \theta. Si definimos otro estimador como \hat{\theta}^{*}=E(\hat{\theta}|U) se cumple que ECM(\hat{\theta}^{*}) \leq ECM(\hat{\theta}). Es decir, a partir de un estimador \hat{\theta} se puede encontrar un estimador \hat{\theta}^{*} óptimo.

NOTA: ¿Es el mismo señor Rao de Cramer-Rao? SI!

NOTA: se puede demostrar que si \hat{\theta} es insesgado, entonces el estimador mejorado \hat{\theta}^{*} también será insesgado.

16 / 25

Estimadores Rao-Blackwell

Ejemplo: Suponga que una operadora de llamadas recibe llamadas de acuerdo a un proceso Poisson con promedio de llamadas por minuto, \lambda. Se obtiene una muestra aleatoria X_{1}, X_{2}, ... , X_{n} de las llamadas telefónicas que llegaron en n periodos sucesivos de un minuto. Para estimar la probabilidad de que el siguiente periodo de un minuto pase sin llamadas ( e^{-\lambda} ) se utiliza el siguiente estimador:

\hat{\lambda} = \begin{cases} 1 \quad si \quad X_{1} = 0 \\0 \quad en \quad otros \quad casos \end{cases}

Es decir, se estima la probabilidad en 1 si no se recibieron llamadas en el primer minuto y cero en el caso contrario. Con base en esto, obtenga el estimador de Rao-Blacwell.

17 / 25

Estimadores Rao-Blackwell

Solución: U = \sum_{j=1}^{n} X_{j} es un estadístico suficiente minimal para \lambda, por lo que encontramos el estimador de Rao-Blackwell a partir de este estadístico:

\begin{align*} \hat{\lambda}^{*} = E(\hat{\lambda}|U = u) &= P\left(X_{1} = 0 | \sum_{j=1}^{n} X_{j} = u\right) \\ &=\frac{P\left(X_{1} = 0 , \sum_{j=1}^{n} X_{j} = u\right)}{P\left(\sum_{j=1}^{n} X_{j} = u\right)} =\frac{P\left(\sum_{j=2}^{n} X_{j} = u\right)}{P\left(\sum_{j=1}^{n} X_{j} = u\right)} \\ &= \dfrac{e^{-\lambda}\frac{((n-1)\lambda)^{u}e^{-(n-1)\lambda}}{u!} }{\frac{(n\lambda)^{u}e^{-n\lambda}}{u!}}\\ &= \left(\frac{n-1}{n}\right)^{u} = \left(1-\frac{1}{n}\right)^{u} \end{align*}

Por lo tanto \hat{\lambda}^{*} = \left(1-\frac{1}{n}\right)^{\sum_{j=1}^{n}X_{j}} es un estimador suficiente con menor ECM que \hat{\lambda}.

18 / 25

Teorema de Lehmann-Scheffé

Teorema 5.2. Teorema de Lehmann-Scheffé. Sea X_{1}, X_{2}, ... , X_{n} una muestra aleatoria de una población con función de densidad/probabilidad f_{X}(x|\theta). Si U = T(X_{1}, X_{2}, ... , X_{n}) es un estadístico suficiente y completo para \theta y además se cumple que E(h(U)) es insesgado para estimar \theta entonces h(U) es el único estimador insesgado de varianza mínima para \theta.

Prueba:

Sabemos por el Teorema de Rao-Blackwell que si \hat{\theta} es un estimador insesgado de \theta entonces \hat{\theta}^{*} = E(\hat{\theta}|U) es un estimador insesgado de varianza mínima para \theta.

19 / 25

Teorema de Lehmann-Scheffé

Para demostrar unicidad supongamos que tenemos otro estimador \hat{\phi}^{*} que es insesgado y de varianza mínima para \theta. Por lo tanto se debe cumplir lo siguiente:

E(\hat{\theta}^{*}) = E(\hat{\phi}^{*}) = \theta \Rightarrow E(\hat{\theta}^{*}) - E(\hat{\phi}^{*}) = E(\hat{\theta}^{*} - \hat{\phi}^{*}) = E(g(U))= 0

Como se cumple que f_{X}(x|\theta) es una familia completa en el estadístico suficiente U entonces se cumple que g(U) = 0, es decir \hat{\theta}^{*} - \hat{\phi}^{*} = 0, que es equivalente a decir \hat{\theta}^{*} = \hat{\phi}^{*}. Por lo tanto concluimos que solo existe un único estimador insesgado de varianza mínima.

20 / 25

Estimadores Insesgados de Varianza Mínima (EIVM)

Con los resultados anteriores, para distribuciones completas, si tenemos un estadístico U que es suficiente minimal para estimar \theta entonces solo debemos encontrar una función h(\cdot) que sea insesgada y por lo tanto obtendremos un estimador insesgado de varianza mínima, el cual es único.

Ejemplo. Sea X_{1}, X_{2}, ... , X_{n} una muestra aleatoria tal que X_{j} \sim Bernoulli(p). Encuentre un EIVM para p.

Solución. Ya habiamos demostrado con anterioridad que U = \sum_{j=1}^{n} X_{j} es un estadístico suficiente minimal y completo en una distribución Bernoulli. Para encontrar el EIVM solo debemos encontrar una función de U que sea insesgada para p.

E(U) = E\left(\sum_{j=1}^{n} X_{j}\right) = np \Rightarrow \hat{p} = \frac{U}{n} = \frac{\sum_{j=1}^{n} X_{j}}{n}

es un EIVM para p.

21 / 25

Ejemplo. Sea X_{1}, X_{2}, ... , X_{n} una muestra aleatoria tal que X_{j} \sim Exp(\beta). Demuestre que \overline{X} es un EIVM para \beta.

Solución. Suponiendo que la exponencial es una familia completa, debemos encontrar un estadístico suficiente para \beta. Recordemos la función de densidad:

f_{X}(x) = \frac{1}{\beta}e^{-\frac{x}{\beta}}. En este caso es evidente la forma de la familia exponencial:

\begin{matrix} a(x) = x & c(\beta) = \frac{1}{\beta} & b(x) = 1 & d(\beta) = \frac{1}{\beta} \end{matrix}

Por lo tanto decimos que U = \sum_{j=1}^{n} X_{j} es un estadístico suficiente minimal para \beta. Por lo tanto, E(U) = E\left(\sum_{j=1}^{n} X_{j}\right) = n\beta.

Concluimos, por el Teorema de Rao-Blackwell y Lehmann-Scheffé que \overline{X} es un EIVM para \beta.

22 / 25

Ejercicios:

  1. Sea Y_1, ..., Y_n una muestra independiente e idénticamente distribuida de una N(\mu, \sigma^2). Entonces:

    a. Si \mu es desconocido y \sigma^2 es conocida, entonces muestre que \bar{Y} es suficiente para \mu.

    b. Si \mu es conocido y \sigma^2 es desconocida, entonces muestre que \sum_{i=1}^{n} (Y_i - \mu)^2 es suficiente para \sigma^2.

    c. Si \mu y \sigma^2 son desconocidas, muestre que \sum_{i=1}^{n} Y_i y \sum_{i=1}^{n} Y_i^2 son conjuntamente suficientes para \mu y \sigma^2.

  2. Sea Y_1, ..., Y_n una muestra independiente e idénticamente distribuida con función de densidad f(y|\theta)= \left\lbrace \begin{aligned} \frac{3 y^2}{\theta^3}, & & 0\leq y \leq \theta \\ 0, & & otro~caso. \end{aligned} \right. Muestre que Y_{(n)}=max \{ X_1 ,...,X_n \} es suficiente para \theta.

23 / 25

Ejercicios

¿Por qué demostrar que un estimador es EIVM es importante?

Revisar los ejemplo 9.6 - 9.9 de Mendenhall

Práctica 9.37 - 9.68 de Mendenhall.

24 / 25

¿Qué discutimos hoy?

Suficiencia, técnicas para encontrar estimadores suficientes. Propiedades de los estimadores puntuales: completitud. Teorema de Rao-Blackwell, Teorema de Lehmann-Scheffé, EIVM.

25 / 25

¿Qué vamos a discutir hoy?

  • Mapa de recursos ¿dónde encuentro qué?
  • Suficiencia: Técnicas de suficiencia
  • Teorema 4.1 Técnica de suficiencia (y ejemplo)
  • Teorema 4.2 Técnica de la familia exponencial (y ejemplo)
  • Método de determinar estimadores
  • Estimador de Rao-Blackwell
  • Definición 5.1 (Completitud)
  • Teorema 5.1 (Rao-Blackwell) y ejemplo
2 / 25
Paused

Help

Keyboard shortcuts

, , Pg Up, k Go to previous slide
, , Pg Dn, Space, j Go to next slide
Home Go to first slide
End Go to last slide
Number + Return Go to specific slide
b / m / f Toggle blackout / mirrored / fullscreen mode
c Clone slideshow
p Toggle presenter mode
t Restart the presentation timer
?, h Toggle this help
Esc Back to slideshow