Práctica 7¶

Ejercicio 1¶

Se analizaron 12 piezas de pan blanco de cierta marca elegidas al azar. Se determinó el porcentaje de carbohidratos contenido en cada una de las piezas, obteniéndose los siguientes valores:

Pregunta A¶

Estimar la esperanza del porcentaje de carbohidratos contenido en una pieza de pan de esta marca.

Pregunta B¶

Estimar la mediana del porcentaje de carbohidratos contenido en una pieza de pan de esta marca.

Pregunta C¶

Estimar la probabilidad de que el porcentaje de carbohidratos de una pieza de pan de esta marca no exceda el 76.5%.

Ejercicio 2¶

Sea $X_1, \dots, X_n$ una muestra aleatoria de una distribución $\mathcal{N}(\mu, \sigma^2)$. Obtener los estimadores de máxima verosimilitud (MV) de:

Pregunta C¶

El par $(\mu, \sigma^2)$ simultáneamente.

Podemos directamente plantear las fórmulas correspondientes para los parámetros $\mu$ y $\sigma$ de una distribución normal. Sino, usamos la definición de los EMV, planteamos un sistema de 2 ecuaciones (1 para cada parámetro) y luego despejamos. Eso sería la demostración de cómo se llegan a estas fórmulas.

$\hat{\mu} = \bar{X}$

$ \begin{align*} \hat{\sigma}^2 = \frac{\sum_{i=1}^{n} (X_i - \bar{X})^2}{n} \end{align*} $

Nota: En el apunte de Bianco y Martínez (2004), página 166, está el desarrollo completo de cómo llegar a estas fórmulas.

Pregunta A¶

$\mu$, siendo $\sigma^2 = \sigma^2_0$ conocida.

Como $\sigma$ es conocida, solo estimamos $\mu$.

$\hat{\mu} = \bar{X}$

Pregunta B¶

$\sigma^2$, siendo $\mu = \mu_0$ conocida.

De forma análoga, ahora solo estimamos $\sigma$. Observar que el estimador para $\mu$ no depende de $\sigma$, mientras que en este caso, el estimador de $\sigma$ sí depende de $\mu$. Por lo tanto, no hay que usar tal cual las fórmulas genéricas de los estimadores, sino retroceder algunos pasos antes de reemplazar $\mu$ por su estimador y en cambio reemplazarlo por $\mu_0$.

$ \begin{align*} \hat{\sigma}^2 = \frac{\sum_{i=1}^{n} (X_i - \mu_0)^2}{n} \end{align*} $

Ejercicio 3¶

Pregunta A¶

Una máquina envasa caramelos, siendo el peso neto (en gramos) de cada bolsa una v.a. con distribución normal. Los siguientes datos corresponden al peso de 15 bolsas elegidas al azar:

210 197 187 217 194 208 220 199 193 203 181 212 188 196 185

Usando el método de MV, indique el valor estimado de la media y la varianza del peso neto de cada bolsa de caramelos envasada por esta máquina.

Pregunta B¶

Con cierto instrumento se realizan 20 mediciones de una magnitud física $\mu$. Cada observación es de la forma $X = \mu + \epsilon$, donde $\epsilon$ es el error de medición (aleatorio). Se obtuvieron los siguientes valores:

25.11 25.02 25.16 24.98 24.83 25.05 24.94 25.04 24.99 24.96 25.03 24.97 24.93 25.12 25.01 25.12 24.90 24.98 25.10 24.96

Suponiendo que los errores de medición tienen distribución normal con media cero y varianza 0.01, estimar $\mu$. ¿Cuál es la varianza del estimador de $\mu$?

$\epsilon \sim \mathcal{N}(0, 0.01)$

$X = \mu + \epsilon \implies X \sim \mathcal{N}(\mu, 0.01)$

No se exactamente cuál es la justificación 100% formal de esto último, pero como en este contexto $\mu$ representa una magnitud física, en esencia es una constante que se suma al error de medición $\epsilon$. En efecto, esto "desfaza" de forma constante la distribución normal que trae $\epsilon$ generando así la v.a. $X$ que consecuentemente también tiene distribución normal, solo que desfazada respecto a la de $\epsilon$. A su vez, como la esperanza de $\epsilon$ era cero, la esperanza de $X$ termina siendo la constante $\mu$. Mientras que la varianza se mentiene igual a la de $\epsilon$ ya que la suma de constantes no afecta a la varianza.

Dicho todo esto, ahora podemos estimar $\mu$ usando la fórmula correspondiente para una distribución normal.

$\hat{\mu} = \bar{X}$

Para calcular la varianza del estimador de $\mu$ podemos hacer lo siguiente.

Recordar que: $V(\mu + \epsilon_i) = V(\epsilon_i) = 0.01$ (pues $\mu$ es una constante y todas las $\epsilon$ son i.i.d.)

$ \begin{align*} V(\hat{\mu}) = V(\bar{X}) = V\Big(\frac{\sum_{i=1}^{20} X_i}{20}\Big) = V\Big(\frac{\sum_{i=1}^{20} \mu + \epsilon_i}{20}\Big) = \frac{1}{20^2} \sum_{i=1}^{20} V(\mu + \epsilon_i) = \frac{20 * 0.01}{20^2} = \frac{0.01}{20} = 0.0005 \end{align*} $

Pregunta C¶

Para conocer la precisión de un sistema de medición se mide 24 veces una magnitud conocida $\mu_0 = 12$, obteniéndose los siguientes valores:

12.51 11.66 11.91 12.25 11.54 11.36 12.40 12.19 12.88 12.16 12.69 12.91 12.12 11.02 12.53 11.77 12.72 10.56 11.52 11.66 12.25 12.09 11.48 12.36

Estimar la precisión (es decir, la varianza del error de medición), suponiendo que los errores están normalmente distribuídos con media cero.

Sea $\epsilon \sim \mathcal{N}(0, \sigma^2)$ el error de una medición.

Sea $X = \mu_0 + \epsilon$ el valor de una medición.

$X \sim \mathcal{N}(\mu_0, \sigma^2)$ (por la misma justificación que la pregunta anterior)

Ahora usamos la fórmula para estimar $\sigma$ de una distribución normal.

$ \begin{align*} \hat{\sigma}^2 = \frac{\sum_{i=1}^{24} (X_i - \mu_0)^2}{24} \end{align*} $

Ejercicio 4¶

Se sabe que el tiempo de duración de una clase de lámparas tiene distribución $\mathcal{E}(\theta)$. Consideremos el siguiente experimento. Se seleccionan $n$ lámparas al azar y se registran sus tiempos de duración: $X_1, \dots, X_n$.

Pregunta A¶

Calcular el estimador de momentos y de MV de $\theta$, y también del percentil 90 (o cuantil 0.9) del tiempo de duración de una lámpara bajo el modelo propuesto.

Estimador de momentos

$\bar{X} = E(X) \iff \bar{X} = \tfrac{1}{\theta} \implies \hat{\theta} = \tfrac{1}{\bar{X}}$

Estimador de máxima verosimilitud

$\bar{X} = E(X) \iff \bar{X} = \tfrac{1}{\theta} \implies \hat{\theta} = \tfrac{1}{\bar{X}}$

Nota: En la distribución exponencial coinciden ambos estimadores.

Percentil 90

$1 - e^{-\theta x} = 0.9 \iff x = \tfrac{-ln(0.1)}{\theta} = \tfrac{-ln(0.1)}{\tfrac{1}{\bar{X}}} = -ln(0.1) \bar{X}$

Pregunta B¶

Decidir si estos estimadores son insesgados o asintóticamente insesgados.

$ E(\hat{\theta}) = E \Big( \tfrac{1}{\bar{X}} \Big) = E \Big(\frac{1}{\sum_{i=1}^n \tfrac{X_i}{n}} \Big) = E \Big(\frac{1}{\tfrac{1}{n} \sum_{i=1}^n X_i} \Big) = E \Big(\frac{n}{\sum_{i=1}^n X_i} \Big) = n E \Big(\frac{1}{\sum_{i=1}^n X_i} \Big) $

Observemos que $Y = \sum_{i=1}^n X_i \sim \Gamma(n, \theta) \implies E(\hat{\theta}) = n E \Big(\frac{1}{Y} \Big)$

Pregunta C¶

Decidir si estos estimadores son consistentes. Justificar

Pregunta D¶

Se han probado 20 lámparas, obteniéndose los siguientes tiempos de duración (en días):

39.08 45.27 26.27 14.77 65.84 49.64 0.80 66.58 69.60 32.42 228.36 64.79 9.38 3.86 37.18 104.75 3.64 104.19 8.17 8.36

Basándose en estas observaciones, estime $\theta$ y el percentil 90 (o cuantil 0.9) del tiempo de duración de una lámpara bajo el modelo propuesto usando los estimadores hallados en el ítem (a).

¿Cómo haría para estimar el percentil solicitado si no conociera la distribución de las $X_i$?

Pregunta E¶

En un nuevo experimento se registra la duración de 350 lámparas. Los valores observados se encuentran en el archivo lamparas.txt. Repita el ítem (d) para este nuevo conjunto de datos.

Ejercicio 5¶

El número de llamadas que recibe una central telefónica en un día es una variable aleatoria con distribución $\mathcal{P}(\theta)$. Se desea estimar la probabilidad de que en un determinado día se reciban exactamante 40 llamadas. Para ello se registrarán la cantidad de llamadas recibidas durante 48 días.

Pregunta A¶

Basándose en la muestra aleatoria $X_1, \dots, X_n$, hallar el estimador de momentos y de máxima verosimilitud de $\theta$.

Estimador de momentos

$\bar{X} = E(X) \iff \bar{X} = \theta \implies \hat{\theta} = \bar{X}$

Estimador de máxima verosimilitud

$\hat{\theta} = \bar{X}$ (ver desarrollo)

Pregunta B¶

Deducir un estimador para la probabilidad de que en un determinado día se reciban 40 llamadas.

$ \begin{align*} P(X_i = 40) = \frac{e^{-\theta} \theta^{40}}{40!} = \frac{e^{-\bar{X}} \bar{X}^{40}}{40!} \end{align*} $

Pregunta C¶

¿Cómo haría para estimar la probabilidad deseada si no conociera la distribución de las $X_i$?

Casos favorables sobre casos totales.

Pregunta D¶

Durante 48 días se registran las siguientes cantidades:

40 46 46 45 42 44 50 31 41 42 50 34 62 32 46 50 39 42 44 41 47 42 41 50 34 47 38 40 44 45 35 51 38 41 39 34 48 35 40 40 43 36 40 49 45 47 34 45

Estimar $\theta$. Estimar la probabilidad de que en un determinado día se reciban exactamente 40 llamadas utilizando los estimadores propuestos en los items b) y c).

Pregunta E¶

En un nuevo experimento se registra la cantidad de llamados en 200 días. Los valores observados se encuentran en el archivo llamadas.txt. Repita el item anterior para este nuevo conjunto de datos.

Ejercicio 6¶

Se sabe que la longitud de los ejes que fabrica un establecimiento siderúrgico tiene densidad:

$f(x; \theta) = \tfrac{1}{\theta} x^{\tfrac{1}{\theta} - 1} I_{(0, 1)}(x)$

Pregunta A¶

Hallar el estimador de MV, $\hat{\theta}_{MV}$, y el estimador de momentos, $\hat{\theta}_M$, de $\theta$.

Estimador de máxima verosimilitud

$ \begin{align*} L(\theta) = f(x_1, \dots, x_n) = \prod_1^n f_{X_i}(x_i) = \prod_1^n \tfrac{1}{\theta} x_i^{\tfrac{1}{\theta} - 1} = \tfrac{1}{\theta^n} \prod_1^n x_i^{\tfrac{1}{\theta} - 1} \end{align*} $

$ \begin{align*} ln(L(\theta)) &= ln \Big( \tfrac{1}{\theta^n} \prod_1^n x_i^{\tfrac{1}{\theta} - 1} \Big) \\ &= ln( \tfrac{1}{\theta^n} ) + ln \Big( \prod_1^n x_i^{\tfrac{1}{\theta} - 1} \Big) \\ &= -n ln(\theta) + \sum_1^n ln(x_i^{\tfrac{1}{\theta} - 1}) \\ &= -n ln(\theta) + \sum_1^n (\tfrac{1}{\theta} - 1) ln(x_i) \\ &= -n ln(\theta) + (\tfrac{1}{\theta} - 1) \sum_1^n ln(x_i) \end{align*} $

$\tfrac{\partial}{\partial \theta} ln(L(\theta)) = \tfrac{-n}{\theta} - \tfrac{1}{\theta^2} \sum_1^n ln(x_i) = 0 \implies \hat{\theta}_{MV} = - \tfrac{1}{n} \sum_1^n ln(x_i)$

Estimador de momentos

$\bar{X} = E(X) = \int_0^1 x f(x) dx = \tfrac{1}{1 + \theta} \implies \hat{\theta}_{M} = \tfrac{1}{\bar{X}} - 1$

Pregunta B¶

Decidir si $\hat{\theta}_{MV}$ es insesgado o asintóticamente insesgado.

$ E(\hat{\theta}_{MV}) = E \Big( - \tfrac{1}{n} \sum_1^n ln(x_i) \Big) = - \tfrac{1}{n} n E(ln(X)) = - E(ln(X)) = - \int_0^1 ln(x) f_X(x) dx = - \int_0^1 ln(x) \tfrac{1}{\theta} x^{\tfrac{1}{\theta} - 1} dx = - \big[ -\theta \big]_0^1 = \theta $

$\implies E(\hat{\theta}_{MV})$ es insesgado.

Pregunta C¶

Estudiar la consistencia de ambos estimadores.

Estimador de máxima verosimilitud

$ V(\hat{\theta}_{MV}) = V(- \tfrac{1}{n} \sum_1^n ln(x_i)) = \tfrac{1}{n^2} V(\sum_1^n ln(x_i)) = \tfrac{1}{n^2} \sum_1^n V(ln(X)) = \tfrac{n ln(X)}{n^2} = \tfrac{ln(X)}{n} \xrightarrow{n \rightarrow \infty} 0 \implies V(\hat{\theta}_{MV}) $ es consistente.

Estimador de momentos

$\hat{\theta}_{M} = \tfrac{1}{\bar{X}} - 1$

Por la LGN: $\hat{\theta}_{M} = \tfrac{1}{\bar{X}} - 1 \xrightarrow{n \rightarrow \infty} \tfrac{1}{E(X)} - 1 = \tfrac{1}{\tfrac{1}{1 + \theta}} - 1 = 1 + \theta - 1 = \theta$

$ P(|\hat{\theta}_{M} - \theta| > \epsilon) \xrightarrow{n \rightarrow \infty} P(|\theta - \theta| > \epsilon) = P(0 > \epsilon) = 0 \; \forall \epsilon > 0 $

$\implies \hat{\theta}_{MV}$ es consistente.

Pregunta D¶

Se eligen al azar 20 ejes, cuyas longitudes son:

0.5 0.7 0.8 0.95 0.9 0.6 0.2 0.85 0.3 0.2 0.76 0.55 0.48 0.8 0.76 0.13 0.15 0.67 0.9 0.95

Estimar $\theta$ usando cada uno de los métodos propuestos.

Ejercicio 7¶

Un estado tiene varios distritos. Supongamos que cada distrito tiene igual proporción $\theta$ de personas que están a favor de una propuesta de control de armas. En cada uno de 8 distritos elegidos al azar, se cuenta la cantidad de personas que hay que encuestar hasta encontrar alguna de acuerdo con la propuesta (llamemos $X$ a esta variable aleatoria). Los resultados son: 3, 8, 9, 6, 4, 5, 3, 2 (i.e.: en el primer distrito las dos primeras personas encuestadas estaban en contra y la tercera a favor).

Pregunta A¶

¿Qué distribución tiene $X$?

Geométrica: "cantidad de repeticiones hasta el primer éxito"

Pregunta B¶

Estimar $\theta$ por el método de máxima verosimiltud y por el método de los momentos.

Estimador de máxima verosimilitud

$\hat{\theta}_{MV} = \tfrac{1}{\bar{X}}$ (ver desarrollo)

Estimador de momentos

$\bar{X} = E(X) = \tfrac{1}{\theta} \implies \hat{\theta}_{M} = \tfrac{1}{\bar{X}}$

Pregunta C¶

Estimar por máxima verosimilitud $P_\theta(X \geq 5)$.

Pregunta D¶

Estimar $P_\theta(X \geq 5)$ sin asumir que $X$ tiene distribución geométrica. Comparar el resultado con el del ítem anterior.

Ejercicio 8¶

Sea $X_1, \dots, X_n$ una muestra aleatoria de una distribución $\mathcal{U}(0, \theta)$.

Pregunta A¶

Probar que $M_n = max_{1 \leq i \leq n} X_i$ es el estimador de máxima verosimilitud de $\theta$.

Intuitivamente podemos ver que si $X$ tiene distribución $\mathcal{U}(0, \theta)$, necesitamos un $\theta$ más grande que todas las $X_i$ observadas, pues sino, habría una observación que cae en el intervalo $(\theta, +\infty)$ que técnicamente debería tenerla probabilidad 0, y eso sería absurdo.

Entonces el mejor estimador que tenemos es asignar $\theta$ al $X_i$ más grande. Notar que el verdadero $\theta$ podría ser aún más grande, pero no tenemos más información para justificar eso y además si tomamos un $\theta$ más grande que el máximo, ya no maximizamos la función de máxima verosimilitud.

Nota: La demostración formal está desarrollada en el apunte de Bianco y Martínez (2004), página 168.

Pregunta B¶

Calcular el estimador de $\theta$ basado en el primer momento.

$\bar{X} = E(X) = \tfrac{\theta}{2} \implies \hat{\theta}_M = 2\bar{X}$

Pregunta C¶

Decir si los estimadores obtenidos son insesgados o asintóticamente insesgados, y consistentes. Justificar.

Estimador de máxima verosimilitud

Recordemos que los estimadores son en sí mismos variables aleatorias. Entonces para calcular la esperanza de $\hat{\theta}_{MV}$ vamos a necesitar conocer su función de densidad. Y para eso primero buscamos la función acumulada y luego la derivamos.

Sea $U = max_{1 \leq i \leq n} X_i$ una v.a. (podríamos llamarla $\hat{\theta}_{MV}$ también pero así quedá más claro para leer).

\begin{align*} F_U(u) = P(U \leq u) = P(max_{1 \leq i \leq n} X_i \leq u) \end{align*}

Observación: $max_{1 \leq i \leq n} X_i \leq u \implies X_i \leq u \; \forall i$

Es decir, si el $X_i$ máximo es menor que $u$, entonces todos los $X_i$ son menores que $u$:

\begin{align*} P(max_{1 \leq i \leq n} X_i \leq u) = P(\cap_{i=1}^n X_i \leq u) = \prod_{i=1}^n P(X_i \leq u) = \prod_{i=1}^n F_{X}(u) = F_{X}(u)^n \end{align*}

Para el desarrollo anterior usamos que todas las $X_i$ son i.i.d. Recapitulando:

\begin{align*} F_U(u) = F_{X}(u)^n \end{align*}

Como $X \sim \mathcal{U}(0, \theta)$, sabemos exactamente cómo es $F_X$:

\begin{align*} F_U(u) = \begin{cases} 0 & u < 0 \\ \big( \tfrac{u}{\theta} \big) ^n & 0 \leq u \leq \theta \\ 1 & \theta < u \end{cases} \end{align*}

Muy bien, ahora que tenemos $F_U$ podemos derivar para obtener $f_u$:

\begin{align*} f_U(u) = \tfrac{\partial}{\partial u} F_U(u) = \tfrac{n u^{n-1}}{\theta^n} I_{[0, \theta]}(u) \end{align*}

Finalmente podemos calcular la esperanza de $\hat{\theta}_{MV}$:

\begin{align*} E(\hat{\theta}_{MV}) = E(U) = \int_0^\theta u f_U(u) du = \int_0^\theta u \tfrac{n u^{n-1}}{\theta^n} du = \tfrac{n}{\theta^n} \int_0^\theta u^n du = \tfrac{n}{\theta^n} \Big[ \tfrac{u^{n+1}}{n+1} \big]_0^\theta = \tfrac{n}{\theta^n} * \tfrac{\theta^{n+1}}{n+1} = \tfrac{n}{n+1} \theta \\ \implies E(\hat{\theta}_{MV}) = \tfrac{n}{n+1} \theta \end{align*}

$\hat{\theta}_{MV}$ es asintóticamente insesgado pues:

\begin{align*} E(\hat{\theta}_{MV}) = \tfrac{n}{n+1} \theta \xrightarrow{n \rightarrow \infty} \theta \end{align*}

Estimador de momentos

$E(\hat{\theta}_M) = E(2\bar{X}) = 2 E(\bar{X}) = 2 E(X_1) = 2 \tfrac{\theta}{2} = \theta$

$\implies \hat{\theta}_M$ es insesgado pues su esperanza coincide con el parámetro que estima.

Consistencia

Ver el apunte de Bianco y Martínez (2004), página 176.

Ejercicio 9¶

Sea $X_1, \dots, X_n$ una muestra aleatoria de una distribución Rayleigh, cuya densidad está dada por:

$f(x; \theta) = \tfrac{x}{\theta} e^{-\tfrac{x^2}{2\theta}} I_{[0, \infty)}(x)$

Pregunta A¶

Hallar el estimador de máxima verosimilitud de $\theta$.

$ L(\theta) = f(x_1, \dots, x_n) = \prod_{i=1}^n f_{X_i}(x_i) = \prod_{i=1}^n \frac{x_i}{\theta} e^{-\tfrac{x_i^2}{2\theta}} I_{[0, \infty)}(x_i) = \frac{1}{\theta^n} \Big( \prod_{i=1}^n x_i \Big) \Big( e^{-\tfrac{1}{2\theta} \sum_{i=1}^n x_i^2} \Big) \Big( \prod_{i=1}^n I_{[0, \infty)}(x_i) \Big) $

$ln(L(\theta)) = -n ln(\theta) + \sum_{i=1}^n ln(x_i) - \frac{1}{2\theta} \sum_{i=1}^n x_i^2$

$\tfrac{\partial}{\partial \theta} ln(L(\theta)) = \tfrac{-n}{\theta} + \frac{1}{2\theta^2} \sum_{i=1}^n x_i^2 = 0 \iff \hat{\theta}_{MV} = \tfrac{1}{2n} \sum_{i=1}^n x_i^2 = \tfrac{\overline{X^2}}{2}$

Pregunta B¶

Decir si el estimador obtenido es insesgado o asintóticamente insesgado, y consistente. Justificar.

(Sugerencia: Hallar la distribución de la v.a. $X_1^2$).

$Y = X^2$

$F_Y(y) = P(Y \leq y) = P(X^2 \leq y) = P(|X| \leq \sqrt{y}) = P(X \leq \sqrt{y}) - P(X \leq -\sqrt{y}) = F_X(\sqrt{y}) - F_X(-\sqrt{y})$

Observación: $I_{[0, \infty)}(x) \implies F_X(-\sqrt{y}) = 0$

$F_Y(y) = F_X(\sqrt{y})$

$ f_Y(y) = f_X(\sqrt{y}) \tfrac{1}{2\sqrt{y}} = \tfrac{\sqrt{y}}{\theta} e^{-\tfrac{\sqrt{y}^2}{2\theta}} \tfrac{1}{2\sqrt{y}} I_{[0, \infty)}(\sqrt{y}) = \tfrac{1}{2\theta} e^{-\tfrac{y}{2\theta}} I_{[0, \infty)}(y) $

$Y = X^2 \sim \mathcal{E}(\tfrac{1}{2\theta})$

$E(X^2) = 2\theta$

Ahora veamos cuál es la esperanza del estimador:

$ E(\hat{\theta}_{MV}) = E(\tfrac{1}{2n} \sum_{i=1}^n x_i^2) = \tfrac{1}{2n} \sum_{i=1}^n E(x_i^2) = \tfrac{1}{2n} \sum_{i=1}^n E(X^2) = \tfrac{1}{2n} \sum_{i=1}^n 2\theta = \tfrac{1}{2n} 2n \theta = \theta $

$\implies \hat{\theta}_{MV}$ es insesgado.

Veamos la consistencia.

Por la LGN: $\hat{\theta}_{MV} = \tfrac{\overline{X^2}}{2} \xrightarrow{n \rightarrow \infty} \tfrac{E(X^2)}{2} = \tfrac{2\theta}{2} = \theta$

$ P(|\hat{\theta}_{MV} - \theta| > \epsilon) \xrightarrow{n \rightarrow \infty} P(|\theta - \theta| > \epsilon) = P(0 > \epsilon) = 0 \; \forall \epsilon > 0 $

$\implies \hat{\theta}_{MV}$ es consistente.

Ejercicio 10¶

Sea $X_1, \dots, X_n$ una muestra aleatoria de una distribución con densidad:

$f(x; \theta) = e^{-(x - \theta)} I_{[\theta, \infty)}(x)$

Pregunta A¶

Probar que $m_n = min_{1 \leq i \leq n} X_i$ es el estimador de máxima verosimilitud de $\theta$.

Planteamos la función de máxima verosimilitud:

\begin{align*} L(\theta) &= f(x_1, \dots, x_n) = \prod_{i=1}^n f(x_i) \\ &= \prod_{i=1}^n e^{-(x_i - \theta)} I_{\{x_i \geq \theta\}} \\ &= \prod_{i=1}^n e^{-(x_i - \theta)} \prod_{i=1}^n I_{\{x_i \geq \theta\}} \\ &= e^{\sum_{i=1}^n -(x_i - \theta)} \prod_{i=1}^n I_{\{x_i \geq \theta\}} \\ &= e^{\sum_{i=1}^n (-x_i + \theta)} \prod_{i=1}^n I_{\{x_i \geq \theta\}} \\ &= e^{\sum_{i=1}^n -x_i} e^{\sum_{i=1}^n \theta} \prod_{i=1}^n I_{\{x_i \geq \theta\}} \\ &= e^{\sum_{i=1}^n -x_i} e^{n \theta} \prod_{i=1}^n I_{\{x_i \geq \theta\}} \\ \end{align*}

Ahora queremos ver qué valores de $\theta$ maximizan $L(\theta)$. Analizamos cada término:

$e^{\sum_{i=1}^n -x_i}$ Es una constante, así que podemos ignorar este término.

$e^{n\theta} \xrightarrow{\theta \rightarrow \infty} \infty$ Esto nos dice que queremos el $\theta$ más grande posible.

Pero también necesitamos que la productoria de la indicadora de 1 para todos los $X_i$. Veamos cuándo pasa eso:

\begin{align*} \prod_{i=1}^n I_{\{x_i \geq \theta\}} = 1 \iff \theta \leq X_i \; \forall i, 1 \leq i \leq n \implies \theta \leq min_{1 \leq i \leq n} X_i \end{align*}

Por lo tanto el $\theta$ más grande que podemos elegir es el mínimo de todos los $X_i$ y ese es el estimador de máxima verosimilitud:

\begin{align*} \hat{\theta} = min_{1 \leq i \leq n} X_i \end{align*}

Pregunta B¶

Calcular el estimador de $\theta$ basado en el primer momento.

$\bar{X} = E(X) = \int_\theta^\infty e^{-(x - \theta)} = \theta + 1 \implies \hat{\theta}_M = \bar{X} - 1$

Pregunta C¶

Decir si los estimadores obtenidos son insesgados o asintóticamente insesgados, y consistentes. Justificar.

Estimador de máxima verosimilitud

Nota: Este desarrollo es análogo al del ejercicio 8c.

Para ver la consistencia, veamos primero el sesgo del estimador y luego buscamos su varianza.

Sea $U = min_{1 \leq i \leq n} X_i$

\begin{align*} F_U(u) = P(U \leq u) = 1 - P(U \geq u) = 1 - P(min_{1 \leq i \leq n} X_i \geq u) \end{align*}

Observación: $min_{1 \leq i \leq n} X_i \geq u \implies X_i \geq u \; \forall i$

Es decir, si el $X_i$ mínimo es mayor que $u$, entonces todos los $X_i$ son mayores que $u$.

\begin{align*} 1 - P(min_{1 \leq i \leq n} \geq u) &= 1 - P(\cap_{i=1}^n X_i \geq u) \\ &= 1 - \prod_{i=1}^n P(X_i \geq u) \\ &= 1 - \prod_{i=1}^n (1 - P(X_i \leq u)) \\ &= 1 - \prod_{i=1}^n (1 - F_{X_i}(u)) \\ &= 1 - \prod_{i=1}^n (1 - F_X(u)) \\ &= 1 - (1 - F_X(u))^n \end{align*}

Para el desarrollo anterior usamos que todas las $X_i$ son i.i.d. Recapitulando:

\begin{align*} F_U(u) = 1 - (1 - F_X(u))^n \end{align*}

No sabemos cómo es $F_X$, calculemos eso antes de seguir:

\begin{align*} F_X(t) = \int_\theta^t f(x) dx = \int_\theta^t e^{-(x - \theta)} dx = 1 - e^{\theta - t} \end{align*}

Ahora sí podemos seguir. Derivamos ambos lados de la igualdad para obtener $f_U$:

\begin{align*} \tfrac{\partial}{\partial u} F_U(u) = f_U(u) = n (1 - F_X(u))^{n-1} f_X(u) = n (e^{\theta - u})^{n-1} e^{-(u - \theta)} = ne^{n(\theta - u)} \end{align*}

Finalmente podemos calcular la esperanza de $\hat{\theta}$:

\begin{align*} E(\hat{\theta}) = E(U) = \int_\theta^\infty u f_U(u) du = \int_\theta^\infty u ne^{n(\theta - u)} du = \theta + \frac{1}{n} \end{align*}

Veamos que $\hat{\theta}$ es asintóticamente insesgado pues:

\begin{align*} E(\hat{\theta}) = \theta + \frac{1}{n} \xrightarrow{n \rightarrow \infty} \theta \end{align*}

Calculemos $E(\hat{\theta}^2)$ para poder luego calcular la varianza:

\begin{align*} E(\hat{\theta}^2) = E(U^2) = \int_\theta^\infty u^2 f_U(u) du = \int_\theta^\infty u^2 ne^{n(\theta - u)} du = \frac{\theta^2 n^2 + 2 \theta n + 2}{n^2} \end{align*}

Ahora sí, calculemos la varianza de $\hat{\theta}$ y veamos si es consistente:

\begin{align*} V(\hat{\theta}) = E(\hat{\theta}^2) - E(\hat{\theta})^2 &= \frac{\theta^2 n^2 + 2 \theta n + 2}{n^2} - \Big( \theta + \frac{1}{n} \Big)^2 \\ &= \theta^2 + \frac{2 \theta}{n} + \frac{2}{n^2} - \theta^2 - \frac{2 \theta}{n} - \frac{1}{n^2} \\ &= \frac{1}{n^2} \xrightarrow{n \rightarrow \infty} 0 \end{align*}

Por lo tanto, como se cumplen estas 2 condiciones:

\begin{align*} \lim_{n \rightarrow \infty} E(\hat{\theta}) = \theta \land \lim_{n \rightarrow \infty} V(\hat{\theta}) = 0 \implies \hat{\theta} \; \text{es consistente} \end{align*}

Estimador de momentos

$E(\hat{\theta}_M) = E(\bar{X} - 1) = E(\bar{X}) - 1 = E(\tfrac{1}{n} \sum_{i=1}^n X_i) - 1 = \Big( \tfrac{1}{n} \sum_{i=1}^n E(X_i) \Big) - 1 = \Big( \tfrac{1}{n} \sum_{i=1}^n E(X) \Big) - 1 = \tfrac{1}{n} n E(X) - 1 = E(X) - 1 = \theta + 1 - 1 = \theta $

$\implies \hat{\theta}_M$ es insesgado pues su esperanza coincide con el parámetro que estima.

Veamos la consistencia.

Por la LGN: $\bar{X} \xrightarrow{n \rightarrow \infty} E(X) = \theta + 1$

$ P(|\hat{\theta}_M - \theta| > \epsilon) = P(|\bar{X} - 1 - \theta| > \epsilon) \xrightarrow{n \rightarrow \infty} P(|\theta + 1 - 1 - \theta| > \epsilon) = P(0 > \epsilon) = 0 \; \forall \epsilon > 0 $

$\implies \hat{\theta}_M$ es consistente.

Ejercicio 11¶

Sea $X_1, \dots, X_n$ una muestra aleatoria de una distribución con media $\mu$ y varianza $\sigma^2$.

Pregunta A¶

Probar que $\bar{X}^2$ no es un estimador insesgado de $\mu^2$. ¿Es asintóticamente insesgado? ¿Es consistente?

El truco acá es depejar $E(\bar{X}^2)$ usando la fórmula de la varianza: $V(\bar{X}) = E(\bar{X}^2) - E(\bar{X})^2$ y los recursos ya usados extensamente para despejar la esperanza y varianza de $\bar{X}$ en función de $X$ (suponiendo que todas las $X_i$ son i.i.d.).

$ E(\bar{X}^2) = V(\bar{X}) + E(\bar{X})^2 = \tfrac{V(X)}{n} + E(X)^2 = \tfrac{\sigma^2}{n} + \mu^2 \neq \mu^2 $

Es asintóticamente insesgado pues $E(\bar{X}^2) = \tfrac{\sigma^2}{n} + \mu^2 \xrightarrow{n \rightarrow \infty} \mu^2$

Por la LGN: $\bar{X}^2 \xrightarrow{n \rightarrow \infty} E(X)^2$

$ P(|\bar{X}^2 - \mu^2| > \epsilon) \xrightarrow{n \rightarrow \infty} P(|E(X)^2 - \mu^2| > \epsilon) = P(|\mu^2 - \mu^2| > \epsilon) = P(0 > \epsilon) = 0 \; \forall \epsilon > 0 $

$\implies \bar{X}^2$ es consistente.

Pregunta B¶

¿Para qué valores de $k$ es $\hat{\mu}^2 = (\bar{X}^2 - ks^2)$ un estimador insesgado de $\mu^2$?

$E(\hat{\mu}^2) = E(\bar{X}^2 - ks^2) = E(\bar{X}^2) - kE(s^2) = \tfrac{\sigma^2}{n} + \mu^2 - kE(s^2)$

Observación: como $s^2$ es un estimador insesgado de $\sigma^2 \implies E(s^2) = \sigma^2$

$E(\hat{\mu}^2) = \tfrac{\sigma^2}{n} + \mu^2 - k \sigma^2 = \mu^2 \iff k = \tfrac{1}{n}$

Ejercicio 12¶

La cantidad de días de internación de los pacientes que llegan a la guardia de un hospital es una variable aleatoria $Y$ con distribución binomial negativa con media $\mu$ y parámetro de dispersión $r$.

Ejercicio 13¶

Se define el error cuadrático medio de un estimador $\hat{\theta}$ como:

$ECM(\hat{\theta}) = E[(\hat{\theta} - \theta)^2]$

Pregunta A¶

Verificar que $ECM(\hat{\theta}) = V(\hat{\theta}) + \text{sesgo}(\hat{\theta})^2$ donde $\text{sesgo}(\hat{\theta}) = E(\hat{\theta}) - \theta$

$ \begin{align*} ECM(\hat{\theta}) &= V(\hat{\theta}) + \text{sesgo}(\hat{\theta})^2 \\ &= E(\hat{\theta}^2) - E(\hat{\theta})^2 + (E(\hat{\theta}) - \theta)^2 \\ &= E(\hat{\theta}^2) - E(\hat{\theta})^2 + E(\hat{\theta})^2 - 2 \theta E(\hat{\theta}) + \theta^2 \\ &= E(\hat{\theta}^2 - 2 \theta \hat{\theta} + \theta^2) \\ &= E((\hat{\theta} - \theta)^2) \end{align*} $

Pregunta B¶

¿Cuánto vale $ECM(\hat{\theta})$ si $\hat{\theta}$ es un estimador insesgado de $\theta$?

Vamos a utilizar la propiedad de que la esperanza de un estimador insesgado es el valor real del parámetro estimado (es decir $E(\hat{\theta}) = \theta$ si $\hat{\theta}$ es insesgado).

$ \begin{align*} ECM(\hat{\theta}) &= V(\hat{\theta}) + \text{sesgo}(\hat{\theta})^2 \\ &= V(\hat{\theta}) + (E(\hat{\theta}) - \theta)^2 \\ &= V(\hat{\theta}) + (\theta - \theta)^2 \\ &= V(\hat{\theta}) \end{align*} $

Pregunta C¶

Consideremos un estimador de la varianza de la forma $\hat{\sigma}^2 = ks^2$, siendo $s^2$ la varianza muestral. Hallar el valor de $k$ que minimiza $ECM(\hat{\sigma}^2)$.

Sugerencia: Usar que $E(s^4) = \tfrac{n+1}{n-1}\sigma^4$

Y recordemos que: $E(s^2) = \sigma^2$

$ \begin{align*} ECM(\hat{\sigma}^2) &= ECM(ks^2) \\ &= V(ks^2) + (E(ks^2) - \sigma^2)^2 \\ &= E[(ks^2)^2] - E(ks^2)^2 + (kE(s^2) - \sigma^2)^2 \\ &= k^2E(s^4) - k^2E(s^2)^2 + k^2E(s^2)^2 - 2\sigma^2kE(s^2) + \sigma^4 \\ &= k^2E(s^4) - 2\sigma^2kE(s^2) + \sigma^4 \\ &= \tfrac{n+1}{n-1}\sigma^4k^2 - 2\sigma^4k + \sigma^4 \\ \end{align*} $

Tenemos un polinomio de grado 2 con coeficiente principal positivo, por lo tanto su gráfico es una parábola "feliz", y el $k$ mínimo corresponde al vértice de la parábola.

Opción 1: buscamos el vértice de la parábola usando la fórmula

$ k_{\text{min}} = \frac{- (- 2\sigma^4)}{2 \tfrac{n+1}{n-1}\sigma^4} = \frac{2\sigma^4}{2\sigma^4\tfrac{n+1}{n-1}} = \tfrac{n-1}{n+1} $

Opción 2: buscamos dónde se hace cero la derivada

$ \tfrac{\partial}{\partial k} ECM(\hat{\sigma}^2) = \tfrac{n+1}{n-1}\sigma^4 2k - 2\sigma^4 = 0 \iff k_{\text{min}} = \tfrac{n-1}{n+1} $

Ejercicio 14¶

En el Ejercicio 8, calcular el ECM de los estimadores calculados en (a) y (b) y compararlos. En función de esta comparación, ¿cuál de los dos estimadores usaría?

Estimador de máxima verosimilitud

$\hat{\theta}_{MV} = max_{1 \leq i \leq n} X_i$

$E(\hat{\theta}_{MV}) = \tfrac{n}{n+1} \theta$

$V(\hat{\theta}_{MV}) = \frac{n}{(n+2)(n+1)^2} \theta^2$

Nota: Ver el cálculo de esta varianza en el apunte de Bianco y Martínez (2004), página 176.

$ \begin{align*} ECM(\hat{\theta}_{MV}) &= V(\hat{\theta}_{MV}) + (E(\hat{\theta}_{MV}) - \theta)^2 \\ &= \frac{n}{(n+2)(n+1)^2} \theta^2 + (\tfrac{n}{n+1} \theta - \theta)^2 \\ &= \frac{2}{(n+2)(n+1)} \theta^2 \end{align*} $ ver desarrollo

Estimador de momentos

$\hat{\theta}_M = 2\bar{X}$

$E(\hat{\theta}_M) = \theta$

$ V(\hat{\theta}_M) = V(2\bar{X}) = 4V(\bar{X}) = \tfrac{4}{n} V(X) = \tfrac{4}{n} \tfrac{\theta^2}{12} = \tfrac{\theta^2}{3n} $

$ \begin{align*} ECM(\hat{\theta}_M) &= V(\hat{\theta}_M) + (E(\hat{\theta}_M) - \theta)^2 \\ &= \tfrac{\theta^2}{3n} + (\theta - \theta)^2 \\ &= \tfrac{\theta^2}{3n} \end{align*} $

Conclusión

El ECM de $\hat{\theta}_{MV}$ tiene un $n^2$ en el denominador, mientras que el ECM de $\hat{\theta}_M$ tiene solo un $n$ en el denominador. Por lo tanto usaría $\hat{\theta}_{MV}$ ya que el error va a ser menor a medida que $n \rightarrow \infty$, pues una función cuadrática crece más rápido que una lineal.

Ejercicio 15¶

Sea $X_1, \dots, X_n$ una muestra aleatoria con distribución de Bernoulli de parámetro $p$ y consideremos el nuevo parámetro $\theta = p(1-p)$.

Pregunta A¶

Proponer un estimador de $\theta$ basado en el estimador de MV de $p$.

\begin{align*} f_X(k) = p^k (1-p)^{1-k} \; k \in \{0, 1\} \end{align*}\begin{align*} L(p) = f_X(x_i, \dots, x_n) = \prod_{i=1}^n f_X(x_i) = \prod_{i=1}^n p^{x_i} (1-p)^{1-x_i} = p^{\sum_{i=1}^n x_i} (1-p)^{\sum_{i=1}^n 1 - x_i} \end{align*}\begin{align*} ln(L(p)) = \big( \sum_{i=1}^n x_i \big) ln(p) + \big( \sum_{i=1}^n 1 - x_i \big) ln(1-p) \end{align*}\begin{align*} \tfrac{\partial}{\partial p} ln(L(p)) &= \tfrac{1}{p} \big( \sum_{i=1}^n x_i \big) - \tfrac{1}{1-p} \big( \sum_{i=1}^n 1 - x_i \big) = 0 \\ &\iff \tfrac{1}{p} \big( \sum_{i=1}^n x_i \big) = \tfrac{1}{1-p} \big( \sum_{i=1}^n 1 - x_i \big) \\ &\iff \tfrac{1}{p} \big( \sum_{i=1}^n x_i \big) = \tfrac{1}{1-p} \big( n - \sum_{i=1}^n x_i \big) \\ &\iff \tfrac{1-p}{p} = \frac{n - \sum_{i=1}^n x_i}{\sum_{i=1}^n x_i} \\ &\iff \tfrac{1}{p} - 1 = \frac{n}{\sum_{i=1}^n x_i} - 1 \\ &\iff \tfrac{1}{p} = \frac{n}{\sum_{i=1}^n x_i} \\ &\iff p = \frac{\sum_{i=1}^n x_i}{n} \\ &\iff p = \bar{X} \end{align*}\begin{align*} \hat{p}_{MV} = \bar{X} \implies \hat{\theta} = \hat{p}(1 - \hat{p}) = \bar{X}(1 - \bar{X}) \end{align*}

Pregunta B¶

Mostrar que el estimador de $\theta$ propuesto en a) es sesgado pero asintóticamente insesgado.

Primero hacemos algunos cálculos auxiliares, recordando que todas las $X_i$ son Bernoulli.

$ E(\bar{X}) = E(\tfrac{\sum_{i=1}^n X_i}{n}) = \tfrac{\sum_{i=1}^n E(X_i)}{n} = \tfrac{\sum_{i=1}^n p}{n} = \tfrac{np}{n} = p $

$ V(\bar{X}) = V(\tfrac{\sum_{i=1}^n X_i}{n}) = \tfrac{\sum_{i=1}^n V(X_i)}{n^2} = \tfrac{\sum_{i=1}^n p(1-p)}{n^2} = \tfrac{np(1-p)}{n^2} = \tfrac{p(1-p)}{n} $

Ahora sí, veamos lo que nos piden sobre el estimador de $\theta$:

$ \begin{align*} E(\hat{\theta}) &= E(\bar{X}(1 - \bar{X})) \\ &= E(\bar{X} - \bar{X}^2) \\ &= E(\bar{X}) - E(\bar{X}^2) \\ &= E(\bar{X}) - V(\bar{X}) - E(\bar{X})^2 \\ &= p - \tfrac{p(1-p)}{n} - p^2 \\ &= p - p^2 - \tfrac{p(1-p)}{n} \\ &= p(1-p) - \tfrac{p(1-p)}{n} \\ &= \theta - \tfrac{\theta}{n} \end{align*} $

Podemos ver entonces que $\hat{\theta}$ es sesgado pues su esperanza no es igual al parámetro que estima.

No obstante, es asintóticamente insesgado pues: $ E(\hat{\theta}) = \theta - \tfrac{\theta}{n} \xrightarrow{n \rightarrow \infty} \theta $

Pregunta C¶

Proponer un estimador insesgado de $\theta$. Sugerencia: multiplique por una constante adecuada al estimador propuesto en a.

$\hat{\theta} = k\bar{X}(1 - \bar{X})$

$ \begin{align*} E(\hat{\theta}) &= E(k\bar{X}(1 - \bar{X})) \\ &= kE(\bar{X}(1 - \bar{X})) \\ &= k(\theta - \tfrac{\theta}{n}) \\ &= k\theta(1 - \tfrac{1}{n}) \\ &= k\theta\tfrac{n - 1}{n} \end{align*} $

$\hat{\theta}$ es insesgado $\iff E(\hat{\theta}) = \theta$

Busco $k$ tal que $ E(\hat{\theta}) = k\theta\tfrac{n - 1}{n} = \theta \iff k\tfrac{n - 1}{n} = 1 \iff k = \tfrac{n}{n - 1} $

Pregunta D¶

¿Cuál de los dos estimadores tiene menor varianza?

Sea $\hat{\theta}_{ins} = \tfrac{n}{n-1}\hat{\theta}$ el estimador insesgado.

$V(\hat{\theta}_{ins}) = V(\tfrac{n}{n-1}\hat{\theta}) = (\tfrac{n}{n-1})^2 V(\hat{\theta})$

Observemos que $n > 0 \implies \tfrac{n}{n-1} > 1 \implies (\tfrac{n}{n-1})^2 > 1 \implies V(\hat{\theta}_{ins}) > V(\hat{\theta})$