Задачи: максимальное правдоподобие

Статистический анализ данных

Author

Дмитрий В. Наумов

← Вернуться к курсу

Задачи

Задача 1. Вероятность и правдоподобие

Одно наблюдение \(x\) получено из экспоненциального распределения \[ f(x\mid\lambda)=\lambda e^{-\lambda x}, \qquad x\ge0. \]

  1. Нарисуйте \(f(x\mid\lambda)\) как функцию \(x\) при нескольких фиксированных \(\lambda\).
  2. После наблюдения \(x=x_{\mathrm{obs}}\) запишите \(L(\lambda;x_{\mathrm{obs}})\).
  3. Вычислите \(\int_0^\infty L(\lambda;x_{\mathrm{obs}})\,d\lambda\). Почему этот интеграл не является условием нормировки вероятности параметра?
  4. Найдите \(\widehat\lambda_{\mathrm{ММП}}\).
  5. Объясните словами различие между плотностью вероятности и функцией правдоподобия.

Задача 2. Биномиальная оценка

В \(N\) независимых испытаниях наблюдалось \(k\) успехов.

  1. Запишите биномиальное правдоподобие \(L(p)\).
  2. Найдите \(\widehat p_{\mathrm{ММП}}\).
  3. Вычислите \(\mathbb E[\widehat p]\) и \(\operatorname{Var}(\widehat p)\).
  4. Покажите, что оценка несмещённая и состоятельная.
  5. Исследуйте форму \(L(p)\) для случаев \(k=0\), \(k=N/2\) и \(k=N\).

Задача 3. Пуассоновский счёт с известным фоном

Пусть \[ N\sim\operatorname{Pois}(s+b), \] где \(s\ge0\) — неизвестный сигнал, а фон \(b\) известен точно.

  1. Запишите \(L(s)\) и \(\ell(s)\).
  2. Найдите неограниченную оценку максимального правдоподобия сигнала.
  3. Найдите оценку максимального правдоподобия при физическом ограничении \(s\ge0\).
  4. Объясните, что происходит при \(n<b\).

Задача 4. Гауссово среднее

Пусть \[ X_i\sim\mathrm N(\mu,\sigma^2), \] где \(\sigma\) известна.

  1. Запишите функцию правдоподобия независимой выборки.
  2. Покажите, что \(\widehat\mu_{\mathrm{ММП}}=\langle X\rangle\).
  3. Найдите \(\operatorname{Var}(\widehat\mu_{\mathrm{ММП}})\).

Задача 5. Взвешенное среднее

Имеются независимые измерения \[ X_i\sim\mathrm N(\mu,\sigma_i^2), \] где \(\sigma_i\) известны и различаются.

  1. Запишите совместный логарифм функции правдоподобия.
  2. Найдите оценку максимального правдоподобия параметра \(\mu\).
  3. Покажите, что результат является взвешенным средним с весами \(w_i=1/\sigma_i^2\).
  4. Найдите дисперсию оценки.
  5. Объясните, почему измерения с меньшей ошибкой получают больший вес.