Задачи: оценивание параметров и максимальное правдоподобие

Статистический анализ данных

Author

Дмитрий В. Наумов

← Вернуться к курсу

Задачи

Задача 1. Вероятность и правдоподобие

Одно наблюдение \(x\) получено из экспоненциального распределения \[ f(x\mid\lambda)=\lambda e^{-\lambda x}, \qquad x\ge0. \]

  1. Нарисуйте \(f(x\mid\lambda)\) как функцию \(x\) при нескольких фиксированных \(\lambda\).
  2. После наблюдения \(x=x_{\rm obs}\) запишите \(L(\lambda;x_{\rm obs})\).
  3. Покажите, что \(L(\lambda;x_{\rm obs})\) не нормирована по \(\lambda\).
  4. Найдите \(\widehat\lambda_{\rm ML}\).
  5. Объясните словами различие между плотностью вероятности и likelihood.

Задача 2. Биномиальная оценка

В \(N\) независимых испытаниях наблюдалось \(k\) успехов.

  1. Запишите биномиальное правдоподобие \(L(p)\).
  2. Найдите \(\widehat p_{\rm ML}\).
  3. Вычислите \(\mathbb E[\widehat p]\) и \(\operatorname{Var}(\widehat p)\).
  4. Покажите, что оценка несмещённая и состоятельная.
  5. Исследуйте форму \(L(p)\) для случаев \(k=0\), \(k=N/2\) и \(k=N\).

Задача 3. Пуассоновский счёт с известным фоном

Пусть \[ N\sim\operatorname{Pois}(s+b), \] где \(s\ge0\) — неизвестный сигнал, а фон \(b\) известен точно.

  1. Запишите \(L(s)\) и \(\ell(s)\).
  2. Найдите неограниченную MLE сигнала.
  3. Найдите MLE при физическом ограничении \(s\ge0\).
  4. Объясните, что происходит при \(n<b\).
  5. Постройте \(q(s)=-2\ln[L(s)/L(\widehat s)]\) для нескольких \(n\) и \(b\).

Задача 4. Гауссово среднее

Пусть \[ X_i\sim\mathrm N(\mu,\sigma^2), \] где \(\sigma\) известна.

  1. Запишите likelihood независимой выборки.
  2. Покажите, что \(\widehat\mu_{\rm ML}=\langle X\rangle\).
  3. Найдите \(\operatorname{Var}(\widehat\mu_{\rm ML})\).
  4. Вычислите информацию Фишера для одного наблюдения и всей выборки.
  5. Покажите, что оценка достигает границы Крамера — Рао.

Задача 5. Взвешенное среднее

Имеются независимые измерения \[ X_i\sim\mathrm N(\mu,\sigma_i^2), \] где \(\sigma_i\) известны и различаются.

  1. Запишите совместный log-likelihood.
  2. Найдите MLE параметра \(\mu\).
  3. Покажите, что результат является взвешенным средним с весами \(w_i=1/\sigma_i^2\).
  4. Найдите дисперсию оценки.
  5. Объясните, почему измерения с меньшей ошибкой получают больший вес.

Задача 6. Смещённая MLE дисперсии

Для гауссовой выборки с неизвестными \(\mu\) и \(\sigma^2\):

  1. Найдите MLE обоих параметров.
  2. Покажите, что \[ \mathbb E[\widehat{\sigma^2}_{\rm ML}] = \frac{N-1}{N}\sigma^2. \]
  3. Постройте несмещённую оценку дисперсии.
  4. Сравните MSE двух оценок аналитически или методом Монте-Карло.
  5. Обсудите, почему MLE не обязана быть несмещённой при конечном \(N\).

Задача 7. Профилирование nuisance-параметра

Рассмотрите квадратичный log-likelihood \[ -2\ell(\theta,\eta) = \frac{\theta^2-2\rho\theta\eta+\eta^2}{1-\rho^2} +\mathrm{const}, \qquad |\rho|<1. \]

  1. Найдите совместный максимум.
  2. Для фиксированного \(\theta\) найдите \[ \widehat{\widehat\eta}(\theta). \]
  3. Постройте профильную функцию \(q_{\rm p}(\theta)\).
  4. Сравните её с сечением \(q(\theta,\eta=0)\).
  5. Объясните, почему фиксирование nuisance-параметра занижает неопределённость при \(\rho\ne0\).

Задача 8. Extended likelihood для сигнала и фона

Наблюдаются события с признаком \(x\). Ожидаемые числа сигнала и фона равны \(s\) и \(b\), а нормированные плотности — \(f_s(x)\) и \(f_b(x)\).

  1. Запишите extended likelihood для выборки \(x_1,\ldots,x_N\).
  2. Покажите, как в likelihood используются число событий и форма распределения.
  3. Запишите likelihood для бинированных данных.
  4. Обсудите, какая информация теряется при грубом биннировании.
  5. Добавьте внешний гауссов constraint на неопределённый фон \(b\).

Задача 9. Проверка fit на псевдоэкспериментах

Выберите одну из моделей предыдущих задач.

  1. Сгенерируйте не менее \(5000\) псевдоэкспериментов при известном истинном параметре.
  2. В каждом псевдоэксперименте найдите MLE.
  3. Оцените смещение, дисперсию и MSE.
  4. Исследуйте зависимость результатов от размера выборки.
  5. Проверьте частоту попадания fit в физическую границу.
  6. Сравните фактический разброс MLE с ошибкой, предсказанной кривизной log-likelihood.