Задачи: свойства оценок и профильное правдоподобие

Статистический анализ данных

Author

Дмитрий В. Наумов

← Вернуться к курсу

Задачи

Задача 1. Информация Фишера для гауссова среднего

Пусть \[ X_i\sim\mathrm N(\mu,\sigma^2), \] где измерения независимы, а \(\sigma\) известна.

  1. Вычислите информацию Фишера для одного наблюдения и всей выборки.
  2. Получите границу Крамера–Рао для дисперсии несмещённой оценки \(\mu\).
  3. Сравните границу с дисперсией выборочного среднего.

Задача 2. Смещённая оценка дисперсии

Для независимой гауссовой выборки размера \(N\geq2\) с неизвестными \(\mu\) и \(\sigma^2\):

  1. Найдите оценки максимального правдоподобия обоих параметров.
  2. Покажите, что \[ \mathbb E[\widehat{\sigma^2}_{\mathrm{ММП}}] = \frac{N-1}{N}\sigma^2. \]
  3. Постройте несмещённую оценку дисперсии.
  4. Сравните средние квадраты ошибок двух оценок аналитически или методом Монте-Карло.
  5. Почему оценка максимального правдоподобия не обязана быть несмещённой при конечном \(N\)?

Задача 3. Профилирование мешающего параметра

Рассмотрите квадратичный логарифм функции правдоподобия \[ -2\ell(\theta,\eta) = \frac{\theta^2-2\rho\theta\eta+\eta^2}{1-\rho^2} +\mathrm{const}, \qquad |\rho|<1. \]

  1. Найдите совместный максимум.
  2. Для фиксированного \(\theta\) найдите \[ \widehat{\widehat\eta}(\theta). \]
  3. Постройте профильную функцию \(q_{\mathrm{p}}(\theta)\).
  4. Сравните её с сечением \(q(\theta,\eta=0)\).
  5. Объясните, почему фиксация \(\eta\) в его оценке занижает неопределённость при \(\rho\ne0\). Как изменится постановка задачи, если \(\eta\) известен точно?

Задача 4. Расширенная функция правдоподобия для сигнала и фона

Наблюдаются события с признаком \(x\). Ожидаемые числа сигнала и фона равны \(s\) и \(b\), а нормированные плотности — \(f_s(x)\) и \(f_b(x)\).

  1. Запишите расширенную функцию правдоподобия для выборки \(x_1,\ldots,x_N\).
  2. Покажите, как в ней используются число событий и форма распределения.
  3. Запишите функцию правдоподобия для бинированных данных.
  4. Какая информация теряется при грубом биннировании?
  5. Независимое вспомогательное измерение фона дало \(a\) и описывается моделью \(a\sim\mathcal N(b,\sigma_a^2)\) с известной \(\sigma_a\). Добавьте его в полное правдоподобие и укажите, по какому параметру надо профилировать при оценивании \(s\).

Задача 5. Проверка подгонки на псевдоэкспериментах

Выберите одну из моделей предыдущих задач.

  1. Сгенерируйте не менее \(5000\) псевдоэкспериментов при известном истинном параметре.
  2. В каждом псевдоэксперименте найдите оценку максимального правдоподобия.
  3. Оцените смещение, дисперсию и средний квадрат ошибки.
  4. Повторите для нескольких размеров выборки и сравните результаты.
  5. Если выбранная модель имеет физическую границу параметра, проверьте, как часто оценка попадает на неё.
  6. Сравните фактический разброс оценки максимального правдоподобия с ошибкой, предсказанной кривизной логарифма функции правдоподобия.