Задачи: свойства оценок и профильное правдоподобие

Статистический анализ данных

Author

Дмитрий В. Наумов

← Вернуться к курсу

Задачи

Задача 1. Информация Фишера для гауссова среднего

Пусть \[ X_i\sim\mathrm N(\mu,\sigma^2), \] где измерения независимы, а \(\sigma\) известна.

  1. Вычислите информацию Фишера для одного наблюдения и всей выборки.
  2. Получите границу Крамера–Рао для дисперсии несмещённой оценки \(\mu\).
  3. Сравните границу с дисперсией выборочного среднего.

Задача 2. Смещённая оценка дисперсии

Для независимой гауссовой выборки размера \(N\geq2\) с неизвестными \(\mu\) и \(\sigma^2\):

  1. Найдите оценки максимального правдоподобия обоих параметров.
  2. Покажите, что \[ \mathbb E[\widehat{\sigma^2}_{\mathrm{ММП}}] = \frac{N-1}{N}\sigma^2. \]
  3. Постройте несмещённую оценку дисперсии.
  4. Сравните средние квадраты ошибок двух оценок аналитически или методом Монте-Карло.
  5. Обсудите, почему оценка максимального правдоподобия не обязана быть несмещённой при конечном \(N\).

Задача 3. Профилирование мешающего параметра

Рассмотрите квадратичный логарифм функции правдоподобия \[ -2\ell(\theta,\eta) = \frac{\theta^2-2\rho\theta\eta+\eta^2}{1-\rho^2} +\mathrm{const}, \qquad |\rho|<1. \]

  1. Найдите совместный максимум.
  2. Для фиксированного \(\theta\) найдите \[ \widehat{\widehat\eta}(\theta). \]
  3. Постройте профильную функцию \(q_{\mathrm{p}}(\theta)\).
  4. Сравните её с сечением \(q(\theta,\eta=0)\).
  5. Объясните, почему фиксация \(\eta\) в его оценке занижает неопределённость при \(\rho\ne0\). Как изменится постановка задачи, если \(\eta\) известен точно?

Задача 4. Расширенная функция правдоподобия для сигнала и фона

Наблюдаются события с признаком \(x\). Ожидаемые числа сигнала и фона равны \(s\) и \(b\), а нормированные плотности — \(f_s(x)\) и \(f_b(x)\).

  1. Запишите расширенную функцию правдоподобия для выборки \(x_1,\ldots,x_N\).
  2. Покажите, как в ней используются число событий и форма распределения.
  3. Запишите функцию правдоподобия для бинированных данных.
  4. Обсудите, какая информация теряется при грубом биннировании.
  5. Независимое вспомогательное измерение фона дало \(a\) и описывается моделью \(a\sim\mathcal N(b,\sigma_a^2)\) с известной \(\sigma_a\). Добавьте его в полное правдоподобие и укажите, по какому параметру надо профилировать при оценивании \(s\).

Задача 5. Проверка подгонки на псевдоэкспериментах

Выберите одну из моделей предыдущих задач.

  1. Сгенерируйте не менее \(5000\) псевдоэкспериментов при известном истинном параметре.
  2. В каждом псевдоэксперименте найдите оценку максимального правдоподобия.
  3. Оцените смещение, дисперсию и средний квадрат ошибки.
  4. Исследуйте зависимость результатов от размера выборки.
  5. Если выбранная модель имеет физическую границу параметра, проверьте, как часто оценка попадает на неё.
  6. Сравните фактический разброс оценки максимального правдоподобия с ошибкой, предсказанной кривизной логарифма функции правдоподобия.