Задачи: статистические тесты

Статистический анализ данных

Author

Дмитрий В. Наумов

← Вернуться к курсу

Задачи

Задача 1. Матрица решений

Для теста \(H_0\) против \(H_1\):

  1. Постройте таблицу возможных решений и истинных состояний.
  2. Определите ошибки I и II рода.
  3. Запишите размер и мощность теста.
  4. Объясните, почему неотклонение \(H_0\) не доказывает её истинность.
  5. Приведите физический пример, в котором ошибки I и II рода имеют разную цену.

Задача 2. Односторонний гауссов тест

Пусть \[ X_1,\ldots,X_N\sim\mathrm N(\mu,\sigma^2), \] где \(\sigma\) известна. Проверяется \[ H_0:\mu=\mu_0 \qquad\text{против}\qquad H_1:\mu>\mu_0. \]

  1. Постройте статистику \(Z\) со стандартным нормальным распределением при \(H_0\).
  2. Найдите критическую границу теста уровня \(\alpha\).
  3. Выведите функцию мощности \(\pi(\mu)\).
  4. Найдите необходимое \(N\) для заданных \(\alpha\), мощности и минимального размера эффекта.
  5. Проверьте результат псевдоэкспериментами.

Задача 3. Двусторонний тест

Для той же гауссовой модели проверяется \[ H_0:\mu=\mu_0 \qquad\text{против}\qquad H_1:\mu\ne\mu_0. \]

  1. Постройте критическую область уровня \(\alpha\).
  2. Объясните появление квантиля \(z_{1-\alpha/2}\).
  3. Выведите функцию мощности для истинного среднего \(\mu_1\).
  4. Сравните мощность одностороннего и двустороннего тестов при \(\mu_1>\mu_0\).
  5. Объясните, почему направление теста нельзя выбирать после просмотра данных.

Задача 4. \(p\)-value

Наблюдалось значение \(z_{\rm obs}=2.1\).

  1. Вычислите правосторонний \(p\)-value.
  2. Вычислите двусторонний \(p\)-value.
  3. Укажите, на каких уровнях \(\alpha\) гипотеза будет отвергнута.
  4. Объясните, почему \(p\)-value не является вероятностью \(H_0\).
  5. Сгенерируйте \(Z\sim\mathrm N(0,1)\) и проверьте, что корректный непрерывный \(p\)-value равномерен при \(H_0\).

Задача 5. Лемма Неймана — Пирсона

Проверяются простые гипотезы \[ H_0:X\sim\mathrm N(0,1), \qquad H_1:X\sim\mathrm N(\delta,1), \qquad \delta>0. \]

  1. Запишите отношение правдоподобия.
  2. Покажите, что оно монотонно по \(X\).
  3. Найдите наиболее мощный тест уровня \(\alpha\).
  4. Выведите его мощность.
  5. Постройте ROC-кривую для нескольких \(\delta\).

Задача 6. Точный биномиальный тест

Проверяется \[ H_0:p=0.5 \qquad\text{против}\qquad H_1:p>0.5 \] по числу успехов \(K\) в \(N=12\) испытаниях.

  1. Найдите критическую область уровня не более \(5\%\).
  2. Вычислите фактический размер теста.
  3. Найдите мощность при \(p=0.7\).
  4. Вычислите точный \(p\)-value при \(k_{\rm obs}=10\).
  5. Объясните, почему точный тест консервативен.

Задача 7. Пуассоновский поиск сигнала

Наблюдается \[ N\sim\operatorname{Pois}(s+b), \] где фон \(b\) известен.

Проверяется \[ H_0:s=0 \qquad\text{против}\qquad H_1:s>0. \]

  1. Обоснуйте выбор статистики теста \(T=N\).
  2. Постройте критическую область уровня не более \(\alpha\).
  3. Вычислите мощность как функцию \(s\).
  4. Исследуйте влияние фона \(b\).
  5. Сравните точный тест с гауссовым приближением.

Задача 8. Низкая мощность

Разработан тест уровня \(\alpha=0.05\), имеющий мощность \(0.20\) против физически интересной альтернативы.

  1. Найдите вероятность ошибки II рода.
  2. Объясните смысл неотклонения \(H_0\) в таком эксперименте.
  3. Оцените, во сколько раз следует увеличить выборку, если размер стандартизованного эффекта растёт как \(\sqrt N\), а требуется существенно большая мощность.
  4. Покажите псевдоэкспериментами, что большинство экспериментов не заметит реальный эффект.
  5. Сформулируйте корректный отрицательный вывод.

Задача 9. Множественные проверки

Выполняется \(m\) независимых тестов уровня \(\alpha\).

  1. Выведите вероятность хотя бы одного ложного отклонения.
  2. Вычислите её для \(m=10,100,1000\) и \(\alpha=0.05\).
  3. Найдите порог отдельного теста по поправке Бонферрони для общего уровня \(0.05\).
  4. Сравните фактическую вероятность ошибки с заданной.
  5. Обсудите потерю мощности.

Задача 10. Проверка калибровки теста

Выберите любой тест из предыдущих задач.

  1. Сгенерируйте не менее \(10\,000\) псевдоэкспериментов при \(H_0\).
  2. Проверьте фактическую частоту отклонения \(H_0\).
  3. Сгенерируйте эксперименты при нескольких альтернативах.
  4. Постройте функцию мощности.
  5. Исследуйте влияние ошибочно заданной дисперсии или фона на размер теста.