Задачи: качество согласия и статистическая значимость

Статистический анализ данных

Author

Дмитрий В. Наумов

← Вернуться к курсу

Задачи

Задача 1. Две статистики для пуассоновских бинов

В двадцати независимых бинах \(N_i\sim\operatorname{Pois}(\mu_i)\). Первые десять ожиданий равны \((0.158,0.295,0.513,0.833,1.263,1.785,2.355,2.899,3.330,3.568)\), остальные заданы симметрией \(\mu_{21-i}=\mu_i\). Все ожидания известны; параметры по данным не подгоняются.

  1. Запишите статистику Пирсона и выведите статистику отношения правдоподобий к насыщенной модели, где каждому бину разрешено своё среднее.
  2. Разложите логарифм при \(n_i=\mu_i+\delta_i\), \(|\delta_i|\ll\mu_i\). Сравните ведущие квадратичные члены.
  3. Найдите вклады пустого бина в обе статистики. Почему малое число событий само по себе не мешает вычислить эти вклады?
  4. Выведите среднее и дисперсию статистики Пирсона, используя \(\mathbb E[(N_i-\mu_i)^4]=\mu_i+3\mu_i^2\).
  5. Сгенерируйте 50 000 опытов. Сравните распределения обеих статистик с \(\chi^2_{20}\). Повторите при увеличении всех \(\mu_i\) в 100 раз.

Задача 2. Степени свободы до и после подгонки

Даны \(N=12\) независимых измерений \(Y_i\sim\mathcal N(\mu,\sigma^2)\) при \(\mu=10\) каналах и известной \(\sigma=2\) канала. Проведите 20 000 псевдоэкспериментов.

  1. В каждом опыте вычислите среднее \(\overline Y\), сумму квадратов относительно истинного \(\mu\) и минимальную сумму квадратов относительно \(\overline Y\); ошибки в знаменателях равны \(\sigma\).
  2. Проверьте точное разложение суммы квадратов на два слагаемых: минимум и \(N(\overline Y-\mu)^2/\sigma^2\).
  3. Сравните три распределения с \(\chi^2_{12}\), \(\chi^2_{11}\) и \(\chi^2_1\). Проверьте их средние и дисперсии.
  4. Объясните, почему остатки после подгонки не являются двенадцатью независимыми стандартными гауссовыми величинами.
  5. Найдите p-значение для \(\chi^2_{\min}=12\). Что получится, если ошибочно оставить двенадцать степеней свободы?

Задача 3. Одинаковый χ² и разная форма остатков

Построим два учебных набора калибровочных данных. Энергии \(E_i=i\) МэВ, \(i=0,\ldots,11\), ошибки амплитуды — по 5 каналов. Матрица \(X\) содержит столбцы \(1\) и \(E_i\).

Для первого набора сгенерируйте двенадцать независимых чисел \(w_i\sim\mathcal N(0,1)\) и удалите их проекцию на прямую: \(\mathbf v=\mathbf w-X(X^{\mathsf T}X)^{-1}X^{\mathsf T}\mathbf w\). Для второго положите \(v_i=(E_i-5.5)^2-\tfrac1{12}\sum_j(E_j-5.5)^2\), используя числовые значения энергий в МэВ. В каждом случае нормируйте остаток: \(\mathbf u=\sqrt{12}\,\mathbf v/\|\mathbf v\|\), и задайте амплитуды \(y_i=2+100E_i+5u_i\) в каналах.

  1. Подгоните оба набора прямой с двумя свободными параметрами.
  2. Проверьте, что в обоих случаях \(\chi^2_{\min}=12\) и p-значения совпадают.
  3. Постройте нормированные остатки по энергии. Какую особенность второго набора скрывает одно число χ²?
  4. Объясните, почему эти специально сконструированные наборы нельзя использовать как случайную выборку для проверки распределения \(\chi^2_{\min}\).

Задача 4. Когда p-значения равномерны

Сгенерируйте 20 000 независимых значений \(T\sim\chi^2_{10}\).

  1. Вычислите для каждого \(p=P(\chi^2_{10}\ge T)\), постройте гистограмму и найдите долю \(p\le0.05\).
  2. Повторите расчёт, заменив каждое \(T\) на \(T/0.8^2\), но сохранив калибровочное распределение \(\chi^2_{10}\). Какой ошибке в задании стандартных отклонений соответствует такая замена?
  3. Сгенерируйте отдельную калибровочную выборку из 20 000 значений \(\chi^2_{10}\). Для исходных \(T\) вычислите ранговые p-значения \((k+1)/(B+1)\), где \(k\) — число калибровочных значений не меньше \(T\), \(B=20000\).
  4. Повторите опыт для \(N\sim\operatorname{Pois}(2)\), используя точное \(p(n)=P(N\ge n)\). Найдите наименьшее целое \(n\), при котором \(p(n)\le0.05\), и точную вероятность отклонения верной гипотезы.
  5. Почему в опыте с Пуассоном доля отклонений не обязана быть ровно 5% даже при неограниченном числе псевдоэкспериментов?

Задача 5. Один хвост, два хвоста и открытие

  1. Вычислите \(1-\Phi(Z)\) и \(2[1-\Phi(Z)]\) для \(Z=1,\ldots,5\). Проверьте таблицы главы.
  2. Найдите оба перевода в \(Z\) для \(p=0.05\), \(2.7\cdot10^{-3}\) и \(2.87\cdot10^{-7}\).
  3. Для \(T=1200\) при \(T\sim\chi^2_{1000}\) сравните точный односторонний перевод p-значения с \((T-1000)/\sqrt{2000}\).
  4. В модели \(Y\sim\mathcal N(s,\sigma^2)\) при известной \(\sigma\), \(s\ge0\), выведите \(q_0=\max(0,Y/\sigma)^2\) для проверки \(s=0\). Найдите вероятность \(q_0\ge25\) при фоне. Сравните с \(P(\chi^2_1\ge25)\).
  5. Исследователь решил считать отклонение односторонним, но сторону выбирает по знаку результата. Если в каждой выбранной стороне он использует порог 5%, какова полная вероятность ложного отклонения верной гауссовой гипотезы?