Задачи: когда гаусс не возникает

Статистический анализ данных

Author

Дмитрий В. Наумов

← Вернуться к курсу

Задачи

Задача 1. Среднее распределения Коши

Для независимых \(X_i\sim\mathrm{Cauchy}(0,1)\) покажите, что дисперсия не существует, а \[ \langle X\rangle_n=\frac{1}{n}\sum_iX_i \] имеет то же распределение Коши. Почему это не противоречит ЦПТ?

Задача 2. Тяжёлый хвост с конечной дисперсией

Пусть \[ p(x)\sim\frac{C}{|x|^{1+\alpha}}. \]

  1. При каких \(\alpha\) существуют среднее и дисперсия?
  2. Почему при \(\alpha\) немного больше 2 сходимость к гауссу может быть медленной?
  3. Как это проверить игрушечным Monte Carlo?

Задача 3. Один доминирующий вклад

Пусть \[ S=X_0+\epsilon_1+\dots+\epsilon_n, \] где \(\epsilon_i\sim\mathrm{N}(0,\sigma^2)\), а \(X_0\) негауссов и \[ \mathrm{Var}(X_0)\gg n\sigma^2. \] Объясните форму распределения \(S\).

Задача 4. Common-mode systematic

Пусть \[ X_i=\mu+C+\epsilon_i, \] где \(C\sim\mathrm{N}(0,\sigma_C^2)\) и \(\epsilon_i\sim\mathrm{N}(0,\sigma_\epsilon^2)\). Найдите \(\mathbb{E}[\langle X\rangle]\), \(\mathrm{Var}(\langle X\rangle)\) и предел дисперсии при \(n\to\infty\).

Задача 5. Эффективное число независимых точек

Для временного ряда с автокорреляцией \(\rho(k)\) выведите \[ n_{\rm eff} = \frac{n}{ 1+2\sum_{k=1}^{n-1}\left(1-\frac{k}{n}\right)\rho(k) }. \]

Задача 6. Смесь двух гауссов

Пусть \[ X|A\sim\mathrm{N}(\mu_A,\sigma_A^2),\qquad X|B\sim\mathrm{N}(\mu_B,\sigma_B^2), \] а вероятность класса \(A\) равна \(w\). Найдите полные среднее и дисперсию. Когда смесь плохо похожа на один гаусс?

Задача 7. Скрытая топология в жидком сцинтилляторе

Моноэнергетический \(\gamma\)-квант с энергией \[ E_\gamma=1\ \mathrm{MeV} \] может передать энергию вторичным электронам двумя способами: \[ \theta=A:\quad T_1=1\ \mathrm{MeV}, \] \[ \theta=B:\quad T_1=T_2=0.5\ \mathrm{MeV}. \]

Из-за нелинейности светового выхода средние сигналы различаются: \[ Q|\theta=A\sim\mathrm{Pois}(1000), \qquad Q|\theta=B\sim\mathrm{Pois}(980). \] Считайте классы равновероятными.

  1. Найдите полное среднее \(\mathbb E[Q]\).
  2. Вычислите среднюю внутриклассовую дисперсию \[ \mathbb E_\theta[\mathrm{Var}(Q|\theta)]. \]
  3. Вычислите топологический вклад \[ \mathrm{Var}_\theta(\mathbb E[Q|\theta]). \]
  4. Найдите полную дисперсию и стандартное отклонение \(Q\).
  5. Сравните результат с пуассоновской моделью \[ Q\sim\mathrm{Pois}(\mathbb E[Q]). \] Какой вклад не описывается этой моделью?

Задача 8. Когда топологический вклад становится главным

Рассмотрите два равновероятных класса с пуассоновскими откликами: \[ Q|\theta=A\sim\mathrm{Pois}(\mu_A), \qquad Q|\theta=B\sim\mathrm{Pois}(\mu_B). \]

Обозначим \[ \langle\mu\rangle=\frac{\mu_A+\mu_B}{2}, \qquad \Delta\mu=\mu_A-\mu_B. \]

  1. Покажите, что \[ \mathrm{Var}(Q) = \langle\mu\rangle+\frac{(\Delta\mu)^2}{4}. \]
  2. Объясните физический смысл каждого слагаемого.
  3. При каком условии топологический вклад превышает пуассоновский?
  4. Выполните расчёт для пар \[ (\mu_A,\mu_B)=(1000,980) \] и \[ (\mu_A,\mu_B)=(1000,900). \]
  5. Обобщите результат на вероятности классов \[ P(A)=w,\qquad P(B)=1-w. \]

Задача 9. Нелинейный световой выход

Полная энергия \(\gamma\)-кванта распределяется между \(m\) вторичными электронами: \[ E_\gamma=\sum_{i=1}^{m}T_i. \] Средний световой выход события равен \[ Q_{\rm mean}(\theta)=\sum_{i=1}^{m}L(T_i). \]

  1. Покажите, что при строго линейном отклике \[ L(T)=aT \] величина \(Q_{\rm mean}\) не зависит от разбиения энергии.
  2. Рассмотрите нелинейную модель \[ L(T)=aT-bT^2,\qquad b>0. \] Сравните световой выход одного электрона энергии \(E\) и \(m\) электронов одинаковой энергии \(E/m\).
  3. Найдите разность между этими световыми выходами и исследуйте её зависимость от \(m\).
  4. Объясните, почему при фиксированной полной энергии скрытая топология может создавать дополнительную ширину распределения отклика.
  5. Какой экспериментальный или Monte Carlo тест позволил бы проверить, что эффект вызван именно нелинейностью \(L(T)\)?

Задача 10. Как измерить внутреннее разрешение в Monte Carlo

Для каждого truth-события \(j\) с фиксированной истинной энергией \(E\) Monte Carlo сохраняет:

  • скрытую топологию \(\theta_j\);
  • ожидаемый средний световой выход данной топологии \[ \mu_j=\mathbb E[Q|E,\theta_j]; \]
  • несколько независимо смоделированных откликов детектора \[ Q_{j1},\ldots,Q_{jR} \] при одной и той же truth-топологии.
  1. Предложите выборочную оценку топологического вклада \[ \mathrm{Var}_\theta(\mu_\theta). \]
  2. Используя повторные отклики одной топологии, предложите оценку \[ \mathbb E_\theta[\mathrm{Var}(Q|E,\theta)]. \]
  3. Проверьте численно разложение \[ \mathrm{Var}(Q|E) = \mathbb E_\theta[\mathrm{Var}(Q|E,\theta)] + \mathrm{Var}_\theta(\mu_\theta). \]
  4. Объясните, почему без известных \(\mu_j\) или повторных откликов \(Q_{jr}\) невозможно однозначно разделить два вклада, имея только по одному значению \(Q_j\) на событие.
  5. Что должно произойти с топологическим вкладом после замены реального светового выхода на линейный \[ L(T)=aT \]
  6. Если вклад не исчез, какие дополнительные механизмы следует проверить?
  7. Сравните ожидаемое поведение для:
    • одиночного электрона;
    • \(\gamma\)-кванта той же энергии;
    • позитрона с кинетической энергией и двумя аннигиляционными \(\gamma\)-квантами.

Сформулируйте наблюдение, которое было бы сильным свидетельством топологической природы внутреннего разрешения.

Задача 11. Нелинейные функции гауссовой величины

Для \(X\sim\mathrm{N}(0,1)\) исследуйте распределения \[ X^2,\qquad e^X,\qquad \frac{1}{X}. \] Какие из них имеют физическую границу? Какие имеют тяжёлый хвост?

Задача 12. Отношение гауссовых величин

Для независимых \(X,Y\sim\mathrm{N}(0,1)\) выведите плотность отношения \(R=X/Y\) и покажите, что это распределение Коши.

Задача 13. Пуассон и гаусс

Сравните \(\mathrm{Pois}(\lambda)\) с гауссовой аппроксимацией при \[ \lambda=1,\quad 5,\quad 20,\quad 100. \] Когда асимметрия становится практически незаметной?

Задача 14. Эффективность около границы

Для \(k\sim\mathrm{Binomial}(n,\epsilon)\) исследуйте гауссову аппроксимацию оценки \(\hat\epsilon=k/n\) при малых \(n\) и \(\epsilon\) около 0 или 1.

Задача 15. Порог отбора

Пусть \(X\sim\mathrm{N}(0,1)\), но наблюдаются только события \(X>1\). Запишите условную плотность и объясните сдвиг наблюдаемого среднего.

Задача 16. Экстремальные значения

Для \[ M_n=\max(X_1,\dots,X_n) \] покажите, что при независимых одинаково распределённых \(X_i\) \[ P(M_n\le x)=F(x)^n. \]

Задача 17. Мультипликативный процесс

Пусть \[ Y=Y_0\prod_i A_i. \] Объясните, когда распределение \(Y\) приближается логнормальным.

Задача 18. Случайная сумма вкладов

Пусть \[ N\sim\mathrm{Pois}(\lambda),\qquad S=\sum_{i=1}^{N}X_i. \] Найдите \(\mathbb{E}[S]\) и \(\mathrm{Var}(S)\).

Задача 19. Неизвестная дисперсия

Объясните, почему замена истинной дисперсии её выборочной оценкой приводит к распределению Стьюдента, а не к стандартному гауссу.