Лекция 2. Вероятность II. Еще не готова!

Статистический анализ данных

Дмитрий В. Наумов (ОИЯИ)

Базовые объекты

  • Пространство элементарных исходов: \(\Omega\)
  • Событие: \(A\subseteq\Omega\)
  • Невозможное событие: \(\varnothing\)
  • Достоверное событие: \(\Omega\)
  • Вероятность: функция \(P(\cdot)\), сопоставляющая событиям числа от 0 до 1

Аксиомы вероятности

Определение (Колмогоров)

Для любых событий \(A, B, A_i\):

  1. \(P(A)\ge 0\)
  2. \(P(\Omega)=1\)
  3. Если события \(A_i\) попарно несовместны, то \[ P\!\left(\bigcup_i A_i\right)=\sum_i P(A_i). \]

Полезные следствия

  • Дополнение: \[ P(\bar A)=1-P(A) \]
  • Для любых \(A,B\): \[ P(A\cup B)=P(A)+P(B)-P(A\cap B) \]
  • Если \(A\cap B=\varnothing\), то \[ P(A\cup B)=P(A)+P(B). \]

Условная вероятность

Определение

Если \(P(B)>0\), то \[ P(A\mid B)=\frac{P(A\cap B)}{P(B)}. \]

  • Интерпретация: после того как стало известно, что произошло \(B\), пространство исходов «сужается» до \(B\).
  • Эквивалентная запись: \[ P(A\cap B)=P(A\mid B)P(B)=P(B\mid A)P(A). \]

Независимость событий

Определение

События \(A\) и \(B\) независимы, если \[ P(A\cap B)=P(A)P(B). \]

  • Эквивалентно (при \(P(B)>0\)): \(P(A\mid B)=P(A)\).
  • Независимость не означает несовместность.
  • В эксперименте независимость почти всегда является модельным предположением и должна проверяться.

Закон полной вероятности

Пусть \(\{B_i\}\) образуют разбиение пространства исходов: \[ \bigcup_i B_i=\Omega,\qquad B_i\cap B_j=\varnothing\;(i\neq j),\qquad P(B_i)>0. \] Тогда \[ P(A)=\sum_i P(A\mid B_i)P(B_i). \]

Теорема Байеса

\[ P(B_j\mid A)=\frac{P(A\mid B_j)P(B_j)}{\sum_i P(A\mid B_i)P(B_i)}. \]

  • \(P(B_j)\): априорная вероятность (prior)
  • \(P(A\mid B_j)\): правдоподобие наблюдения (likelihood)
  • \(P(B_j\mid A)\): апостериорная вероятность (posterior)
  • Нормировка в знаменателе: evidence

Пример Байеса: редкий сигнал и отбор

Пусть:

  • доля сигнала до отбора: \(P(S)=0.01\);
  • эффективность отбора сигнала: \(P(+\mid S)=0.95\);
  • вероятность ложного срабатывания на фоне: \(P(+\mid B)=0.05\).

Тогда \[ P(S\mid +)=\frac{0.95\cdot 0.01}{0.95\cdot 0.01 + 0.05\cdot 0.99}\approx 0.161. \]

Даже при «хорошем» отборе апостериорная чистота может быть умеренной, если prior сигнала мал.

Частотный и байесовский взгляды

Frequentist

  • Вероятность как предел относительной частоты
  • Параметр фиксирован, данные случайны
  • Интервалы строятся через покрытие в повторяемых экспериментах

Bayesian

  • Вероятность как степень уверенности
  • Данные фиксированы, параметр описывается распределением
  • Априорная информация обновляется через формулу Байеса

Правило 68-95-99.7 и Z-оценка

Для стандартной нормали \(Z\sim\mathrm{N}(0,1)\):

  • \(P(|Z|<1)\approx0.6827\)
  • \(P(|Z|<2)\approx0.9545\)
  • \(P(|Z|<3)\approx0.9973\)

В HEP результат часто выражают через эквивалент «в сигмах»: \[ z=\frac{x-\mu_0}{\sigma}. \]

Многомерная нормаль и корреляции

\[ f(\mathbf{x})= \frac{1}{(2\pi)^{n/2}|\mathbf{V}|^{1/2}} \exp\!\left[-\frac{1}{2} (\mathbf{x}-\boldsymbol\mu)^{T}\mathbf{V}^{-1}(\mathbf{x}-\boldsymbol\mu)\right]. \]

  • \(\mathbf{V}\): ковариационная матрица
  • Вне диагонали: корреляции между наблюдаемыми
  • Игнорирование корреляций ведёт к смещённым оценкам и неверным неопределённостям
  • Ковариация: \[ \mathrm{cov}(X,Y)=\mathbb{E}[(X-\mu_X)(Y-\mu_Y)]. \]
  • Корреляция: \[ \rho_{XY}=\frac{\mathrm{cov}(X,Y)}{\sigma_X\sigma_Y}. \]

Функция распределения и квантили

\[ F(x)=P(X\le x). \]

  • Для непрерывного случая: \(F'(x)=f(x)\).
  • Квантиль уровня \(\alpha\): число \(x_\alpha\), такое что \[ F(x_\alpha)=\alpha. \]
  • В HEP часто используют центральные интервалы и соответствующие им «\(n\sigma\)»-эквиваленты.