1  Зачем физику статистика

Аннотация

В этой главе объясняется, зачем физику нужен статистический анализ. На примерах из реальных научных статей мы познакомимся с первыми статистическими понятиями и проследим путь от теоретического расчёта и экспериментальных данных к физическому выводу.

Введём основные обозначения, обсудим частотную и байесовскую интерпретации вероятности — два принципиально разных взгляда на статистический вывод. Поговорим также о том, почему некоторые решения об анализе нужно принимать ещё до того, как исследователь увидел результат. Наконец, выполним первую подгонку по псевдоданным.

1.1 О чём этот курс?

В этом курсе мы разберём основные понятия, методы и язык, на котором физики обсуждают результаты эксперимента. Прочитайте несколько обычных фраз из научных статей:

• «Обнаружен сигнал со значимостью \(5\sigma\).»
• «Наблюдается значимый избыток событий.»
• «Область параметров исключена на уровне 95% C.L.»
• «Установлен верхний предел на сечение.»
• «Фит сошёлся.»
• «Доминирует систематическая неопределённость.»
• «Корреляции между бинами существенны.»
• «Мешающие параметры профилированы.»
• «Использована полная ковариационная матрица.»

Всё ли здесь понятно? Если нет, этот курс может оказаться полезным.

1.2 Четыре шага в научном исследовании

Зачем вообще физику статистика? Рассмотрим типичный путь экспериментального исследования.

1. Теория и физическая модель. Теория описывает физический процесс и позволяет вычислить наблюдаемые величины. Например, число и распределение по кинематическим переменным бозонов Хиггса, которые должны рождаться на БАК при заданных параметрах модели.

2. Эксперимент. Детектор регистрирует события и после реконструкции и отбора даёт конкретный набор данных \(\mathbf d_{\mathrm{obs}}\).

3. Статистический анализ. Данные \(\mathbf d_{\mathrm{obs}}\) сопоставляются с моделью. По ним оцениваются параметры, проверяются гипотезы и определяется статистическая неопределённость сделанного вывода.

4. Физический результат. Результат анализа формулируется как измерение параметров, наблюдение или открытие эффекта, исключение области параметров либо верхний предел. После этого он становится результатом научной статьи.

Статистический анализ связывает теоретический расчёт с физическим выводом из данных. Без него невозможно количественно ответить на главный вопрос эксперимента: насколько наблюдаемый результат согласуется с той или иной физической моделью?

Заявления ветхозаветных старцев о том, что они всё видят на глазок и статистический анализ им не нужен, в современной экспериментальной физике имеют весьма ограниченную область применимости.

1.3 Обозначения

В этой книге и онлайн-курсе будем использовать следующие обозначения.

• Скалярные величины обозначаются курсивом: \(x\), \(y\), \(\theta\).
• Векторы — полужирным шрифтом: \[ \mathbf{x}=(x_1,x_2,\dots,x_n). \]
• Матрицы — полужирными заглавными буквами: \(\mathbf V\), \(\mathbf M\).
• Случайные величины обозначаются заглавными буквами: \(X\), \(Y\); случайные векторы — \(\mathbf X\), \(\mathbf D\).
• Их конкретные наблюдаемые значения обозначаются строчными буквами: \(x\), \(y\), \(\mathbf d_{\mathrm{obs}}\).
• Вероятность события \(A\) обозначается \(P(A)\).
• Вероятность для дискретной величины или плотность вероятности для непрерывной будем обозначать \(p(x)\) или \(f(x)\).
• Параметр модели обозначается \(\theta\), а набор параметров — \(\boldsymbol{\theta}\).
• Оценка параметра, вычисленная по данным, обозначается \(\widehat{\theta}\) или \(\widehat{\boldsymbol{\theta}}\).
• Математическое ожидание: \(\mathbb E[X]\).
• Дисперсия: \(\operatorname{Var}(X)\).
• Стандартное отклонение: \[ \sigma_X=\sqrt{\operatorname{Var}(X)}. \]
• Ковариация: \(\operatorname{cov}(X,Y)\).
• Коэффициент корреляции: \(\rho(X,Y)\).

1.4 Что предсказывает теория?

Слово «предсказывает» звучит несколько странно — будто теория представляет собой дельфийского оракула. Это калька с английского predict, давно вошедшая в язык физиков. Имеется в виду просто результат вычисления.

Теория может предсказывать сечение процесса, спектр энергии частиц, вероятность распада или другую физическую величину. Но эксперимент наблюдает не непосредственно эти величины, а отклик реальной установки. Поэтому для статистического анализа нужна более полная модель, включающая физическое предсказание, фон, отклик детектора, эффективность регистрации и другие существенные детали эксперимента.

В результате мы приходим к вероятностной модели возможных данных: \[ p(\mathbf d\mid\boldsymbol{\theta}), \] где \(\mathbf d\) обозначает возможный результат эксперимента, а \(\boldsymbol{\theta}\) — параметры модели.

Эта запись отвечает на вопрос:

если параметры равны \(\boldsymbol{\theta}\), какие данные \(\mathbf d\) и с какой вероятностью может получить эксперимент?

Для дискретных данных \(p(\mathbf d\mid\boldsymbol{\theta})\) означает вероятность, для непрерывных — плотность вероятности.

1.5 Что наблюдает эксперимент?

До проведения эксперимента будущие данные неизвестны. Их будем описывать случайным вектором \(\mathbf D\) с распределением \[ p(\mathbf d\mid\boldsymbol{\theta}). \]

Коротко это будем записывать как \[ \mathbf D\sim p(\mathbf d\mid\boldsymbol{\theta}). \]

Знак \(\sim\) здесь означает «распределён согласно».

После проведения эксперимента получен один конкретный результат: \[ \mathbf d_{\mathrm{obs}}. \]

Таким образом, \(\mathbf D\) — случайный результат ещё не проведённого или мысленно повторяемого эксперимента, а \(\mathbf d_{\mathrm{obs}}\) — уже наблюдаемые данные.

Под символом \(\mathbf d\) может скрываться что угодно: число событий, набор измеренных энергий, гистограмма, времена регистрации или весь набор данных эксперимента.

1.6 Суть статистического анализа в двух словах

Итак, у нас есть наблюдаемые данные \[ \mathbf d_{\mathrm{obs}} \] и статистическая модель \[ p(\mathbf d\mid\boldsymbol{\theta}). \]

Дальше возникают два основных типа вопросов.

1. Оценивание параметров. Какие значения параметров \(\boldsymbol{\theta}\) лучше всего согласуются с полученными данными? Результатом является оценка \[ \widehat{\boldsymbol{\theta}} \] и её неопределённость.

2. Проверка гипотез. Насколько данные согласуются с определённой гипотезой? Например, совместимы ли они с отсутствием сигнала, можно ли исключить некоторую область параметров или достаточно ли велико наблюдаемое отклонение, чтобы говорить об открытии?

Обе задачи начинаются с одной и той же вероятностной модели \[ p(\mathbf d\mid\boldsymbol{\theta}), \] но отвечают на разные вопросы.

В этом курсе мы научимся формулировать эти вопросы точно и строить статистические процедуры, которые позволяют на них отвечать.

1.7 Два взгляда на вероятность

Если вам случится оказаться на большой конференции по статистике, вы быстро обнаружите представителей двух школ: частотной и байесовской.

Они используют одну и ту же теорему вероятностей, но по-разному понимают, к каким объектам вообще допустимо применять слово «вероятность».

1.7.1 Частотная вероятность

В частотном подходе вероятность связывают с относительной частотой события \(A\) в серии одинаковых опытов:

\[ P(A)=\lim_{n\to\infty} \frac{\text{число наблюдений события }A}{n}. \tag{1.1}\]

Это операциональная интерпретация вероятности. Параметры модели считаются фиксированными, хотя их значения могут быть неизвестны. При повторении эксперимента меняются данные.

Например, если истинная масса частицы равна \(m\), то при многократном повторении измерения будут меняться результаты эксперимента и построенные по ним оценки \(\widehat m\), но сама масса \(m\) в этой постановке не флуктуирует.

1.7.2 Байесовская вероятность

Теорема Байеса для параметров модели записывается в виде

\[ p(\boldsymbol{\theta}\mid\mathbf d) = \frac{ p(\mathbf d\mid\boldsymbol{\theta})\, \pi(\boldsymbol{\theta}) }{ p(\mathbf d) }. \tag{1.2}\]

Здесь

• \(p(\mathbf d\mid\boldsymbol{\theta})\) — вероятность или плотность данных при фиксированных параметрах модели;
• \(\pi(\boldsymbol{\theta})\) — априорное распределение параметров;
• \(p(\boldsymbol{\theta}\mid\mathbf d)\) — апостериорное распределение после получения данных;
• \(p(\mathbf d)\) — нормировочный множитель,

\[ p(\mathbf d) = \int p(\mathbf d\mid\boldsymbol{\theta}) \pi(\boldsymbol{\theta})\,d\boldsymbol{\theta}. \]

Биография

Томас Байес

1701–1761

Томас Байес — английский пресвитер и математик. Его работу об обратной вероятности опубликовали после смерти автора. Формула, получившая имя Байеса, связывает условные вероятности и лежит в основе байесовского вывода.

Источник: MacTutor; фото MacTutor

Рисунок 1.1: Визуальное доказательство теоремы Байеса

На рисунке 1.1 обе части равенства

\[ P(A\mid B)P(B)=P(B\mid A)P(A) \]

соответствуют одной и той же области пересечения \(A\cap B\).

Сама формула возражений не вызывает. Вопрос начинается с множителя \(\pi(\boldsymbol{\theta})\). Откуда известно распределение параметра до измерения?

У \(p(\mathbf d\mid\boldsymbol{\theta})\) вполне прозрачный смысл. Фиксируем \(\boldsymbol{\theta}\), многократно повторяем эксперимент и смотрим, как распределены данные \(\mathbf d\). Именно такой опыт определяет вероятность в частотной постановке.

Попробуем тем же способом понять \(\pi(\boldsymbol{\theta})\). Возьмём массу электрона. Чтобы буквально прочитать \(\pi(m_e)\) как частоту, пришлось бы рассмотреть бесконечное число Вселенных с разными массами электрона и узнать, как эти массы распределены. В нашем распоряжении одна Вселенная и одна масса электрона. Никакой серии опытов, в которой природа каждый раз заново выбирает \(m_e\), у нас нет.

В байесовской интерпретации \(\pi(\boldsymbol{\theta})\) описывает степень знания о параметре, а не частоту его появления в разных Вселенных. Здесь и начинается спор. Слово «вероятность» применяется к двум разным объектам. В \(p(\mathbf d\mid\boldsymbol{\theta})\) случайность относится к результату повторяемого эксперимента. В \(\pi(\boldsymbol{\theta})\) она относится к нашему незнанию фиксированного параметра.

Последовательное байесовское обновление частично снимает эту проблему. Пусть сначала получены данные \(\mathbf d_1\). Построенное по ним распределение \(p(\boldsymbol{\theta}\mid\mathbf d_1)\) можно использовать как априорное при анализе следующего независимого измерения \(\mathbf d_2\):

\[ p(\boldsymbol{\theta}\mid\mathbf d_1,\mathbf d_2) \propto p(\mathbf d_2\mid\boldsymbol{\theta}) p(\boldsymbol{\theta}\mid\mathbf d_1). \tag{1.3}\]

Апостериорное распределение первого эксперимента становится априорным для второго. Такое последовательное обновление однозначно определено, но вопрос о самом первом \(\pi_0(\boldsymbol{\theta})\) остаётся.

Рассмотрим простейшее измерение \(x\mid\theta\sim\mathcal N(\theta,s^2)\). Если на существенном для функции правдоподобия интервале взять плоское априорное распределение, то после одного измерения

\[ p(\theta\mid x) \propto \exp\!\left[-\frac{(x-\theta)^2}{2s^2}\right]. \tag{1.4}\]

После нормировки апостериорное распределение имеет ту же форму, что и функция правдоподобия. Плоское распределение можно получить как предел гауссова априорного распределения с очень большой шириной.

Теперь зададим другое начальное распределение \(\pi_0(\theta)\). Для \(n\) независимых гауссовских измерений с одинаковой ошибкой \(s\) получим

\[ p(\theta\mid x_1,\ldots,x_n) \propto \pi_0(\theta) \exp\!\left[-\frac{n(\theta-\bar x)^2}{2s^2}\right]. \tag{1.5}\]

В уравнении 1.5 след первого выбора виден явно: \(\pi_0(\theta)\) остаётся множителем при любом числе измерений. Когда функция правдоподобия становится узкой, а априорное распределение почти не меняется в этой узкой области, его влияние ослабевает. Если данных мало, априорное распределение быстро меняется в интересующей области или вообще запрещает часть значений параметра, след начального выбора сохраняется.

Тем не менее, байесовский подход имеет своих сторонников и он используется в большом числе физических анализов. Одним из важных практических преимуществ этого метода является более высокая скорость получения результата в задачах с большим числом параметров. После построения выборки из совместного апостериорного распределения маргинальные распределения отдельных параметров получаются простым суммированием по этой выборке. Для построения частотного профиля приходится при каждом значении интересующего параметра заново искать максимум по мешающим параметрам. Если параметров много и требуется несколько проекций, разница во времени может быть существенной.

Универсального выигрыша здесь нет. Получение многомерной апостериорной выборки само может оказаться сложнее серии минимизаций. Вычислительное удобство зависит от модели и алгоритма и ничего не говорит о физическом смысле \(\pi(\boldsymbol{\theta})\).

Мне ближе частотная постановка. Основная часть книги и курса строится именно в таком подходе. Байесовский подход мы тоже разберём: читатель должен видеть исходное предположение и понимать, где оно вошло в результат.

1.7.3 Два разных интервала

Различие между частотным и байесовским подходами особенно хорошо видно на примере того, что в разговорной речи часто называют «интервалом ошибок».

Предположим, после измерения мы получили некоторый интервал для неизвестного параметра \(\theta\). Что означает число 95%?

Частотный подход отвечает на вопрос:

Если много раз повторить эксперимент и каждый раз заново построить интервал, какая доля этих интервалов накроет истинное значение \(\theta\)?

95%-й доверительный интервал — это процедура \(C(\mathbf D)\), для которой

\[ P_\theta\!\left(\theta\in C(\mathbf D)\right)=0.95. \tag{1.6}\]

Случайным здесь является интервал: от эксперимента к эксперименту меняются данные \(\mathbf D\) и построенные по ним границы. Параметр \(\theta\) считается фиксированным.

После того как эксперимент уже выполнен и конкретный интервал получен, частотный подход не приписывает вероятности утверждению «\(\theta\) находится внутри этого интервала».

Байесовский подход отвечает на другой вопрос:

После получения этих данных как распределена наша неопределённость относительно самого параметра \(\theta\)?

95%-й байесовский интервал \(C_B(\mathbf d)\) содержит 95% апостериорной вероятности:

\[ \int_{C_B(\mathbf d)} p(\theta\mid\mathbf d)\,d\theta =0.95. \tag{1.7}\]

Здесь уже можно сказать: при заданной модели и выбранном априорном распределении апостериорная вероятность того, что \(\theta\) лежит в этом интервале, равна 95%.

Таким образом, одинаковое число 95% отвечает на два разных вопроса:

• в частотном подходе — как ведёт себя процедура при повторении эксперимента?
• в байесовском — что мы знаем о параметре после получения данных?

Границы этих интервалов иногда оказываются близкими или даже совпадают. Их статистический смысл от этого не становится одинаковым.

1.8 Как выглядят открытия и исключения

Теперь посмотрим на несколько реальных результатов из экспериментальной физики.

На первый взгляд это просто графики. Но именно из таких графиков физики делают выводы об открытии новых частиц, измерении параметров и исключении целых областей теории.

Попробуйте понять, что именно на них изображено и почему из этих данных следуют такие сильные утверждения.

1.8.1 Открытие бозона Хиггса

На рисунках 1.2 и 1.3 показаны результаты поисков бозона Хиггса в экспериментах ATLAS и CMS.

Перед чтением подписей попробуйте ответить:

• Что отложено по вертикальной оси?
• Что такое \(p\)-значение?
• Почему минимум кривой указывает на возможный сигнал?
• Что означают линии \(1\sigma\), \(2\sigma\), …, \(5\sigma\)?
• Почему достижение \(5\sigma\) позволило говорить об открытии?
• Почему различают локальную и глобальную значимость?

Рисунок 1.2: Локальное \(p\)-значение фоновой гипотезы в результате ATLAS

Рисунок 1.3: Локальное \(p\)-значение фоновой гипотезы в результате CMS

По горизонтали перебирается предполагаемая масса бозона Хиггса. Чёрные кривые получены из экспериментальных данных. В районе \(125\,\text{ГэВ}\) оба эксперимента наблюдают особенно сильное отклонение от фоновой гипотезы.

ATLAS сообщил локальную значимость \(5.9\sigma\), CMS — \(5.0\sigma\) [1, 2].

Почему именно эти числа означают открытие, мы разберём дальше.

Нобелевскую премию по физике 2013 года получили Франсуа Энглер и Питер Хиггс за теоретическое открытие механизма происхождения массы элементарных частиц. В формулировке Нобелевского комитета его экспериментальное подтверждение связано с открытием новой частицы экспериментами ATLAS и CMS [3].

1.8.2 Измерение параметра в Daya Bay

Другой тип результата показан на рисунке 1.4. Эксперимент Daya Bay измерял угол смешивания нейтрино \(\theta_{13}\).

Попробуйте ответить:

• Что означает красная кривая?
• Что такое best fit?
• Почему минимум \(\chi^2\) определяет измеренное значение параметра?
• Что именно означает значимость \(5.2\sigma\)?
• Означает ли хороший best fit, что теория доказана?

Рисунок 1.4: Измерение ненулевого угла смешивания \(\theta_{13}\) в Daya Bay

Красная кривая показывает осцилляционное предсказание при значении \(\sin^2 2\theta_{13}\), найденном из совместной подгонки данных. Во вставке показана зависимость \(\chi^2\) от этого параметра.

Daya Bay отверг гипотезу \(\theta_{13}=0\) со значимостью \(5.2\sigma\) [4].

Почему минимум \(\chi^2\) даёт оценку параметра и откуда возникает статистическая значимость, пока оставим без ответа.

1.8.3 Исключение области параметров

Наконец, посмотрим на результат поиска стерильных нейтрино в Daya Bay.

Рисунок 1.5: Исключение области параметров стерильных нейтрино в Daya Bay

Здесь уже нет одного измеренного числа. Результат представлен областью на плоскости параметров \[ \sin^2 2\theta_{14}, \qquad |\Delta m^2_{41}|. \]

Попробуйте понять:

• Что означает фраза «область исключена на уровне 95%»?
• Почему результатом является контур, а не одна точка?
• Что означает sensitivity?
• Почему на одном графике показаны две разные статистические процедуры — Feldman–Cousins и \(CL_s\)?
• Почему их границы не обязаны совпадать?

Полный набор Daya Bay содержит \(5.55\cdot10^6\) кандидатов за 3158 дней [5].

К концу курса все элементы этих четырёх рисунков должны стать понятными.

1.9 Первый фит: ширина гауссианы

Рассмотрим выборку из гауссова распределения с известным центром \(x_0=0\) и неизвестной шириной \(\sigma\):

\[ f(x;\sigma)= \frac{1}{\sqrt{2\pi}\sigma} \exp\!\left(-\frac{x^2}{2\sigma^2}\right). \tag{1.8}\]

Сгенерируем \(N\) псевдособытий при некотором фиксированном значении \(\sigma_{\mathrm{true}}\) и разобьём ось \(x\) на интервалы. Для интервала \(i\) модель предсказывает среднее число событий

\[ \mu_i(\sigma) = N\int_{\text{бин }i} f(x;\sigma)\,dx, \]

а в сгенерированной выборке наблюдается \(n_i\) событий.

Теперь нужно определить, какое значение \(\sigma\) лучше всего описывает полученную гистограмму. Для этого используем пуассоновский девианс — статистику отношения правдоподобий:

\[ \chi^2(\sigma) = 2\sum_i \left[ \mu_i(\sigma)-n_i +n_i\ln\frac{n_i}{\mu_i(\sigma)} \right]. \tag{1.9}\]

Для пустого интервала, \(n_i=0\), последнее слагаемое по пределу равно нулю.

Чем меньше \(\chi^2(\sigma)\), тем лучше модель при данном \(\sigma\) согласуется с выборкой. Значение в точке минимума определяет оценку

\[ \widehat{\sigma} = \arg\min_\sigma \chi^2(\sigma). \]

1.9.1 Интерактив: найдите ширину распределения

Сначала попробуйте подобрать \(\sigma\) на глаз по гистограмме. Затем включите результат фита и сравните свою оценку с \(\widehat{\sigma}\) и истинным значением \(\sigma_{\mathrm{true}}\).

viewof trialSigma = Inputs.range([0.35, 1.8], {
  value: 0.75,
  step: 0.01,
  label: "Пробное значение σ"
})

viewof nEvents = Inputs.range([250, 4000], {
  value: 1200,
  step: 250,
  label: "Число событий"
})

viewof regenerate = Inputs.button("Новые псевдоданные")

viewof showBest = Inputs.toggle({label: "Показать лучший фит", value: false})
viewof showTruth = Inputs.toggle({label: "Показать истинное σ", value: false})

function randnBook() {
  const u = 1 - Math.random();
  const v = Math.random();
  return Math.sqrt(-2 * Math.log(u)) * Math.cos(2 * Math.PI * v);
}

centers = Array.from({length: 25}, (_, i) => -3 + 0.25 * i)
dxBook = 0.25
xMinBook = centers[0] - dxBook / 2
xMaxBook = centers[centers.length - 1] + dxBook / 2
edgesBook = Array.from({length: centers.length + 1}, (_, i) => xMinBook + i * dxBook)
curveXBook = Array.from({length: 401}, (_, i) => xMinBook + (xMaxBook - xMinBook) * i / 400)

sigmaTrueBook = {
  regenerate;
  return 0.55 + 0.75 * Math.random();
}

function generateGaussianCountsBook(sigma, total) {
  const counts = Array(centers.length).fill(0);
  let accepted = 0;
  while (accepted < total) {
    const value = sigma * randnBook();
    if (value < xMinBook || value >= xMaxBook) continue;
    const index = Math.floor((value - xMinBook) / dxBook);
    counts[Math.max(0, Math.min(centers.length - 1, index))] += 1;
    accepted += 1;
  }
  return counts;
}

countsBook = {
  regenerate;
  nEvents;
  return generateGaussianCountsBook(sigmaTrueBook, nEvents);
}

totalBook = countsBook.reduce((sum, value) => sum + value, 0)

function erfBook(x) {
  const sign = x < 0 ? -1 : 1;
  const z = Math.abs(x);
  const t = 1 / (1 + 0.3275911 * z);
  const poly = (((((1.061405429 * t - 1.453152027) * t + 1.421413741) * t - 0.284496736) * t + 0.254829592) * t);
  return sign * (1 - poly * Math.exp(-z * z));
}

normalCdfBook = (x, sigma) => 0.5 * (1 + erfBook(x / (Math.SQRT2 * sigma)))

function expectedCountsBook(sigma) {
  const raw = centers.map((_, i) =>
    normalCdfBook(edgesBook[i + 1], sigma) - normalCdfBook(edgesBook[i], sigma)
  );
  const norm = raw.reduce((sum, value) => sum + value, 0);
  return raw.map((value) => totalBook * value / norm);
}

function devianceBook(sigma) {
  const expected = expectedCountsBook(sigma);
  return countsBook.reduce((sum, observed, i) => {
    const mean = Math.max(expected[i], 1e-12);
    return observed > 0
      ? sum + 2 * (mean - observed + observed * Math.log(observed / mean))
      : sum + 2 * mean;
  }, 0);
}

sigmaGridBook = Array.from({length: 291}, (_, i) => 0.35 + 0.005 * i)
profileBook = sigmaGridBook.map((sigma) => ({sigma, chi2: devianceBook(sigma)}))
bestBook = profileBook.reduce((a, b) => a.chi2 < b.chi2 ? a : b)
trialChi2Book = devianceBook(trialSigma)

function smoothCurveBook(sigma) {
  const truncation = normalCdfBook(xMaxBook, sigma) - normalCdfBook(xMinBook, sigma);
  const scale = totalBook * dxBook / (Math.sqrt(2 * Math.PI) * sigma * truncation);
  return curveXBook.map((x) => ({
    x,
    y: scale * Math.exp(-(x * x) / (2 * sigma * sigma))
  }));
}

fitPlotBook = Plot.plot({
  width: 760,
  height: 410,
  marginLeft: 58,
  x: {label: "x", grid: true},
  y: {label: "число событий", grid: true},
  marks: [
    Plot.rectY(centers.map((x, i) => ({x, y: countsBook[i]})), {
      x1: (d) => d.x - dxBook / 2,
      x2: (d) => d.x + dxBook / 2,
      y: "y",
      fill: "#dce8ee",
      stroke: "#486979"
    }),
    Plot.line(smoothCurveBook(trialSigma), {
      x: "x", y: "y", stroke: "#c7472f", strokeWidth: 3
    }),
    ...(showBest ? [Plot.line(smoothCurveBook(bestBook.sigma), {
      x: "x", y: "y", stroke: "#147d64", strokeWidth: 3, strokeDasharray: "7,5"
    })] : []),
    ...(showTruth ? [Plot.line(smoothCurveBook(sigmaTrueBook), {
      x: "x", y: "y", stroke: "#2a5ea8", strokeWidth: 2.5
    })] : [])
  ]
})

profilePlotBook = Plot.plot({
  width: 560,
  height: 410,
  marginLeft: 58,
  x: {label: "σ", grid: true},
  y: {label: "χ²(σ)", grid: true},
  marks: [
    Plot.line(profileBook, {x: "sigma", y: "chi2", stroke: "#486979", strokeWidth: 2.5}),
    Plot.dot([{sigma: trialSigma, chi2: trialChi2Book}], {
      x: "sigma", y: "chi2", fill: "#c7472f", r: 6
    }),
    ...(showBest ? [Plot.dot([bestBook], {
      x: "sigma", y: "chi2", fill: "#147d64", r: 6
    })] : [])
  ]
})

html`
<div class="book-fit-output">
  <div class="book-fit-plots">
    <figure>${fitPlotBook}<figcaption>Псевдоданные и пробная модель</figcaption></figure>
    <figure>${profilePlotBook}<figcaption>Профиль функции χ²</figcaption></figure>
  </div>
  <div class="book-fit-readout">
    <span><b>Ваш выбор</b> σ = ${trialSigma.toFixed(2)}, χ² = ${trialChi2Book.toFixed(1)}</span>
    ${showBest ? `<span class="fit-best"><b>Результат фита</b> σ̂ = ${bestBook.sigma.toFixed(3)}</span>` : ``}
    ${showTruth ? `<span class="fit-truth"><b>Истина</b> σ = ${sigmaTrueBook.toFixed(3)}</span>` : ``}
  </div>
</div>
`

Отсканируйте QR-код, чтобы открыть интерактив и самостоятельно подобрать ширину распределения.

Подбор ширины распределения

При новой генерации псевдоданных меняется положение минимума и, следовательно, оценка \(\widehat{\sigma}\). Истинный параметр \(\sigma_{\mathrm{true}}\) при этом остаётся тем же. С ростом числа событий кривая \(\chi^2(\sigma)\) обычно становится уже: данные точнее определяют ширину распределения.

1.10 Итоги главы

• Статистическая модель \(p(\mathbf d\mid\boldsymbol{\theta})\) задаёт распределение возможных данных при фиксированных параметрах модели. Наблюдаемые данные \(\mathbf d_{\mathrm{obs}}\) — одна конкретная реализация этого распределения.

• В статистическом анализе возникают две разные задачи: оценивание параметров и проверка гипотез.

• Параметр модели и его оценка — разные объекты. При повторении эксперимента параметр остаётся фиксированным, а вычисленная по данным оценка \(\widehat{\boldsymbol{\theta}}\) меняется.

• Частотный и байесовский подходы по-разному интерпретируют вероятность и статус неизвестных параметров. В байесовском выводе результат зависит также от выбранного априорного распределения.

• Измерение параметра, открытие сигнала и исключение области параметров — разные статистические выводы. Их смысл определяется не только данными, но также моделью и выбранной статистической процедурой.

• Уже в простейшей подгонке видно, как из случайных данных возникает оценка параметра: истинная ширина \(\sigma_{\mathrm{true}}\) фиксирована, а найденное значение \(\widehat{\sigma}\) флуктуирует между выборками.

1.11 Задачи

Задача 1. Модель и данные

В некотором эксперименте теория предсказывает число событий

\[ \mathbf{t}=(10,\ 20,\ 10). \]

Эксперимент дал результат

\[ \mathbf{d}=(12,\ 18,\ 11). \]

Ответьте:

1. Что здесь является предсказанием модели?
2. Что является данными эксперимента?
3. В каких бинах данные больше предсказания?
4. В каких бинах данные меньше предсказания?
5. Можно ли по этим числам сразу сказать, что теория неверна?

Задача 2. Случайная величина и измеренное значение

До измерения результат эксперимента неизвестен. Обозначим его случайной величиной \(X\).

После измерения получено значение

\[ x=7.3. \]

Ответьте:

1. Что обозначает \(X\)?
2. Что обозначает \(x\)?
3. Почему до измерения мы говорим о \(X\), а после измерения — о \(x\)?
4. Приведите свой пример случайной величины и её измеренного значения.

Задача 3. Частота как оценка вероятности

Детектор зарегистрировал 100 событий. Из них 23 события прошли отбор.

Ответьте:

1. Какую долю событий отобрал алгоритм?
2. Как по этим данным оценить вероятность того, что следующее событие пройдёт отбор?
3. Будет ли эта оценка точно равна истинной вероятности?
4. Что изменится, если вместо 100 событий было бы зарегистрировано 10 000 событий?

Задача 4. Условная вероятность без формул

В выборке есть 1000 событий:

• 100 сигнальных событий;
• 900 фоновых событий.

Алгоритм помечает событие как «интересное». Он пометил:

• 80 сигнальных событий;
• 90 фоновых событий.

Ответьте:

1. Сколько всего событий помечено как «интересные»?
2. Какая доля сигнальных событий была помечена?
3. Какая доля помеченных событий действительно является сигналом?
4. Почему это разные числа?
5. Что важнее для утверждения «мы нашли сигнал»: доля помеченных сигнальных событий или доля сигнала среди помеченных событий?

Задача 5. Точка наилучшего согласия

Одна и та же форма кривой сравнивается с данными при разных значениях параметра \(\sigma\).

Получены такие значения меры расхождения:

\(\sigma\)	расхождение
0.6	18.4
0.8	7.2
1.0	2.1
1.2	3.5
1.4	9.8

Ответьте:

1. При каком значении \(\sigma\) модель лучше всего согласуется с данными?
2. Почему это значение называется точкой наилучшего согласия?
3. Значит ли это, что истинное значение \(\sigma\) точно равно найденному?
4. Что нужно знать дополнительно, чтобы говорить об ошибке найденного значения?

Задача 6. Флуктуация или систематический сдвиг?

Ожидаемое число событий в каждом запуске равно примерно 100.

В первом случае получены результаты:

\[ 98,\quad 103,\quad 99,\quad 101,\quad 100. \]

Во втором случае получены результаты:

\[ 113,\quad 111,\quad 115,\quad 112,\quad 114. \]

Ответьте:

1. В каком случае данные выглядят как случайные флуктуации около 100?
2. В каком случае виден возможный систематический сдвиг?
3. Почему отдельное значение 103 не выглядит подозрительным?
4. Почему последовательность значений около 113 уже выглядит подозрительной?
5. Что следовало бы проверить в эксперименте во втором случае?

Задача 7. Следы априорного распределения

Пусть измерения \(x_i\) независимы и имеют гауссовское распределение

\[ x_i\mid\theta\sim\mathcal N(\theta,1). \]

Рассмотрите выборку со средним \(\bar x=1\) сначала при \(n=1\), а затем при \(n=100\). Сравните три априорных распределения:

\[ \pi_1(\theta)\propto 1, \qquad \pi_2(\theta)\propto \exp\!\left(-\frac{\theta^2}{2}\right), \qquad \pi_3(\theta)\propto \frac{1}{1+\theta^2}. \]

Для каждого случая постройте функцию

\[ p(\theta\mid x_1,\ldots,x_n) \propto \pi_k(\theta) \exp\!\left[-\frac{n(\theta-\bar x)^2}{2}\right]. \]

Ответьте:

1. Насколько различаются три результата после одного измерения?
2. Что меняется после ста измерений?
3. При каком условии влияние априорного распределения становится малым?
4. Что произойдёт, если оно равно нулю в окрестности \(\bar x\)?
5. Устраняет ли накопление данных вопрос о выборе самого первого априорного распределения?

Литература

[1] ATLAS Collaboration. Observation of a New Particle in the Search for the Standard Model Higgs Boson with the ATLAS Detector at the LHC. Physics Letters B, 716, 1–29. 2012. doi:10.1016/j.physletb.2012.08.020.

[2] CMS Collaboration. Observation of a New Boson at a Mass of 125 GeV with the CMS Experiment at the LHC. Physics Letters B, 716, 30–61. 2012. doi:10.1016/j.physletb.2012.08.021.

[3] The Royal Swedish Academy of Sciences. The Nobel Prize in Physics 2013: Press Release. 2013. https://www.nobelprize.org/prizes/physics/2013/press-release/.

[4] Daya Bay Collaboration. Observation of Electron-Antineutrino Disappearance at Daya Bay. Physical Review Letters, 108, 171803. 2012. doi:10.1103/PhysRevLett.108.171803.

[5] Daya Bay Collaboration. Search for a Light Sterile Neutrino with the Full Configuration of the Daya Bay Experiment. Physical Review Letters, 133, 051801. 2024. doi:10.1103/PhysRevLett.133.051801. https://arxiv.org/abs/2404.01687.