Задачи: метод наименьших квадратов

Статистический анализ данных

Author

Дмитрий В. Наумов

← Вернуться к курсу

Задачи

Задача 1. Среднее как результат МНК

Имеются независимые измерения одной величины: \[ Y_i\sim\mathrm N(\mu,\sigma_i^2). \]

  1. Запишите функцию \(\chi^2(\mu)\).
  2. Найдите её минимум.
  3. Покажите, что fitted-значение является взвешенным средним.
  4. Найдите дисперсию fitted-среднего.
  5. Рассмотрите частный случай одинаковых \(\sigma_i\).

Задача 2. Аналитический fit прямой

Для данных \((x_i,y_i,\sigma_i)\) рассматривается модель \[ y=a+bx. \]

  1. Выведите нормальные уравнения.
  2. Получите аналитические формулы для \(\widehat a\) и \(\widehat b\).
  3. Выведите ковариационную матрицу параметров.
  4. Покажите, что центрирование \(x_i\) около взвешенного среднего устраняет ковариацию параметров.
  5. Проверьте формулы численно на искусственной выборке.

Задача 3. Ошибка fitted-кривой

Используя ковариационную матрицу параметров прямой, найдите:

  1. дисперсию fitted-среднего \(\widehat y(x)=\widehat a+\widehat bx\);
  2. точку, в которой эта дисперсия минимальна;
  3. предиктивную дисперсию нового наблюдения;
  4. различие между полосой среднего и предиктивной полосой.

Постройте обе полосы на одном графике.

Задача 4. Коррелированные измерения

Три измерения одной величины имеют ковариационную матрицу \[ V = \sigma^2 \begin{pmatrix} 1&\rho&\rho\\ \rho&1&\rho\\ \rho&\rho&1 \end{pmatrix}. \]

  1. Запишите обобщённый \(\chi^2(\mu)\).
  2. Найдите fitted-среднее и его дисперсию.
  3. Исследуйте пределы \(\rho\to0\) и \(\rho\to1\).
  4. Сравните с результатом, полученным при игнорировании корреляций.
  5. Объясните физический смысл результата.

Задача 5. Распределение минимального \(\chi^2\)

Сгенерируйте псевдоэксперименты для линейной модели с известными гауссовыми ошибками.

  1. В каждом эксперименте выполните fit \(p\) параметров.
  2. Постройте распределение \(\chi^2_{\min}\).
  3. Сравните его среднее и дисперсию с \[ \mathbb E[\chi^2]=N-p, \qquad \operatorname{Var}(\chi^2)=2(N-p). \]
  4. Повторите эксперимент с заниженными ошибками.
  5. Повторите эксперимент с неверной fitted-моделью.

Задача 6. Остатки и leverage

Для OLS-модели \(\widehat{\mathbf y}=H\mathbf y\):

  1. покажите, что \(H^2=H\);
  2. покажите, что \(\operatorname{tr}H=p\);
  3. выведите ковариацию остатков \[ \operatorname{Cov}(\mathbf r)=\sigma^2(I-H); \]
  4. найдите leverage точек при fit прямой;
  5. добавьте одну далёкую по \(x\) точку и исследуйте её влияние.

Задача 7. Нелинейный fit

Данные описываются экспонентой \[ y(x)=A e^{-\lambda x}. \]

  1. Выполните нелинейный fit параметров \(A\) и \(\lambda\).
  2. Постройте двумерный скан \(\Delta\chi^2(A,\lambda)\).
  3. Сравните контур с эллипсом локального квадратичного приближения.
  4. Исследуйте зависимость результата от начальной точки минимизатора.
  5. Обсудите корреляцию параметров.

Задача 8. Ошибки по обеим координатам

Сгенерируйте точки около прямой с ошибками по \(x\) и \(y\).

  1. Выполните обычный вертикальный OLS-fit.
  2. Выполните orthogonal distance regression.
  3. Сравните fitted-наклоны.
  4. Исследуйте смещение OLS при увеличении ошибки \(x\).
  5. Объясните эффект regression dilution.

Задача 9. Пуассоновские счёты

Сгенерируйте бинированные пуассоновские данные с малыми ожидаемыми счётами.

  1. Оцените параметр модели минимизацией Pearson \(\chi^2\).
  2. Повторите с Neyman \(\chi^2\).
  3. Повторите максимизацией пуассоновского likelihood.
  4. Сравните смещение и дисперсию оценок на псевдоэкспериментах.
  5. Исследуйте зависимость результата от среднего числа событий в бине.

Задача 10. Выбросы и робастный fit

Сгенерируйте линейные данные и добавьте несколько выбросов.

  1. Выполните OLS-fit.
  2. Выполните fit с Huber loss или Student-\(t\) likelihood.
  3. Сравните fitted-параметры и остатки.
  4. Исследуйте зависимость результата от размера и числа выбросов.
  5. Обсудите, когда робастная модель физически оправдана.