Задачи: метод наименьших квадратов и линейная подгонка

Статистический анализ данных

Author

Дмитрий В. Наумов

← Вернуться к курсу

Задачи

Задача 1. Среднее как результат МНК

Имеются независимые измерения одной величины: \[ Y_i\sim\mathrm N(\mu,\sigma_i^2). \]

Все \(\sigma_i>0\) известны и не зависят от \(\mu\).

  1. Запишите функцию \(\chi^2(\mu)\).
  2. Найдите её минимум.
  3. Покажите, что полученная оценка является взвешенным средним.
  4. Найдите дисперсию этой оценки.
  5. Рассмотрите частный случай одинаковых \(\sigma_i\).

Задача 2. Аналитическая подгонка прямой

Для данных \((x_i,y_i,\sigma_i)\) рассматривается модель \[ y=a+bx. \]

Координаты \(x_i\) известны точно, ошибки по \(y\) независимы и гауссовы, их стандартные отклонения \(\sigma_i>0\) известны. Среди \(x_i\) есть хотя бы два различных значения.

  1. Выведите нормальные уравнения.
  2. Получите аналитические формулы для \(\widehat a\) и \(\widehat b\).
  3. Выведите ковариационную матрицу параметров.
  4. Покажите, что центрирование \(x_i\) около взвешенного среднего устраняет ковариацию параметров.
  5. Проверьте формулы численно на искусственной выборке.

Задача 3. Ошибка подогнанной кривой

Три независимых гауссовых измерения при точно известных энергиях \(x=(1,2,3)\) МэВ дали положения пиков \(y=(103,200,303)\) канала. Ошибка каждого положения равна \(2\) каналам. Для модели \(f(x)=a+bx\) найдите:

  1. дисперсию оценки среднего \(\widehat y(x)=\widehat a+\widehat bx\);
  2. точку, в которой эта дисперсия минимальна;
  3. дисперсию разности \(Y_*-\widehat y(x_*)\) для нового независимого измерения при фиксированном \(x_*\) с известной ошибкой \(\sigma_*\);
  4. различие между полосой среднего сигнала и полосой для нового измерения.

Постройте обе полосы для этих данных при \(\sigma_*=2\) канала. Объясните, почему точечное покрытие не означает покрытия всей кривой сразу.

Задача 4. Остатки и диагональные элементы матрицы влияния

Пусть \(N>2\), \(y_i=a+bx_i+\varepsilon_i\), а \(\varepsilon_i\) независимы, имеют нулевые средние и одну известную дисперсию \(\sigma^2\). Координаты \(x_i\) фиксированы и не все одинаковы. В этом случае \(\widehat{\mathbf y}=H\mathbf y\), где \(H=X(X^{\mathsf T}X)^{-1}X^{\mathsf T}\), \(X_{i1}=1\), \(X_{i2}=x_i\). Обозначьте остатки через \(\mathbf r=\mathbf y-\widehat{\mathbf y}\), а единичную матрицу через \(I\).

  1. покажите, что \(H^2=H\);
  2. покажите, что \(\operatorname{tr}H=2\);
  3. выведите ковариацию остатков \[ \operatorname{Cov}(\mathbf r)=\sigma^2(I-H); \]
  4. найдите диагональные элементы \(h_{ii}\), характеризующие влияние точек при подгонке прямой;
  5. добавьте одну далёкую по \(x\) точку и исследуйте её влияние.

Задача 5. Влияние одной точки

Сгенерируйте \(16\) независимых гауссовых измерений около прямой \(y=1+0.8x\) при \(x_i=-4.5+9(i-1)/15\), \(i=1,\ldots,16\), и известных одинаковых ошибках \(\sigma_i=0.55\). Зафиксируйте начальное состояние генератора.

  1. Выполните подгонку обычным методом наименьших квадратов.
  2. Добавьте к одной точке сдвиг \(d\), сохранив её заявленную ошибку. Выведите изменения \(\widehat a\) и \(\widehat b\) из нормальных уравнений.
  3. Меняйте \(d\) от \(-4\) до \(6\) и сравните формулы с повторной подгонкой.
  4. Повторите опыт для точки вблизи центра и для крайней точки. Сравните влияние на наклон и остатки.
  5. Проверьте, меняется ли вычисленная ковариация параметров при этих сдвигах. Объясните, почему неизменная ошибка параметра не гарантирует отсутствия смещения из-за испорченного измерения.