Метод наименьших квадратов

Метод наименьших квадратов (МНК) — это стандартный способ подбора коэффициентов линейной регрессии, при котором минимизируется сумма квадратов отклонений предсказаний модели от истинных значений.

Математически: Для данных $X\in {\mathbb{R}}^{n\times p}$ и целевой переменной $y\in {\mathbb{R}}^n$ нужно найти веса $w\in {\mathbb{R}}^p$, которые минимизируют функцию потерь:

$$\text{MSE}(w)=\sum _{i=1}^n(y_i-(X_{i}w+b){)}^2$$

Если включить смещение (b) в веса через дополнительный столбец единиц:

$$X^{\prime }=[1,X],w^{\prime }=[b,w{]}^T$$

Тогда задача сводится к решению:

$$w^{\prime }=\arg \min |X^{\prime }{w}^{\prime }-y{|}_2^2$$

Аналитическое решение:

$$w^{\prime }=(X^{\prime T}{X}^{\prime }{)}^{-1}{X}^{\prime T}y$$

Особенности:

1. Прямое решение через матричные операции

• Очень эффективно для небольших и средних размеров данных
• Численно устойчиво, если $X^{T}X$ невырождена

1. Обоснование минимизации квадратов

• Квадрат отклонения придаёт больший вес большим ошибкам
• Метод даёт лучшие линейные несмещённые оценки при нормальном распределении ошибок

1. Связь с MSE

• МНК минимизирует среднеквадратичную ошибку на обучающей выборке

Пример в Python:

import numpy as np
 
X = np.array([[1, 1],
              [1, 2],
              [1, 3]])
y = np.array([1, 2, 3])
 
w = np.linalg.inv(X.T @ X) @ X.T @ y
print(w)  # [смещение, коэффициент]

Коротко:
метод наименьших квадратов находит коэффициенты линейной регрессии, минимизируя сумму квадратов отклонений предсказаний от истинных значений, что обеспечивает оптимальную линейную аппроксимацию данных.