Линейная модель

Линейная модель — это модель, которая описывает зависимость целевой переменной (y) от признаков x_1, x_2, …, x_p как линейную комбинацию признаков:

$$y\approx w_1{x}_1+w_2{x}_2+...+w_p{x}_p+b$$

где:

• $w_i$ — коэффициенты модели (веса)
• $b$ — смещение (bias, intercept)

Линейная регрессия — частный случай линейной модели, используемый для прогноза непрерывной целевой переменной.

Математически:

$$\hat{y}=Xw+b$$

• $X$ — матрица признаков (n_samples, n_features)
• $w$ — вектор весов (n_features,)
• $\hat{y}$ — предсказания модели (n_samples,)

Принцип работы:

• На обучающей выборке подбираются веса (w) и смещение (b), чтобы минимизировать функцию потерь.
• Обычно используют среднеквадратичную ошибку (MSE):

$$\text{MSE}=\frac{1}{n}\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$$

Особенности линейной модели:

1. Простая и интерпретируемая
2. Признаки должны быть сравнимы по масштабу (стандартизация улучшает обучение)
3. Чувствительна к коррелированным признакам
4. Работает лучше, когда зависимость целевой переменной от признаков почти линейная

Пример в Python:

from sklearn.linear_model import LinearRegression
 
model = LinearRegression()
model.fit(X, y)        # X — признаки, y — целевая переменная
y_pred = model.predict(X)

Коротко:
линейная модель выражает зависимость целевой переменной как линейную комбинацию признаков, а линейная регрессия использует это для прогноза непрерывных значений.