Ограничения линейной модели

Линейная модель имеет несколько ключевых ограничений, которые влияют на применимость и точность прогнозов:

1. Линейная зависимость

• Предполагается, что целевая переменная линейно связана с признаками:

$$y\approx a_0+a_1{x}_1+\cdots +a_p{x}_p$$

• Если зависимость сложная или нелинейная, модель будет неточной.

2. Независимость признаков

• Коррелированные признаки (мультиколлинеарность) приводят к нестабильным коэффициентам и затрудняют интерпретацию.

2. Чувствительность к выбросам

• Метод наименьших квадратов минимизирует квадраты ошибок → большие выбросы сильно влияют на модель.

2. Стационарность и гомоскедастичность

• Ошибки должны быть примерно одинаковы по дисперсии для всех объектов (гомоскедастичность).
• Если дисперсия ошибок зависит от признаков, оценки становятся менее надёжными.

2. Чувствительность к масштабу признаков

• Признаки разных масштабов могут «доминировать» без стандартизации.

2. Ограничения на типы данных

• Работает с числовыми признаками. Категориальные нужно кодировать (one-hot, label encoding).

2. Не подходит для сложных структур

• Например, текст, изображения, временные ряды со сложной нелинейной зависимостью требуют других моделей (деревья, нейросети, kernel методы).

Коротко:
линейная модель ограничена линейностью, чувствительна к коррелированным признакам и выбросам, требует числовых и сопоставимых по масштабу признаков, и плохо работает с сложными нелинейными зависимостями.