Добавка 1e-6

Добавка 1e-6 — это практический приём для повышения числовой стабильности, чаще всего при масштабировании признаков и делении на стандартное отклонение.

Типичный контекст:

Z = (X - mu) / (sigma + 1e-6)

Зачем это делают:

1. Защита от деления на ноль
   Если sigma = 0 (константный признак), добавка предотвращает inf и nan.
2. Стабилизация при очень малых σ
   Даже если sigma близко к нулю, деление без добавки:
   – усиливает шум
   – создаёт огромные значения
   – портит градиенты и спектры

1e-6 задаёт нижнюю границу масштаба.

3. Числовая, а не статистическая мера
   Это не математически строгая операция, а инженерная защита от плохих чисел.

Что важно понимать:

– добавка искажает масштаб признака
– для константного признака результат ≈ 0, но формально определён
– выбор величины (1e-6, 1e-8, eps) зависит от масштаба данных

Альтернатива, более строгая:

mask = sigma > 0
Z = np.zeros_like(X)
Z[:, mask] = (X[:, mask] - mu[mask]) / sigma[mask]

Когда добавку используют на практике:

– в нейросетях
– в пайплайнах, где важна непрерывность вычислений
– когда заранее неизвестно, какие признаки выродятся

Когда не стоит использовать бездумно:

– в аналитических задачах
– если важна строгая интерпретация коэффициентов

Коротко:
+ 1e-6 — это инженерный приём для предотвращения деления на ноль и взрывных значений, улучшающий числовую стабильность ценой небольшой потери строгости.