Векторизация — это способ записи вычислений над массивами данных так, чтобы операции выполнялись сразу над целыми наборами элементов, без явных циклов на уровне Python.
Идея не в «красивом синтаксисе», а в переносе цикла из интерпретатора Python в скомпилированный код (C / Fortran / SIMD).
Сравнение на примере.
Невекторизованный подход (цикл Python):
res = []
for x in data:
res.append(x * 2 + 1)Векторизованный подход:
res = data * 2 + 1Во втором случае:
– нет Python-цикла
– нет вызовов Python-объектов на каждый элемент
– операция выполняется внутри NumPy одним проходом по памяти
Что делает векторизацию эффективной:
-
Плотное хранение данных
ndarray лежит в непрерывной памяти, доступ предсказуем и кеш-френдли. -
Скомпилированные внутренние циклы
NumPy использует оптимизированные реализации на C и Fortran. -
SIMD и низкоуровневые оптимизации
Операции могут выполняться над несколькими элементами за один такт CPU.
Важно понимать ограничения:
– векторизация работает только для однородных данных
– логика должна выражаться через операции над массивами
– сложные ветвления и состояния плохо векторизуются
Векторизация ≠ параллелизм:
– это не про потоки или процессы
– это про устранение интерпретаторного overhead
– может быть быстрее даже в одном потоке
Практика из реальной жизни:
– сначала думать в терминах операций над массивами
– использовать готовые ufunc’и NumPy (np.add, np.exp, np.sum)
– избегать for по элементам ndarray, если есть альтернатива
– если векторизация невозможна — тогда честно писать цикл или использовать Numba/Cython
Коротко:
векторизация — это перенос вычислений из Python-уровня в низкоуровневый, оптимизированный цикл над массивами.