Возведение в степень в pandas: почему int64 переполняется и как избежать ошибок

Почему возведение в степень в pandas/NumPy на int64 даёт неожиданные результаты: переполнение и обёртка, неточность float. Как получить корректные значения.

Возведение в степень, которое безупречно работает с обычными целыми числами Python, может давать озадачивающие результаты при применении к pandas Series с целочисленным dtype. Цифры выглядят неверно: иногда даже небольшие основания, возведённые в большую степень, превращаются в ноль или перескакивают к значениям, не похожим на ожидаемые. Причина не в ошибке ваших вычислений, а в числовой модели, на которой построен pandas.

Воспроизведение: почему 42**42 отличается в чистом Python, pandas float и pandas int

# Чистая целочисленная арифметика Python (произвольная точность)
42**42
# 150130937545296572356771972164254457814047970568738777235893533016064
# Pandas Series с типом float
import pandas as pds
base_f = pds.Series([12, 42], index=range(2), dtype=float)
base_f**42
# 0    2.116471e+45
# 1    1.501309e+68
# dtype: float64
# Pandas Series с целочисленным типом
base_i = pds.Series([12, 42], index=range(2), dtype=int)
base_i**42
# 0                      0
# 1    4121466560160202752
# dtype: int64

Что на самом деле происходит

Встроенные целые числа Python имеют произвольную точность: они растут настолько, насколько нужно, не переполняясь. А вот целочисленные столбцы pandas опираются на NumPy int64. Этот фиксированный по ширине тип переполняется за пределами 9223372036854775807 и молча «оборачивается», что и объясняет неожиданные результаты в целочисленной Series.

import numpy as npx
npx.array([12, 42])**42
# array([                  0, 4121466560160202752])

Ваши значения просто слишком велики, чтобы их можно было представить в формате int64 в pandas/NumPy. Числа с плавающей точкой, как следует из названия, обладают плавающей точностью и способны представлять очень большие порядки благодаря полю экспоненты (11 бит на экспоненту = до 2**1023). Обратная сторона — точность: на экстремальных масштабах они не сохраняют каждое целое число в точности, но и не переполняются, как фиксированные по ширине целые.

Как с этим быть

Главное — соотнести ожидания с используемым числовым типом. Если возводить целые в большие степени внутри целочисленного контейнера pandas или NumPy, переполнение неизбежно при превышении максимума int64. Переключив Series на float, вы получите представимые большие величины без целочисленного переполнения, как показано выше, — ценой потери точной целочисленной точности.

Чтобы наглядно закрепить это поведение, ниже тот же эффект переполнения показан на графике x**10 для простого возрастающего диапазона. По мере роста основания кривая резко обрушивается, а затем циклически проходит через отрицательные и положительные значения из‑за «обёртки» — выглядит хаотично, но это закономерно.

import numpy as npx
import matplotlib.pyplot as plt
plt.plot(npx.arange(1, 200)**10)
plt.show()

Почему это важно

Тихое переполнение способно испортить аналитические конвейеры и признаки моделей так, что это трудно заметить. Вы можете полагаться на преобразование вроде возведения в степень или квадрат, а на деле получить нули или будто бы случайные значения, как только данные пересекают числовой порог. Понимание того, что целочисленная арифметика в pandas ограничена NumPy int64, помогает избежать неверных выводов и экономит время на поиске причин «таинственных» расхождений между скалярными вычислениями в Python и векторизованными операциями.

Выводы

Используйте обычные целые числа Python, если вам нужна точная арифметика с чрезвычайно большими значениями. При работе в pandas или NumPy помните: целочисленные dtypes имеют фиксированную ширину и переполняются за пределами 9223372036854775807. Если важнее сохранить порядок величины без переполнения, применяйте dtype float, учитывая, что представление будет плавающим и не всегда точно для всех целых. А когда результат выглядит подозрительно, проверьте допущения: сравните скалярный расчёт в Python с векторизованным путём или визуализируйте поведение, чтобы увидеть характерные паттерны переполнения.