Как хранить xarray.Dataset в pandas DataFrame без сбоев

Разбираем, как безопасно хранить xarray.Dataset в pandas DataFrame: задайте столбец dtype=object и присваивайте через df.at, чтобы избежать конвертаций.

Когда нужно держать «богатые» объекты вроде xarray.Dataset рядом с табличными метаданными в pandas, простое присваивание в столбец может сыграть злую шутку. Pandas нередко пытается привести значения к массивам NumPy, а это плохо сочетается со сложными объектами Python. Хорошая новость: хранить по одному xarray.Dataset на строку можно безопасно — если выполнять присваивание правильно.

Подготовка

Предположим, у вас есть DataFrame с метаданными, и вы хотите прикрепить к каждой строке отдельный xarray.Dataset. Наивное присваивание может запустить нежелательное преобразование. Вот минимальный пример этого сценария:

import pandas as pd
import xarray as xr
import numpy as np
# Создаём DataFrame
tbl = pd.DataFrame({"id": [1, 2, 3]})
# Инициализируем пустой столбец с dtype=object
tbl["xr_payload"] = pd.Series(dtype=object)
for ridx in tbl.index:
    # Для каждой строки создаём отдельный набор данных xarray
    pack = xr.Dataset({
        "temp": xr.DataArray(np.random.rand(2)),
        "press": xr.DataArray(np.random.rand(2))
    })
    # Пытаемся присвоить через .loc
    tbl.loc[ridx, "xr_payload"] = pack

Что происходит

Главная проблема в том, что при присваивании pandas может попытаться преобразовать xarray.Dataset в массив NumPy — и это заканчивается ошибкой. Даже если у столбца тип object, способ присваивания имеет значение. Присваивание через индексацию по меткам, которая не гарантирует строго скалярный доступ, может спровоцировать такое преобразование.

Решение

Используйте скалярный доступ через df.at, чтобы поместить xarray.Dataset непосредственно в одну ячейку, и заранее убедитесь, что столбец имеет тип object. Тогда pandas не будет пытаться что‑то приводить.

import pandas as pd
import xarray as xr
import numpy as np
# Создаём DataFrame
tbl = pd.DataFrame({"id": [1, 2, 3]})
# Инициализируем пустой столбец с dtype=object
tbl["xr_payload"] = pd.Series(dtype=object)
for ridx in tbl.index:
    # Для каждой строки создаём отдельный набор данных xarray
    pack = xr.Dataset({
        "temp": xr.DataArray(np.random.rand(2)),
        "press": xr.DataArray(np.random.rand(2))
    })
    # Присваиваем через .at, чтобы поместить Dataset прямо в ячейку
    tbl.at[ridx, "xr_payload"] = pack
# Проверяем тип сохранённого объекта
print(type(tbl.loc[0, "xr_payload"]))
# <class 'xarray.core.dataset.Dataset'>

Почему это важно

В рабочих процессах всё чаще сочетаются табличные метаданные и предметные объекты из других библиотек. Возможность хранить по одному xarray.Dataset на строку упрощает индексацию, пакетную обработку и последующие шаги без лишних параллельных структур. Небольшие детали — тип object и использование df.at — определяют, получите ли вы устойчивое хранение или запутаетесь из‑за конвертации.

Выводы

Если вам нужно хранить экземпляры xarray.Dataset в столбце DataFrame, инициализируйте столбец с dtype=object и присваивайте по ячейкам через df.at. Так pandas не будет пытаться превращать ваши Datasets в массивы и сохранит ровно то, что вы передаёте. Изменение в стиле присваивания минимальное, а экономит время и уберегает от скрытых сбоев в будущем.