Редкие данные Pandas

Примеры спарсенных данных Pandas

Когда любая данные, соответствующие отсутствующим значениям (NaN / пропущенные значения, хотя можно выбрать любое значение), пропускаются, спарсенные объекты будут «сжаты». Специальный объект SparseIndex отслеживает положение данных, которые «разбросаны». В одном примере это будет более понятно. Все стандартные структуры данных Pandas применяют метод to_sparse:

　import pandas as pd
　import numpy as np
　ts = pd.Series(np.random.randn(10))
　ts[2:-2] = np.nan
　sts = ts.to_sparse()
　print(sts)

Результат выполнения таков:

　0 -0.810497
　1 -1.419954
　2 NaN
　3 NaN
　4 NaN
　5 NaN
　6 NaN
　7 NaN
　8 0.439240
　9 -1.095910
　dtype: float64
　BlockIndex
　Локации блоков: array([0, 8], dtype=int32)
　Длины блоков: array([2, 2], dtype=int32)

Из-за причин эффективности памяти существуют спарсенные объекты.
Теперь предположим, что у вас есть очень большой DataFrame с пропущенными значениями (NA) и выполните следующий код:

　import pandas as pd
　import numpy as np
　df = pd.DataFrame(np.random.randn(10000, 4))
　df.ix[:9998] = np.nan
　sdf = df.to_sparse()
　print sdf.density

Результат выполнения таков:

　　　0.0001

Любой объект sparse можно преобразовать обратно в стандартное плотное представление, вызывая to_dense

　import pandas as pd
　import numpy as np
　ts = pd.Series(np.random.randn(10))
　ts[2:-2] = np.nan
　sts = ts.to_sparse()
　print sts.to_dense()

Результат выполнения таков:

　0 -0.810497
　1 -1.419954
　2 NaN
　3 NaN
　4 NaN
　5 NaN
　6 NaN
　7 NaN
　8 0.439240
　9 -1.095910
　dtype: float64

Тип данных sparse

Тип данных稀сных данных должен быть таким же, как и его плотное представление. В настоящее время поддерживаются float64, int64 и booldtypes. В зависимости от исходного dtype, значение по умолчанию fill_value изменяется -

float64 − np.nan

Ниже мы выполним следующий код, чтобы понять их:

　import pandas as pd
　import numpy as np
　s = pd.Series([1, np.nan, np.nan])
　print s
　s.to_sparse()
　print s

Результат выполнения таков:

　0 1.0
　1 NaN
　2 NaN
　dtype: float64
　0 1.0
　1 NaN
　2 NaN
　dtype: float64