从 SciPy 稀疏 Coo 矩阵填充 Pandas SparseDataFrame

Question

（这个问题与"populate a Pandas SparseDataFrame from a SciPy Sparse Matrix" 相关。我想从 scipy.sparse 填充一个 SparseDataFrame。coo_matrix（特别是）提到的问题是针对不同的 SciPy 稀疏矩阵（ csr)... 就这样吧……）

我注意到 Pandas 现在有 support for Sparse Matrices and Arrays。目前，我这样创建DataFrame()s：

return DataFrame(matrix.toarray(), columns=features, index=observations)

有没有办法用scipy.sparse.coo_matrix() 或coo_matrix() 创建SparseDataFrame()？转换为密集格式会严重破坏 RAM...！

Answer 1

http://pandas.pydata.org/pandas-docs/stable/sparse.html#interaction-with-scipy-sparse

实现了一个方便的方法 SparseSeries.from_coo() 从 scipy.sparse.coo_matrix 创建 SparseSeries。

在scipy.sparse 中有一些方法可以将数据形式相互转换。 .tocoo、.tocsc 等。因此您可以使用最适合特定操作的形式。

为了走另一条路，我已经回答了

Pandas sparse dataFrame to sparse matrix, without generating a dense matrix in memory

您 2013 年的链接答案逐行迭代 - 使用 toarray 使行密集。我还没看过 pandas from_coo 做了什么。

关于 pandas sparse 的更新的 SO 问题

non-NDFFrame object error using pandas.SparseSeries.from_coo() function

---

来自https://github.com/pydata/pandas/blob/master/pandas/sparse/scipy_sparse.py

def _coo_to_sparse_series(A, dense_index=False):
    """ Convert a scipy.sparse.coo_matrix to a SparseSeries.
    Use the defaults given in the SparseSeries constructor. """
    s = Series(A.data, MultiIndex.from_arrays((A.row, A.col)))
    s = s.sort_index()
    s = s.to_sparse()  # TODO: specify kind?
    # ...
    return s

实际上，它采用相同的data、i、j 用于构建coo 矩阵，创建一个系列，对其进行排序，然后将其变成一个稀疏系列。