Cythonising Pandas：内容、索引和列的 ctypes

Question

我非常是 Cython 的新手，但我已经体验了非凡的加速，只需将我的 .py 复制到 .pyx（以及 cimport cython、numpy 等）并导入到 @987654325 @ 和pyximport。 许多教程都是从这种方法开始的，下一步是为每种数据类型添加 cdef 声明，我可以为我的 for 循环等中的迭代器做这些。 但与大多数 Pandas Cython 教程或示例不同，我不是应用函数，而是使用切片、求和和除法（等）更多地操作数据。

所以问题是：我可以通过声明我的 DataFrame 仅包含浮点数 (double) 来提高我的代码运行速度，其中列是 int，行是 int？

如何定义嵌入列表的类型？即[[int,int],[int]]

这是一个为 DF 分区生成 AIC 分数的示例，抱歉它太冗长了：

    cimport cython
    import numpy as np
    cimport numpy as np
    import pandas as pd

    offcat = [
        "breakingPeace", 
        "damage", 
        "deception", 
        "kill", 
        "miscellaneous", 
        "royalOffences", 
        "sexual", 
        "theft", 
        "violentTheft"
        ]

    def partitionAIC(EmpFrame, part, OffenceEstimateFrame, ReturnDeathEstimate=False):
        """EmpFrame is DataFrame of ints, part is nested list of ints, OffenceEstimate frame is DF of float"""
        """partOf/block is a list of ints"""
        """ll, AIC,  is series/frame of floats"""
        ##Cython cdefs
        cdef int DFlen
        cdef int puns
        cdef int DeathPun    
        cdef int k
        cdef int pId
        cdef int punish

        DFlen = EmpFrame.shape[1]
        puns = 2
        DeathPun = 0
        PartitionModel = pd.DataFrame(index = EmpFrame.index, columns = EmpFrame.columns)

        for partOf in part:
            Grouping = [puns*x + y for x in partOf for y in list(range(0,puns))]
            PartGroupSum = EmpFrame.iloc[:,Grouping].sum(axis=1)

            for punish in range(0,puns):
                PunishGroup = [x*puns+punish for x in partOf]
                punishPunishment = ((EmpFrame.iloc[:,PunishGroup].sum(axis = 1) + 1/puns).div(PartGroupSum+1)).values[np.newaxis].T
                PartitionModel.iloc[:,PunishGroup] = punishPunishment
        PartitionModel = PartitionModel*OffenceEstimateFrame

        if ReturnDeathEstimate:
            DeathProbFrame = pd.DataFrame([[part]], index=EmpFrame.index, columns=['Partition'])
            for pId,block in enumerate(part):
                DeathProbFrame[pId] = PartitionModel.iloc[:,block[::puns]].sum(axis=1)
            DeathProbFrame = DeathProbFrame.apply(lambda row: sorted( [ [format("%6.5f"%row[idx])]+[offcat[X] for X in  x ] 
                for idx,x in enumerate(row['Partition'])],
                key=lambda x: x[0], reverse=True),axis=1)
        ll = (EmpFrame*np.log(PartitionModel.convert_objects(convert_numeric=True))).sum(axis=1)
        k = (len(part))*(puns-1)
        AIC = 2*k-2*ll

        if ReturnDeathEstimate:
            return AIC, DeathProbFrame
        else:
            return AIC

Answer 1

我的建议是在 pandas 中尽可能地。这是一种标准的建议，“先让它工作，然后再关心性能，如果它真的很重要”。所以让我们假设你已经这样做了（希望你也写了一些测试），而且太慢了：

分析您的代码。（请参阅this SO answer，或在 ipython 中使用 %prun）。

prun 的输出应该会驱动下一步改进的地方。

1. pandas（让您的代码更具可扩展性，这可以帮助很多）。
2. numpy（不创建中间系列/数据帧，注意数据类型）
3. cython（最后的手段）。

现在，如果它与切片有关（可能不是）将 微小部分 放在 cython 中，我喜欢删除对 cython 函数的单个 python 函数调用。在这一点上，带有 cython 的东西应该使用 numpy 而不是 pandas，我认为 pandas 不会降低到 C（cython 无法推断类型）。

---

将整个代码放入 cython 实际上并没有太大帮助，您只想放入对性能敏感的特定行或函数调用。保持 cython 专注是享受美好时光的唯一方法。

阅读enhancing performance section of the pandas docs*！在这里，这个过程（prun -> cythonize -> type）通过一个真实的例子一步一步地完成。

*完全披露是我在文档的那部分写的！ :)