提高用数据填充 pandas 数据帧的速度

Question

我正在尝试寻找一种更优化的方法来向 pandas 数据框添加数据。 我已经看到了其他related questions，人们建议首先创建列表，然后将数据添加到 pandas（我现在实现了）。

在我当前的设置中，我循环遍历不同的列表（在示例中为 librarynr、books 和 sections），然后计算各种变量（在示例中，这些变量未计算但已设置；nrofletters , excitment 和 review) 我将它们添加到列表中，最后将列表添加到数据框中。

有谁知道进一步优化以提高此示例代码的性能？

重要提示：在我的最终代码中，所有行的变量不同，而是根据循环的迭代器进行计算（参见excitment 的计算示例）。

示例代码：

import pandas as pd
import time


books = ['LordOfTheRings','HarryPotter','LoveStory','RandomBook']
sections = ['Introduction','MainPart','Plottwist','SurprisingEnd']

librarynr = list(range(30000))
nrofletters = 3000
excitment = True
review = 'positive'


start_time = time.time()
summarydf = pd.DataFrame()

indexlist = []
nrofletterlist = []
excitmentlist = []
reviewlist = []

for library in librarynr:
    for book in books:
        for section in sections:
            indexlist.append(str(library)+book+section)
            nrofletterlist.append(nrofletters)
            
            #example of variable calculation depending on iterators of loop:
            if (library % 2 == 0) or (book[1] == 'L'):
                excitment = False
            else:
                excitment = True
                
            excitmentlist.append(excitment)
            reviewlist.append(review)
            
summarydf['index'] = indexlist
summarydf['nrofletters'] = nrofletterlist
summarydf['excitment'] = excitmentlist
summarydf['review'] = reviewlist
listtime = time.time() - start_time
print(listtime)

Answer 1

Append 非常慢，您应该一次性生成 DataFrame。

IIUC，您想要一个具有所有可能性的产品。你可以使用itertools.product

我在这里举一个例子，只有librarynr = 5。 librarynr = 300000 的条件将产生 480 万行。

from itertools import product

librarynr = 5

idx = map(''.join, product(map(str, range(librarynr)), books, sections))

df = pd.DataFrame([], index=idx)

df[['nrofletters', 'excitment', 'review']] = [3000, True, 'positive']

输出：

>>> print(df.reset_index())

                           index  nrofletters  excitment    review
0    0LordOfTheRingsIntroduction         3000       True  positive
1        0LordOfTheRingsMainPart         3000       True  positive
2       0LordOfTheRingsPlottwist         3000       True  positive
3   0LordOfTheRingsSurprisingEnd         3000       True  positive
4       0HarryPotterIntroduction         3000       True  positive
..                           ...          ...        ...       ...
75       4LoveStorySurprisingEnd         3000       True  positive
76       4RandomBookIntroduction         3000       True  positive
77           4RandomBookMainPart         3000       True  positive
78          4RandomBookPlottwist         3000       True  positive
79      4RandomBookSurprisingEnd         3000       True  positive

[80 rows x 4 columns]

Answer 2

由于解释器的原因，CPython 循环非常慢（请注意，有更快的 Python 解释器，例如使用 JIT compiler 的 PyPy）。您可以使用 comprehension list 显着加快循环速度。使用 itertools 可以提供更多帮助，并将library 转换为最外层循环中的字符串。但是，对于执行的操作，结果仍然不是很快。

另一个问题来自 从 Python 列表到 Numpy 数组的转换。实际上，Pandas 在内部使用 Numpy，并且 Numpy 将每个字符串引用转换为静态有界字符串（因此使用大的原始内存缓冲区而不是引用计数对象数组）。这意味着 每个字符串都由 Numpy 解析和复制，这是非常昂贵的。最好的解决方案是尽可能使用矢量化函数直接编写 Numpy 数组。如果这不可行，您可以使用 Numba。但是，请注意 Numba 目前几乎不支持字符串数组。另一种可能的解决方案是使用 Cython。使用 Pandas 的直接分配也可以非常快一次设置所有字符串（因为字符串只在 Numpy 内部解析一次）。

在我的机器上，大约 2/3 的时间用于循环，1/3 用于 Numpy 字符串转换（一小部分来自于一些额外的 Pandas 开销）。