拆分非常大的 Pandas 数据帧，替代 Numpy array_split

Question

关于使用 Numpy array_split 方法的行数限制有什么想法吗？

我有一个 dataframe 有 +6m 行，想把它分成 20 个左右的块。

我的尝试遵循如下所述： Split a large pandas dataframe

使用 Numpy 和 array_split 函数，但是作为一个非常大的 dataframe 它只会永远持续下去。

我的dataframe 是 df，包括 8 列和 660 万行。

df_split = np.array_split(df,20)

关于拆分此的替代方法的任何想法？或者，也欢迎提高数据帧性能的提示。

Answer 1

也许这可以通过将数据框分成块来解决您的问题，如下例所示：

import numpy as np
import pandas as pds

df = pds.DataFrame(np.random.rand(14,4), columns=['a', 'b', 'c', 'd'])

def chunker(seq, size):
    return (seq[pos:pos + size] for pos in range(0, len(seq), size))

for i in chunker(df,5):
    df_split = np.array_split(i, 20)
    print(df_split)

Answer 2

我没有通用的解决方案，但是您可以考虑两件事：

1. 您可以尝试分块加载数据，而不是先加载然后拆分。如果您使用pandas.read_csv skiprows 参数将是要走的路。
2. 您可以使用df.values.reshape((20,-1,8)) 重塑您的数据。但是，这需要行数可以被 20 整除。您可以考虑不使用最后一个（最多 19 个）样本来使其适合。这当然是最快的解决方案。

Answer 3

对 Houssem Maamria 的代码稍作修改，此文件可以帮助尝试将每个块导出到 excel 文件的人。

import pandas as pd
import numpy as np

dfLista_90 = pd.read_excel('my_excel.xlsx', index_col = 0) # to include the headers

count = 0
limit = 200
rows = len(dfLista_90)
partition = (rows // limit) + 1

def chunker(df, size):
    return (df[pos:pos + size] for pos in range(0, len(df), size))

for a in chunker(dfLista_90, limit):
    to_excel = np.array_split(a, partition)
    count += 1
    a.to_excel('file_{:02d}.xlsx'.format(count), index=True)