我通常会发现有关使用 Dask 或 Pandas 块大小将数百万行的数据集加载到 python 的问题和讨论，但我的问题有点不同。我有数百万列/功能，只有几千条记录。我发现使用此类数据集的数据加载时间（来自 csv）非常慢，并且消耗大量内存，我做了一些基准测试，有时，pandas 甚至比 dask 还要快！
我测试了我有 100 万行和 300 列的情况，我可以轻松地将它加载到内存中，但是如果我有 300 行和 100 万列，那么 pandas 会消耗所有 64GB RAM 并死掉。
我该如何处理这样的数据集？
非常感谢。
【问题讨论】：
我测试了我有 100 万行和 300 列的情况，我可以轻松地将其加载到内存中，但是如果我有 300 行和 100 万列，那么 pandas 会消耗所有 64GB RAM 并死掉。
我该如何处理这样的数据集？
Pandas 建立在以下假设之上：
如果这些假设不成立，那么 Pandas 的效率将非常低。
您可以阅读these slides 以了解 Pandas 内部的工作原理。本质上，Pandas 按类型对每一列进行专门化，为该列选择最严格的类型，这允许 Pandas 为每个单元格使用更少的内存。但是，如果行少列多，那么每列的开销会非常大。
我建议您避免像这样格式化您的数据。以下是一些无需使用 Pandas 即可转置 CSV 文件的 Python 代码：
import csv
def transpose():
a = zip(*csv.reader(open("test.csv", "rt")))
csv.writer(open("transposed.csv", "wt")).writerows(a)
（在我的电脑上，一个 100K x 300 的 CSV 文件需要 300MB。相比之下，在 read_csv 中正常打开它需要 900MB。）
【讨论】：
如果您要使用 pandas，这是我在 cmets 中的想法。这是未经测试的，但您可以使用usecols 动态地在块中创建列。我在 cmets 中说 iloc，但这仍然需要先阅读整个文件，所以我的意思是 usecols。您可以调整i 和范围内的数字。
i = 10
for _ in range(1,4):
cols = list(range(i-10,i))
print(cols)
df = pd.read_csv(f, usecols=cols).T
df.append(df)
i += 10
df = df.T
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
[10, 11, 12, 13, 14, 15, 16, 17, 18, 19]
[20, 21, 22, 23, 24, 25, 26, 27, 28, 29]
如您所见，您基本上可以使用这种技术按列“分块”。
【讨论】：