初始化一个非常大的熊猫数据框

Question

背景：我有一系列图像。在每张图像中，我将一个像素映射到一个数字。然后我想创建一个熊猫数据框，其中每个像素都在自己的列中，图像是行。我想这样做的原因是我可以使用前向填充之类的东西。

挑战：我已将每张图像转换为一维数字数组，每个数组约有 200 万个条目，我有数千张图像。简单地做 pd.DataFrame(array) 非常慢（在较少数量的图像上测试它）。有没有更快的解决方案？也欢迎其他如何有效地做到这一点的想法，但使用非核心的不同库可能是一个挑战（企业环境）。

Answer 1

出于好奇，您是否有理由为此使用 Pandas？图像分析通常在矩阵中处理​​，这使得 NumPy 成为最受欢迎的。如果我没记错的话，sk-learn 和 PIL/IMAGE 都使用 NumPy 数组进行分析和操作。

另一种选择：避免内存中的步骤！您需要同时访问所有 1K+ 图像吗？如果没有，并且您正在单独操作每个文件，您可以遍历文件并在那里执行您的操作。更高效的步骤是将文件分解为 200 张左右的图像列表，然后使用 Python 的 MultiProcessing 功能进行并行分析。

JIC，你有安装 PIL 或 IMAGE，还是 sk-learn？这些软件包中已经包含了一些不错的图像分析算法，可以为您节省一些时间，而不必重新发明轮子。