将向量读/写到文件的有效方法

Question

概述：经过几天的研究，我一直无法找到一种快速、有效的方法来向文件写入/读取向量。我看到的大多数答案都涉及将每个单独的元素推入/弹出文件。随着元素数量的增加，这非常耗时。此外，我一直无法尝试解决我的特定问题。因此，请确保您的解决方案适用于我的特定情况（即阅读整个问题）。

我的问题：我有一个非常大的数据结构，其中包含有关图像的像素信息。有 60,000 张图像，每张 784 像素。每张图片都是手写数字的图像。因此，除了 60,000 * 784 像素之外，我还需要包含一个标签，以便我知道图像代表哪个数字。我使用的标签，从整个项目的范围来看是必要的，是一个包含 10 种可能性的向量，代表 0、1、2 ... 9，其中只有一个包含“1”/真”，其余为“0”/“假”。此外，由于项目其余部分的线性代数要求，此数据结构要求将信息存储在犰狳线性代数库中使用的“Col”结构中。因此，我希望保存/读取/读取文件的结构声明为std::vector<std::vector<arma::Col<double>>>。

这是我现在用来保存数据的函数，以提供上下文：

void SaveTrainingData(vector<vector<Col<double>>> trainingData) //format: trainingData[60000][2][784, 10]
{
    ofstream ofile("VectorizedTrainingData.dat", ios::binary);

    for (int i = 0; i < trainingData.size(); i++)
        for (int j = 0; j < trainingData[i].size(); j++)
            for (int k = 0; k < trainingData[i][j].size(); k++)
                ofile.write((char *)&trainingData[i][j][k], sizeof(double));
}

如果您有任何问题，请不要犹豫！提前致谢。

Answer 1

我不得不查找有关此 Armadillo 库的文档，但似乎 Col 是一个连续的密集向量类。我们可以依靠连续表示来消除嵌套循环，如下所示：

// format: trainingData[60000][2][784, 10]
void SaveTrainingData(const vector<vector<Col<double>>>& trainingData) 
{
    ofstream ofile("VectorizedTrainingData.dat", ios::binary);

    const int numImages = trainingData.size();
    for (int i = 0; i < numImages; i++)
    {
        const vector<Col<double>>& img = trainingData[i];
        const int numCols = img.size();
        for (int j = 0; j < numCols; j++)
        {
            const Col<double>& col = img[j];
            ofile.write((char*)&col[0], col.size()*sizeof(double));
        }
    }
}

将write 的调用频率从一列中的一个元素减少到一整列可能已经有所帮助。

这可能是值得测量的，以确保您实际上更多的是 I/O 绑定而不是内存绑定。涉及所有这些列向量向量的潜在内存碎片有点棘手。

例如，如果内部向量的大小始终相同（每张图像都是 784 像素的情况似乎就是这种情况），您可能会使用连续的vector<Col> 获得更好的结果，或者这个：

struct Image
{
     Col pixels[768];
};
...
vector<Image> trainingData;

... 或类似的东西。 .我不能完全理解线性代数如何与图像表示相关联，但希望这能提供一个想法。

Answer 2

我没有使用过犰狳，但由于 Col 是一个 1xN 矩阵并且应该以线性方式存储，因此您可以摆脱 k 循环并一次性写出整个列：

ofile.write((char *)&trainingData[i][j][0], sizeof(double) * trainingData[i][j].size());

如果这不起作用，请将元素从 Col 复制到本地向量，然后将它们写出到文件中（因为文件操作会比复制一些双精度值慢得多）。

您可能还想在写入所有元素之前写出矢量的大小，以便知道要读入的元素数量。