从 Matlab 上的二进制文件中读取稀疏数组

Question

我必须编写一个函数，该函数从 binary file (.dat) 中读取一个二维数组，该数组位于一列中，其名称由函数的单个输入参数提供。该文件的格式如下： 首先，有两个 uint32 数字，分别对应数组的行数和列数。之后，有一个双数，它是数组上非零元素的数量。然后数组的每个非零元素在文件中由两个 uint32 标量和一个 double 标量按以下顺序表示：它的行索引 (uint32)、它的列索引 (uint32) 和它的值 (double)。一个例子可能是：

5
4
2
1
1
8
2
2
9

也就是说数组有5行4列，一共2个非零元素。这些元素将在位置(1,1)（值为8）和位置(2,2)（值为9）中找到。所有其他元素都等于 0。因此，数组将是：

8  0  0  0
0  9  0  0
0  0  0  0
0  0  0  0
0  0  0  0

函数必须返回它从文件中读取的二维数组作为输出参数，如果打开文件有问题，函数返回一个空数组。目前我已尝试使用此代码：

function A = sparse_array_in( filename )
fid = fopen( filename,'rt' );
if fid < 0
    A = [];
    return;
end
% Get total number of elements on the file
n = 0;
while (fgets(fid) ~= -1),
  n = n+1;
end
% Close then reopen
fclose(fid);
fid = fopen( filename,'rt' );
% Read size of array and number of non-zero elements
rows = fread( fid,1,'uint32' );
cols = fread( fid,1,'uint32' );
dims = [ rows,cols ];
non_zero = fread( fid,1,'uint32' );
% Create array of zeros
A = zeros( dims );   
% Fill array A with the values from the file
for i = 1:non_zero
    r = fread( fid,1,'uint32' );
    c = fread( fid,1,'uint32' );
    v = fread( fid,1,'double' );
    A(r,c) = v;
end
fclose( fid );
end

但它似乎不起作用。我错过了什么？

Answer 1

您的代码存在一些问题：

1. 如果文件 ID 为负数，您不仅应该返回空数组（正如您所做的那样），还应确保代码不会从该点开始。我会在分配给A 之后立即粘贴return 语句：

   if fid < 0
       A = [];
       return;
   end
   

2. 接下来，当您确定文本文件中的行数时，请注意每次调用 fgets 时都在推进文件指针，因此当您最终完成读取所有行时，文件指针点在文本文件的末尾。对fread、fgets 或任何从文件中读取内容的f* 家族的任何进一步调用都不会给您任何信息，因为您位于文件的末尾。您需要做的是关闭文件并再次打开它，以便您可以再次开始从文件中读取。因此，当您读取行数时关闭文件，然后再次打开它：

   % Get total number of elements on the file
   n = 0;
   while (fgets(fid) ~= -1),
     n = n+1;
   end 
   %// Close then reopen
   fclose(fid);
   fid = fopen( filename,'rt');
   

3. 你没有使用fread 对。第二个参数告诉你有多少你想读入特定类型的数字。你使用的是 1、2 或 3，这意味着你正在读 1、2 或 3 个特定类型的数字.因为您使用 fread 读取每个呼叫的单个号码，所以它们应该全部为 1。此外，确定总行数对我来说似乎是多余的。如果给定非零元素的总数，为什么还要弄清楚有多少行？您已经知道有多少非零元素，因此只需从 1 迭代到尽可能多的非零数字。因此，试试这个：

   % Read size of array and number of non-zero elements
   rows = double(fread( fid,1,'uint32' )); %// Change
   cols = double(fread( fid,1,'uint32' )); %// Change
   dims = [ rows,cols ];
   non_zero = fread( fid,1,'uint32' ); %// Change
   % Create array of zeros
   A = zeros( dims );   
   % Fill array A with the values from the file
   for i = 1 : non_zero %// Change
       r = fread( fid,1,'uint32' ); %// Change
       c = fread( fid,1,'uint32' ); %// Change
       v = fread( fid,1,'double' ); %// Change
       A(r,c) = v;
   end
   %A = reshape( A,dims' ); %// Why are you reshaping?
   fclose( fid );
   

小评论：你为什么要重塑矩阵？如果您已经知道矩阵的行和列位置并且将它们准确地放在它们应该去的位置，为什么还要麻烦转置呢？

---

因此，使用上述 cmets，您的代码将如下所示：

function A = sparse_array_in( filename )
fid = fopen( filename,'rt' );
if fid < 0
    A = [];
    return; %// Change
end

% Read size of array and number of non-zero elements
rows = fread( fid,1,'uint32'); %// Change
cols = fread( fid,1,'uint32'); %// Change
dims = [ rows,cols ];
non_zero = fread( fid,1,'uint32' ); %// Change
% Create array of zeros
A = zeros( dims );   
% Fill array A with the values from the file
for i = 1:non_zero
    r = fread( fid,1,'uint32' ); %// Change
    c = fread( fid,1,'uint32' ); %// Change
    v = fread( fid,1,'double' ); %// Change
    A(r,c) = v;
end
%// Change - remove reshape
fclose( fid );
end

---

这是一个示例，它表明它适用于二进制文件。我创建了以下场景：

5
7
4
1
1
1
2
2
2
3
3
3
4
4
4

这是一个 5 x 7 矩阵，其中 (1,1) = 1, (2,2) = 2, (3,3) = 3, (4,4) = 4 具有 4 个非零值。我创建了一个二进制文件，然后使用我上面修复的函数来获取结果：

fid = fopen('sparse_binary.dat', 'w');
fwrite(fid, 5, 'uint32');
fwrite(fid, 7, 'uint32');
fwrite(fid, 4, 'uint32');
fwrite(fid, 1, 'uint32');
fwrite(fid, 1, 'uint32');
fwrite(fid, 1, 'double');
fwrite(fid, 2, 'uint32');
fwrite(fid, 2, 'uint32');
fwrite(fid, 2, 'double');
fwrite(fid, 3, 'uint32');
fwrite(fid, 3, 'uint32');
fwrite(fid, 3, 'double');
fwrite(fid, 4, 'uint32');
fwrite(fid, 4, 'uint32');
fwrite(fid, 4, 'double');
fclose(fid);
A = sparse_array_in('sparse_binary.dat');

我得到A：

A =

     1     0     0     0     0     0     0
     0     2     0     0     0     0     0
     0     0     3     0     0     0     0
     0     0     0     4     0     0     0
     0     0     0     0     0     0     0

...这是我们所期望的。