matlab中“内存不足”错误的解决方法

Question

我有一个非常大的文本文件（大约 11GB）需要在 matlab 中加载。但是当我使用“textread”功能时，出现“内存不足”错误。没有办法减小文件大小.当我输入记忆时，给我看。

memory
Maximum possible array:     24000 MB (2.517e+10 bytes) *
Memory available for all arrays:     24000 MB (2.517e+10 bytes) *
Memory used by MATLAB:      1113 MB (1.167e+09 bytes)
Physical Memory (RAM):     16065 MB (1.684e+10 bytes)

*  Limited by System Memory (physical + swap file) available.

有没有人能解决这个问题？

Answer 1

@Anthony 建议了一种逐行读取文件的方法，这非常好，但最近 (>=R2014b) 版本的 MATLAB 具有 datastore 功能，旨在处理大块数据文件.

有几种类型的datastore 可用，具体取决于您的文本文件格式。在最简单的情况下（例如 CSV 文件），自动检测效果很好，您可以简单地说

ds = datastore('myCsvFile.csv');
while hasdata(ds)
    chunkOfData = read(ds);
    ... compute with chunkOfData ...
end

在最新 (>=R2016b) 版本的 MATLAB 中，您可以更进一步，将 datastore 包装到 tall 数组中。 tall 数组可让您对太大而无法一次全部放入内存的数据进行操作。 （在幕后，tall 数组以块的形式执行计算，并且只有在您通过调用gather 请求它们时才给您结果）。例如：

tt = tall(datastore('myCsvFile.csv'));
data = tt.SomeVariable;
result = gather(mean(data)); % Trigger tall array evaluation

Answer 2

根据您对代码用途的说明：

它是 txt 文件中带有 XYZRGB 列的点云，我需要在其中添加另一列。

我建议您一次读取文本文件一行，修改该行并将修改后的行直接写入一个新的文本文件。

一次读一行：

% Open file for reading.
fid = fopen(filename, 'r');

% Get the first line.
line = fgetl(fid);
while ~isnumeric(line)
    % Do something.

    % get the next line
    line = fgetl(fid);
end
fclose(fid);

要写行，你可以使用fprintf。

这是一个演示：

filename = 'myfile.txt';
filename_new = 'myfile_new.txt';

fid = fopen(filename);
fid_new = fopen(filename_new,'w+');
line = fgetl(fid);
while ~isnumeric(line)
    % Make sure you add \r\n at the end of the string; 
    % otherwise, your text file will become a one liner.
    fprintf(fid_new, '%s %s\r\n', line, 'new column');
    line = fgetl(fid);
end
fclose(fid);
fclose(fid_new);