是否可以拦截 matlab save() 字节流

Question

在 matlab 中，可以使用 matlab save() 调用将 matlab 对象甚至整个工作区写入文件。我想拦截字节流并在它进入文件之前对其进行后处理，这可能吗？或者，是否可以指定写入字节流的文件描述符，而不是通常作为参数进入 save() 调用的文件名。

请注意，我不是在寻找在 matlab 中编写文件的替代方法，我知道我可以 fopen() 一个文件并编写我想要的任何内容，但重点是我想（重新）使用该对象保存调用内部的序列化，不要再发明我自己的了。

load() 调用当然会出现一个模拟问题，但在这种情况下，在字节流进入反序列化过程之前拦截它，但我想 save() 是否有可能解决 load()问题自然会出现。

一些澄清：

1. 我不是在寻找序列化 matlab 数据的新方法，它已经存在，练习的重点是在 save() 调用中使用现有的序列化，以便 1) 我不需要开始更新新版本的matlab中新类型对象的序列化代码，或者天堂禁止人们开始使用自定义OOP对象，2）我仍然可以轻松使用现有代码读取mat文件，例如scipy的支持用于 mat 文件。

2. 在后处理之前，流不能输出到文件或任何东西，这个想法是为了安全而加密，将流直接写入文件完全破坏了这个目的。

并发症：

• matlab 中save 函数中使用的功能似乎不仅仅是常规的顺序写入。检查库的目标代码，似乎保存函数是使用matPutVariable（以前称为matPutArray）实现的，它将mxArray* 类型的给定变量写入MATFile* 类型的文件，用matOpen 打开.这里的问题是matPutVariable的描述中的如下文字：

  如果mxArray 不存在于 MAT 文件中，该函数会将其附加到末尾。如果文件中存在同名的mxArray，该函数通过重写文件将现有的mxArray替换为新的mxArray。

  这意味着matPutVariable函数必须在文件中进行查找，显然使用管道时无法进行查找，因此在使用现有的序列化功能时，无法使用管道来实现我们对字节流的处理。

Answer 1

使用getByteStreamFromArray 和getArrayFromByteStream 进行序列化/反序列化。您可以在将结果字节写入文件之前对其进行修改

% A cell array of several data types
>> byteStream = getByteStreamFromArray({pi, 'abc', struct('a',5)});  % 1x312 uint8 array
>> getArrayFromByteStream(byteStream)
ans = 
    [3.14159265358979]    'abc'    [1x1 struct]

如http://undocumentedmatlab.com/blog/serializing-deserializing-matlab-data 中所述

Answer 2

使用虚拟文件系统怎么样？在 Windows 上有一个名为 BoxedAPP SDK 的商业库，它允许您创建一个仅对创建过程可见的虚拟文件（也可能是子进程）。您可能必须制作一个 MEX 来连接库。首先，您将创建虚拟文件，然后您可以在 matlab 中使用具有相同文件名的 save 命令。然后，您可以使用 matlab 中的普通 fopen/fread 函数读取序列化的 .mat 字节流，并随心所欲地使用它。这至少可以防止在硬盘上创建文件。我不确定在某些情况下文件或文件的一部分是否可以到达交换文件，因为文件实际上是在内存中创建的。

libmx 中似乎还有未记录的函数 mxSerialize 和 mxDeserialize 可以使用，例如。通过直接来自 matlab 的 loadlibrary/calllib 函数或包装器 mex。谷歌搜索了一下，发现这些函数的签名应该是

mxArray* mxSerialize(const mxArray*);
mxArray* mxDeserialize(const void*, size_t);

并且一些测试表明 mxSerialize() 将 matlab 变量作为参数并返回一个序列化的字节作为 uint8 数组。 mxDeserialize() 将此 uint8 数组（第一个参数）转换回 matlab 对象作为返回值。 mxDeserialize 的第二个参数似乎是第一个参数中的元素数。尽管 TMW 可能会更改 API，但不保证将来可以使用这些未记录的函数。

Answer 3

在考虑了几个月之后，我要说，不，这是不可能的。至少，不是没有核心的非便携式二进制/ELF hacking。

Answer 4

第 1 步：mkfifo /tmp/fifo -- 这将创建一个 FIFO，即代表管道的文件名。写入管道的任何内容都会保留在那里，直到某个进程将其从管道中读回。数据永远不会到达磁盘。

第 2 步：在一个终端中，运行：openssl enc -aes-256-cbc -a -e -in fifo -out safe -- 这将运行 OpenSSL 程序以使用 AES、256 位密钥、CBC 模式进行加密（openssl 支持更多的密码类型和参数，选择一个适用于你，这是一个安全的默认值）； -a Base64 对输出进行编码（这对测试很有用，但是当你真正使用它时，你可以不使用它，Base64 会导致大小增加 4/3）； -e以加密模式运行，-in fifo指定输入文件名为fifo（可能使用全路径）； -out safe 指定输出文件名为safe（同样，可能使用完整路径）。 OpenSSL 将休眠，直到数据到达管道。

当某些数据到达管道时，OpenSSL 会提示您输入密码。

测试一下：在另一个终端运行“echo foo > /tmp/fifo”。在第一个终端看到密码提示，给它一个密码并确认密码，然后查看文件'safe'的内容：

$ openssl enc -aes-256-cbc -a -e -in fifo -out safe
# (in another terminal, "echo foo > fifo")
enter aes-256-cbc encryption password:
Verifying - enter aes-256-cbc encryption password:
$ cat safe
U2FsdGVkX18aWBw0Uz8N3SfrRg4PigL609F+HQPuc6o=

测试另一个方向：

$ openssl enc -aes-256-cbc -a -d -in safe
enter aes-256-cbc decryption password:
foo

现在，从第 2 步重新运行 OpenSSL 命令：openssl enc -aes-256-cbc -a -e -in fifo -out safe，运行您的 Matlab，并将 /tmp/fifo 提供给 SAVE() 命令。

Matlab 有可能会做一些愚蠢的事情，比如删除具有给定文件名的 any 现有文件，在这种情况下，您会在 中找到未加密的数据>常规文件名为/tmp/fifo。所以请先用一些不重要的数据进行测试。但我希望 Matlab 在编写时考虑到 Unix 工具，并且会简单地写入您给它的命名管道。

Answer 5

我也对这个问题感兴趣。我发现了一些东西，但没有任何效果：

• ma​​tlab save stdio你发现了这个隐藏功能，但它不起作用
• engGetArray/engPutArray “此例程允许您将变量复制到工作区之外。”

查看 MAT 文件规范，也许我们可以使用 Mex 文件重现 matlab 序列化：

• http://www.eiscat.se/groups/Documentation/UserGuides/matlab4.pdf

更新：

我发现了一些非常有趣的东西：在 Matlab 控制台中运行这个命令

edit([matlabroot '/extern/examples/eng_mat/matcreat.c']);

或者这个

edit([matlabroot '/extern/examples/eng_mat/matcreat.cpp']);

这是文档，如何编译：http://www.mathworks.com/help/techdoc/matlab_external/f14500.html

在我看来，在pmat = matOpen(file, "w"); 命令中使用STDOUT 应该是可行的。

Answer 6

你不能加密变量的内容吗？

使用whos，您可以按字母顺序获得所有变量的列表。对于每一个，您使用您的加密算法生成一个相同大小的掩码，然后将“真”值替换为自身对掩码进行异或运算。最后，您使用save 保存加密的变量。变量的名称和大小是可见的，但这可能并不重要（如有必要，您也可以加密名称）。

以同样的方式加载。

Answer 7

也许您可以执行以下操作：

%# serialize objects into a byte array using Java
bout = java.io.ByteArrayOutputStream();
out = java.io.ObjectOutputStream(bout);
out.writeObject( rand(3) )                %# MATLAB matrix
out.writeObject( num2cell(rand(3)) )      %# MATLAB cell array
out.flush()
out.close()
bout.close()
b = bout.toByteArray();                   %# vector of type int8

%# perform processing on `b` ...

%# write byte[] stream to file
save file.mat b

然后在相反的方向上，您只需加载保存的 MAT 文件，反转您执行的任何处理，然后反序列化字节流以恢复原始对象。

%# load MAT-file
load file.mat b
b = typecast(b,'int8');                   %# cast as int8 just to be sure

%# undo any processing on `b`...

%# deserialize
in = java.io.ObjectInputStream( java.io.ByteArrayInputStream(b) );
X1 = double( in.readObject() )            %# recover matrix
X2 = cell( in.readObject() )              %# recover cell array
in.close()

请注意，您必须自己维护变量元信息，例如它们的数量和类型（也许您可以以某种方式将其保存在同一个 MAT 文件中），并使用自定义包装函数来处理所有编组，但你明白了......

---

我还在 FEX 上看到了一些有助于序列化/反序列化 MATLAB 类型的提交：

• serialize
• Serialize/Deserialize

Answer 8

您最好的选择可能是将 mat 文件写入 tmpfs/ramdisk，然后在将其保存到磁盘之前对其进行加密。您牺牲了可移植性并依靠操作系统来提供安全的虚拟内存，但如果您甚至不能信任本地磁盘，您可能无法获得令人满意的安全性。

顺便说一句，为什么您根本无法信任本地磁盘，即使您无法将临时文件放在权限设置为仅允许拥有 matlab 进程的用户访问的目录中（和根）？您是否正在尝试实施 DRM 系统？

Answer 9

编辑：（基于 cmets）嗯，我想我的旧答案并没有太大帮助。我不知道你将如何截取字节流，但我想你有一个选择（诚然这有点麻烦）就是让 SAVE 函数创建然后立即从文件中逐字节读取数据，对其进行处理，然后将其写回文件。比如：

save('workspace.mat');
fid = fopen('workspace.mat','r');
byteData = fread(fid,inf,'*uint8');
fclose(fid);
%# ... Process byteData here ...
fid = fopen('workspace.mat','w');
fwrite(fid,byteData,'uint8');
fclose(fid);

---

旧答案：

对于用户定义的类对象，我相信您正在寻找的内容体现在重载的 SAVEOBJ 和 LOADOBJ 方法中，这些方法在将对象保存到文件或从文件加载之前在对象上调用。当saving or loading objects 与.MAT 文件相互转换时，您可以使用这些方法来modify the save/load process，以便可以以不同方式格式化对象。但是，我认为您不能对内置数据类型执行此操作，只能对用户定义的对象执行此操作。

Answer 10

对于 HG 对象，您可以通过此处解释的内部（可修改）*.m 文件拦截保存处理： http://undocumentedmatlab.com/blog/handle2struct-struct2handle-and-matlab-8/